# llm_proxy

**Repository Path**: snail_tech/llm_proxy

## Basic Information

- **Project Name**: llm_proxy
- **Description**: No description available
- **Primary Language**: Go
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-05-15
- **Last Updated**: 2026-05-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# LLM Proxy

CloudStudio 全生命周期管理的 LLM 代理服务，统一管理多个大模型渠道，提供 OpenAI 兼容的 API 接口，支持自动路由、降级、重试，并内置 Playwright 浏览器自动化能力。

## 功能特性

- **多渠道管理** — 支持添加多个上游 LLM 服务（API 模式 / Playwright 浏览器模式），统一配置和监控
- **OpenAI 兼容代理** — 提供 `/v1/chat/completions`、`/v1/embeddings` 等标准接口，客户端无需修改代码
- **智能路由与降级** — 按优先级和权重自动选择渠道，失败时自动降级到备选渠道并记录降级日志
- **Playwright 浏览器自动化** — 支持登录、签到、启动/关闭等浏览器操作流程，含 AI 辅助配置
- **API Key 管理** — 独立的 API Key 体系，支持启用/禁用控制
- **用量统计** — 按模型、渠道维度的调用量、Token 消耗、响应延迟统计
- **平台模板** — 预置常见云平台配置模板（阿里云百炼、腾讯混元 Studio 等），快速接入

## 快速部署

```bash
docker compose up -d
```

服务启动后访问 `http://localhost:5190`，默认管理员账号在首次启动时自动初始化。

数据持久化目录为 `./data`，数据库文件位于 `./data/llm-proxy.db`。

## 环境变量

| 变量 | 说明 | 默认值 |
|------|------|--------|
| `TZ` | 时区 | `Asia/Shanghai` |
| `RECORD_SERVER_URL` | 浏览器操作录制服务地址 | `http://127.0.0.1:9223` |
| `NOVNC_URL` | noVNC 远程查看地址 | - |
| `PLAYWRIGHT_STATE_DIR` | Playwright 浏览器状态存储路径 | `/app/data/browser-state` |
| `PLAYWRIGHT_RESULT_FILE` | Playwright 执行结果文件路径 | `/app/data/pw-result.json` |

## API 端点

服务监听 **5190** 端口，提供两类接口：

| 路径前缀 | 认证方式 | 说明 |
|----------|----------|------|
| `/api/` | JWT Bearer Token | 管理接口（渠道/模型/Key/统计/Playwright） |
| `/v1/` | API Key (`sk-xxx`) | OpenAI 兼容代理接口 |

详细接口文档见 [docs/api.md](docs/api.md)。

## 技术栈

- **后端**: Go + Gin + GORM + SQLite
- **前端**: Vue3 + Ant Design Vue + Vben Admin
- **浏览器自动化**: Playwright (Node.js)
- **构建**: Docker 多阶段构建

## 项目结构

```
src/
├── background/          # Go 后端
│   ├── cmd/server/      # 入口 & 前端静态资源
│   ├── internal/
│   │   ├── auth/        # 认证模块（JWT）
│   │   ├── channel/     # 渠道管理
│   │   ├── modelmgmt/   # 模型管理 & 平台模板
│   │   ├── playwright/  # Playwright 自动化
│   │   ├── gateway/     # API 网关（路由/中间件/代理/统计/API Key）
│   │   ├── model/       # 数据模型定义
│   │   ├── common/      # 通用工具（数据库/响应/分页/日志）
│   │   └── scheduler/   # 渠道调度 & 降级
│   └── config/          # 配置管理
├── frontend/            # Vue3 前端（pnpm monorepo）
│   ├── apps/web-antd/   # 主应用
│   └── packages/        # 共享包
└── playwright/          # Playwright 脚本（Node.js）
```