这是一个基于 FastAPI 框架开发的 OpenAI API 代理服务,支持多 API Key 轮询和流式响应。
- 🔄 多 API Key 轮询支持
- 🔐 Bearer Token 认证
- 📡 支持流式响应
- 🌐 CORS 跨域支持
- 📊 健康检查接口
- FastAPI
- OpenAI
- Pydantic
- Docker
- Python 3.9+
- Docker (可选)
pip install -r requirements.txt
创建 .env
文件并配置以下参数:
API_KEYS=["your-api-key-1","your-api-key-2"]
ALLOWED_TOKENS=["your-access-token-1","your-access-token-2"]
BASE_URL="https://api.openai.com/v1"
docker build -t openai-comatible-balance .
docker run -p 8000:8000 -d openai-comatible-balance
GET /v1/models
Authorization: Bearer your-token
POST /v1/chat/completions
Authorization: Bearer your-token
{
"messages": [...],
"model": "llama-3.2-90b-text-preview",
"temperature": 0.7,
"max_tokens": 1000,
"stream": false
}
GET /health
Authorization: Bearer your-token
app/main.py
: 主应用程序入口app/config.py
: 配置管理Dockerfile
: 容器化配置requirements.txt
: 项目依赖
- API Key 轮询机制
- Bearer Token 认证
- 请求日志记录
- 请确保妥善保管 API Keys 和访问令牌
- 建议在生产环境中使用环境变量配置敏感信息
- 默认服务端口为 8000
欢迎提交 Issue 和 Pull Request!
MIT License