litellm

用 OpenAI 格式统一调用 100+ 家模型的开源网关

核心功能

LiteLLM 提供 Python SDK 与自托管 AI Gateway 两种形态，用统一的 completion() 接口以 OpenAI 格式调用 100 多家模型供应商；网关内置虚拟密钥、成本统计、限流护栏与管理后台，兼容 OpenAI 的客户端改个 base_url 即可接入。

功能亮点

统一调用

同一个 completion() 即可在 OpenAI、Bedrock 间切换

一行起网关

litellm --model gpt-4o 就能在 4000 端口起代理服务

异常映射

各家报错统一成 OpenAI 异常类，原有 try/except 可复用

花费追踪

success_callback 回调直接给出 response_cost

自定义模型 / 模型接入

完全自定义

统一网关，官方列出100+家提供方，含DeepSeek、Qwen、Moonshot、火山引擎、Ollama；任意兼容端点也可用api_base接入。

接入方式

SDK直调：completion()传model、api_base、api_key三参数
厂商前缀：model值写deepseek/xxx等路由到指定厂商
自定义端点：模型名加openai/前缀，api_base指向兼容网关
代理网关：config.yaml的model_list，litellm --config
调用代理：openai.OpenAI(base_url=代理地址)

支持模型

OpenAIAnthropicVertex AI/GeminiAzure OpenAIBedrockDeepseekDashscope(Qwen)Moonshot/火山引擎

bash

方式一：SDK直连任意OpenAI兼容端点
import litellm
response = litellm.completion(model="openai/mistral", api_key="sk-1234", api_base="http://0.0.0.0:4000", messages=[{"role": "user", "content": "Hey, how's it going?"}])
方式二：起代理网关，统一收口国产模型
config.yaml写入
model_list:
  - model_name: my-model
    litellm_params:
      model: openai/<your-model-name>
      api_base: <model-api-base>
      api_key: api-key
启动代理（api_base需带/v1后缀，否则可能报Not Found）
litellm --config /path/to/config.yaml
用OpenAI客户端调代理
client = openai.OpenAI(api_key="sk-1234", base_url="http://0.0.0.0:4000")

适用场景

• 为团队统一收口多家模型 API
• 旧 OpenAI 代码零改动换供应商
• 按项目下发虚拟密钥并控预算
• 多部署之间做故障转移与分流

安装配置

bash

uv add litellm
pip install litellm

# 网关（Proxy Server）
uv tool install 'litellm[proxy]'

使用方法

python

from litellm import completion
import os

os.environ["OPENAI_API_KEY"] = "your-api-key"

response = completion(
  model="openai/gpt-4o",
  messages=[{"role": "user", "content": "Hello, how are you?"}]
)
print(response.choices[0].message.content)

# 启动 OpenAI 兼容网关
litellm --model gpt-4o
# Proxy running on http://0.0.0.0:4000

关键指标

尚未核验对标产品，此处只列本工具自身指标，不做对比结论。

指标litellm

价格免费

开源是

上手难度进阶

Token 消耗中

优点

一个 completion() 覆盖 OpenAI、Azure、Bedrock、Vertex 等 100+ 供应商
网关本身是 OpenAI 兼容端点，现有客户端只改 base_url 就能接入
自带虚拟密钥、预算限额、花费明细与管理 UI，便于多团队分摊成本
报错被映射为 OpenAI 异常类型，重试降级逻辑不必按供应商重写

缺点

SSO、审计日志等企业能力需购买商业许可，并非全部功能开源
自托管网关要自己维护数据库、监控和版本升级，运维成本不低
冷门参数在不同供应商之间的映射存在差异，需逐个实测验证
网关不含模型额度，token 费用仍由各家 API 单独结算