AI API 接口
LiteLLM
LiteLLM 是一个 AI 网关，可通过与 OpenAI 兼容的 API 访问 100+ 个 LLM，并提供回退机制和支出跟踪。
LiteLLM
什么是 LiteLLM？
LiteLLM 是一个 AI 网关和代理平台，提供对 100+ 个语言模型的 OpenAI 兼容访问，并为团队和应用提供路由、回退、支出可视化以及企业级控制。
LiteLLM 与相似工具比较
| 计价模式 | 免费, 定制定价 | 定制定价 | 免费 | 免费 |
| 免费额度 | ||||
| 主要功能 |
|
|
|
|
| 优点 |
|
|
|
|
| 缺点 |
|
|
|
|
| 适合对象 |
|
|
|
|
如何使用 LiteLLM？
- 1将 LiteLLM 作为你的模型网关或代理进行部署。
- 2连接 OpenAI、Azure、Anthropic、Bedrock 或 Gemini 等受支持的提供方。
- 3在应用中使用 OpenAI 兼容的 API 格式，通过 LiteLLM 发送请求。
- 4按需配置回退、负载均衡、预算和速率限制。
- 5查看使用情况、支出和日志，以监控模型性能与成本。
LiteLLM 主要功能
- OpenAI 兼容的 API 访问
- 100+ 个 LLM 提供方集成
- 跨模型回退路由
- 支出跟踪和使用情况可视化
- 虚拟密钥、预算和团队管理
- 负载均衡与 RPM/TPM 限制
- 日志集成，包括 Langfuse、Arize Phoenix、LangSmith 和 OTEL
- LLM 保护机制
- 企业功能，如 JWT 认证、SSO 和审计日志
LiteLLM 使用场景
- 在多个 LLM 提供方之间路由请求
- 添加回退模型以提升可靠性
- 跨团队和项目跟踪 LLM 支出
- 为开发团队管理预算和访问权限
- 为企业用途自托管或部署云网关
- 用一个 OpenAI 风格接口标准化多个模型 API
LiteLLM 价格与免费额度
LiteLLM 目前采用 免费, 定制定价 模式。
免费方案
Open Source
Free
核心 LiteLLM 功能可免费使用。
付费方案
Cloud / Enterprise
Contact for Pricing
托管或企业级部署，包含支持、SLA 和高级控制功能。
LiteLLM 优缺点
优点
- 支持 100+ 个 LLM 和主流提供方
- OpenAI 兼容格式简化集成
- 包含回退、路由和支出跟踪
- 同时支持自托管和云部署
- 为大型团队提供企业级功能
缺点
- 高级企业功能可能需要付费方案
- 最适合已经使用多个 LLM 提供方的团队
- 首页未完整列出定价详情
LiteLLM 最适合哪些用途？
- 使用多个模型提供方开发应用的开发者
- 需要集中管理 LLM 访问与成本控制的团队
- 希望采用 OpenAI 兼容路由和回退机制的公司
- 计划进行自托管或企业级网关部署的组织
LiteLLM 常见问题
LiteLLM 的免费替代工具
一个统一的AI网关，通过一个欧盟托管、符合GDPR的API提供300多个领先模型的访问，并兼容OpenAI SDK的接口。
免费
统一AI API网关，以实惠价格提供顶级LLM、图像、视频和编程模型。
免费
一款免费的AI音乐生成器和音乐视频制作工具，可创建任意流派的原创歌曲，并将其转化为带有同步视觉效果的惊艳音乐视频。
免费
为AI代理提供实时事件监控基础设施，传输低延迟数据流和Webhook通知，以触发自动化工作流。
免费
LiteLLM 的最佳替代 AI 工具
Koodisi 是一款企业级 iPaaS 和工作流自动化平台，可连接 API、MCP 服务器和 AI 代理，并具备内置的安全性、治理和租户隔离功能。
Millwright 是一个开源、自托管的 LLM 路由器，根据策略将 AI 请求路由到成本最低的模型提供商，同时保留提示缓存并控制支出。
