AI API 接口

LiteLLM

LiteLLM 是一个 AI 网关，可通过与 OpenAI 兼容的 API 访问 100+ 个 LLM，并提供回退机制和支出跟踪。

LiteLLM

OpenAI-compatible gateway for 100+ LLMs with fallbacks

什么是 LiteLLM？

LiteLLM 是一个 AI 网关和代理平台，提供对 100+ 个语言模型的 OpenAI 兼容访问，并为团队和应用提供路由、回退、支出可视化以及企业级控制。

如何使用 LiteLLM？

1将 LiteLLM 作为你的模型网关或代理进行部署。
2连接 OpenAI、Azure、Anthropic、Bedrock 或 Gemini 等受支持的提供方。
3在应用中使用 OpenAI 兼容的 API 格式，通过 LiteLLM 发送请求。
4按需配置回退、负载均衡、预算和速率限制。
5查看使用情况、支出和日志，以监控模型性能与成本。

LiteLLM 主要功能

OpenAI 兼容的 API 访问
100+ 个 LLM 提供方集成
跨模型回退路由
支出跟踪和使用情况可视化
虚拟密钥、预算和团队管理
负载均衡与 RPM/TPM 限制
日志集成，包括 Langfuse、Arize Phoenix、LangSmith 和 OTEL
LLM 保护机制
企业功能，如 JWT 认证、SSO 和审计日志

LiteLLM 使用场景

在多个 LLM 提供方之间路由请求
添加回退模型以提升可靠性
跨团队和项目跟踪 LLM 支出
为开发团队管理预算和访问权限
为企业用途自托管或部署云网关
用一个 OpenAI 风格接口标准化多个模型 API

LiteLLM 价格与免费额度

LiteLLM 目前采用免费, 定制定价模式。

Open Source

Free

核心 LiteLLM 功能可免费使用。

Cloud / Enterprise

Contact for Pricing

托管或企业级部署，包含支持、SLA 和高级控制功能。

LiteLLM 优缺点

优点

支持 100+ 个 LLM 和主流提供方
OpenAI 兼容格式简化集成
包含回退、路由和支出跟踪
同时支持自托管和云部署
为大型团队提供企业级功能

缺点

高级企业功能可能需要付费方案
最适合已经使用多个 LLM 提供方的团队
首页未完整列出定价详情

LiteLLM 最适合哪些用途？

使用多个模型提供方开发应用的开发者
需要集中管理 LLM 访问与成本控制的团队
希望采用 OpenAI 兼容路由和回退机制的公司
计划进行自托管或企业级网关部署的组织

LiteLLM 常见问题

LiteLLM 的免费替代工具

Runpod 是一个 AI 开发者云，用于启动 GPU pods、serverless endpoints 和 clusters，以构建并扩展 AI 工作负载。

Uncensored AI 是一个 AI 模型中心和聊天平台，提供对多个主流模型的访问，包括 uncensored 变体，以及一个 private-beta API。

Kie.ai 是一个统一的 AI API 平台，可通过一次集成访问视频、图像、音频和 LLM 模型，并提供透明定价。

免费

Postly是一个社交媒体排程和内容分发平台，集成了邮件活动、个人主页链接、API、分析和AI代理工作流。

Cartesia 构建快速的语音AI模型和语音助手，用于实时文本转语音、转录和交互对话。

Geekflare 为团队和创作者提供AI工作空间、开发者API以及免费商业工具。

Sync. labs 提供 AI 唇形同步和视觉配音工具，可在保持面部细节的同时将视频表演适配到不同语言。

LOVO 是一款 AI 语音生成和文字转语音平台，可用于创建逼真的配音、视频旁白和语音克隆，支持 100+ 种语言。

免费