AI API 介面
前往網站
LiteLLM
LiteLLM 是一個 AI gateway，可透過相容於 OpenAI 的 API 存取 100+ 個 LLM，並提供 fallback 與支出追蹤功能。
LiteLLM
OpenAI-compatible gateway for 100+ LLMs with fallbacks
什麼是 LiteLLM？
LiteLLM 是一個 AI gateway 與 proxy 平台，提供相容於 OpenAI 的方式存取 100+ 個語言模型，並具備路由、fallback、支出可視化與團隊和應用程式所需的企業級控管。
如何使用 LiteLLM？
- 1將 LiteLLM 設定為你的模型 gateway 或 proxy。
- 2連接支援的供應商，例如 OpenAI、Azure、Anthropic、Bedrock 或 Gemini。
- 3在你的應用程式中使用相容於 OpenAI 的 API 格式，將請求透過 LiteLLM 傳送。
- 4依需求設定 fallbacks、負載平衡、預算與 rate limits。
- 5檢視用量、支出與 logs，以監控模型效能與成本。
LiteLLM 主要功能
- 相容於 OpenAI 的 API 存取
- 100+ LLM 供應商整合
- 跨模型 fallback 路由
- 支出追蹤與用量可視化
- Virtual keys、預算與團隊管理
- 負載平衡與 RPM/TPM 限制
- 包含 Langfuse、Arize Phoenix、LangSmith 與 OTEL 的 logging 整合
- LLM guardrails
- 企業功能如 JWT auth、SSO 與 audit logs
LiteLLM 使用情境
- 在多個 LLM 供應商之間路由請求
- 加入 fallback 模型以提升可靠性
- 跨團隊與專案追蹤 LLM 支出
- 管理開發團隊的預算與存取權限
- 為企業用途自架或部署雲端 gateway
- 將多個模型 API 以單一 OpenAI 風格介面標準化
LiteLLM 價格與免費點數
LiteLLM 目前採用 免費, 客製化定價 模式。
LiteLLM 優缺點
優點
- 支援 100+ LLM 與主要供應商
- 相容於 OpenAI 的格式讓整合更簡單
- 包含 fallbacks、路由與支出追蹤
- 同時支援自架與雲端部署
- 提供適合大型團隊的企業功能
缺點
- 進階企業功能可能需要付費方案
- 最適合已使用多個 LLM 供應商的團隊
- 首頁未完整列出價格細節
LiteLLM 最適合哪些用途？
- 使用多個模型供應商開發應用程式的開發者
- 需要集中式 LLM 存取與成本控管的團隊
- 想要相容於 OpenAI 的路由與 fallbacks 的公司
- 規劃自架或企業 gateway 部署的組織
LiteLLM 常見問題
LiteLLM 的免費替代工具
Uncensored AI 是一個 AI 模型中心與聊天平台，提供多個主流模型的存取，包括 uncensored 變體，以及供私人測試版使用的 API。
Postly is a social media scheduling and content distribution platform with email campaigns, Bio Pages, APIs, analytics, and AI-agent workflows.
Sync. labs 提供 AI 唇形同步和視覺配音工具，能在保留臉部細節的同時，調整影片表演以適應不同語言。
