AI 開發者工具
Millwright
Millwright 是一個開源、自託管的 LLM 路由器，根據政策將 AI 請求路由至成本最低的模型提供者，同時保留提示快取並控管花費。
Millwright
什麼是 Millwright？
Millwright 是一個開源 LLM 路由器，根據政策將 AI 請求導向最便宜的合適模型提供者，保留提示快取親和性並控管花費。它運行在你的 AI 應用程式與模型提供者之間，接受 OpenAI Chat Completions 和 Anthropic Messages，並路由至 OpenAI 相容 API、Anthropic 或 Amazon Bedrock。
Millwright 與相似工具比較
| 計價模式 | 免費 | 客製化定價 | 付費 | 免費 |
| 免費額度 | ||||
| 主要功能 |
|
|
|
|
| 優點 |
|
|
|
|
| 缺點 |
|
|
|
|
| 適合對象 |
|
|
|
|
如何使用 Millwright？
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternatively, for a local demo:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright 主要功能
- 基於政策的路由，支援任務與風險標頭
- 快取感知並發，為便宜、中等與前沿角色維持獨立親和性通道
- 透過分類帳、CLI 指令及管理 API 進行花費追蹤與成本分析
- 支援 OpenAI Chat Completions、Anthropic Messages 及 Amazon Bedrock 提供者與協定
- 以單一 Rust 二進位檔自託管，支援 Docker；提供者憑證保留在你的基礎設施上
Millwright 使用情境
- 透過將請求路由至符合政策要求的最便宜模型來降低 LLM 成本
- 透過保留提供者/模型親和性，維持工作階段中的提示快取重複使用
- 在不變更應用程式程式碼的情況下切換提供者
- 透過回應標頭和分類帳條目檢查與稽核路由決策
Millwright 價格與免費點數
Millwright 目前採用 免費 模式。
Millwright 優缺點
優點
- 透過使用最便宜的合適模型控制成本
- 在請求間保留提示快取
- 與提供者無關；無需變更程式碼即可輕鬆切換
- 完全自託管；資料與憑證保留在你的基礎設施上
- 可檢查路由決策，具備詳細記錄
缺點
- 需要自託管與設定
- 僅限於支援的協定 (OpenAI、Anthropic、Bedrock)
- 非代理程式協調器；無提示檢查或重寫功能
Millwright 最適合哪些用途？
- 管理 LLM 成本的團隊
- 需要基於政策路由的開發者
- 需要自託管隱私的企業
Millwright 常見問題
Millwright 的免費替代工具
Manifest 將任何網址轉換為結構化的 JSON 映射，顯示 AI 代理可在頁面上互動的按鈕、表單、輸入欄位和必填欄位。
免費
Oodle AI 提供代理可觀測性，具備快速追蹤搜尋、基於 S3 的儲存，以及開箱即用的洞察功能，用於檢測 AI 代理中的靜默失敗。
免費
Millwright 的最佳替代 AI 工具
CartAI 提供 API 和 MCP 伺服器，用於部署 AI 代理程式，使其能自主導覽網站並完成交易，例如結帳、訂閱和發票付款。
CodeAlmanac 是一個為你的程式碼庫而設的活維基，由 AI 編碼代理維護，以純 Markdown 記錄決策、流程、不變量和常見陷阱。
一款 macOS 選單列應用程式，連線至 Stripe、GA4 和 Google Search Console，透過表情符號雨、音效和全螢幕反應來慶祝即時指標。