AI 開發者工具
Millwright
Millwright 是一個開源、自託管的 LLM 路由器，根據政策將 AI 請求路由至成本最低的模型提供者，同時保留提示快取並控管花費。
Millwright
什麼是 Millwright？
Millwright 是一個開源 LLM 路由器，根據政策將 AI 請求導向最便宜的合適模型提供者，保留提示快取親和性並控管花費。它運行在你的 AI 應用程式與模型提供者之間，接受 OpenAI Chat Completions 和 Anthropic Messages，並路由至 OpenAI 相容 API、Anthropic 或 Amazon Bedrock。
Millwright 與相似工具比較
| 計價模式 | 免費 | 免費 | 免費 | 免費 |
| 免費額度 | ||||
| 主要功能 |
|
|
|
|
| 優點 |
|
|
|
|
| 缺點 |
|
|
|
|
| 適合對象 |
|
|
|
|
如何使用 Millwright？
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternatively, for a local demo:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright 主要功能
- 基於政策的路由，支援任務與風險標頭
- 快取感知並發，為便宜、中等與前沿角色維持獨立親和性通道
- 透過分類帳、CLI 指令及管理 API 進行花費追蹤與成本分析
- 支援 OpenAI Chat Completions、Anthropic Messages 及 Amazon Bedrock 提供者與協定
- 以單一 Rust 二進位檔自託管，支援 Docker；提供者憑證保留在你的基礎設施上
Millwright 使用情境
- 透過將請求路由至符合政策要求的最便宜模型來降低 LLM 成本
- 透過保留提供者/模型親和性，維持工作階段中的提示快取重複使用
- 在不變更應用程式程式碼的情況下切換提供者
- 透過回應標頭和分類帳條目檢查與稽核路由決策
Millwright 價格與免費點數
Millwright 目前採用 免費 模式。
Millwright 優缺點
優點
- 透過使用最便宜的合適模型控制成本
- 在請求間保留提示快取
- 與提供者無關；無需變更程式碼即可輕鬆切換
- 完全自託管；資料與憑證保留在你的基礎設施上
- 可檢查路由決策，具備詳細記錄
缺點
- 需要自託管與設定
- 僅限於支援的協定 (OpenAI、Anthropic、Bedrock)
- 非代理程式協調器；無提示檢查或重寫功能
Millwright 最適合哪些用途？
- 管理 LLM 成本的團隊
- 需要基於政策路由的開發者
- 需要自託管隱私的企業
Millwright 常見問題
Millwright 的免費替代工具
SureWire 是一個專門的 QA 平台，使用特製的測試代理對 AI 代理進行壓力測試，以確保其安全性、可靠性和合規性。
免費
Manifest 將任何網址轉換為結構化的 JSON 映射，顯示 AI 代理可在頁面上互動的按鈕、表單、輸入欄位和必填欄位。
免費
Millwright 的最佳替代 AI 工具
Magpie 是一個專為人類和 AI 代理設計的會計 CLI，提供複式記帳、基於角色的存取控制（RBAC）以及基於 Jaybase 的不可變事件儲存。
用於管理 AI 編碼代理工作階段（Claude Code、OpenCode、Codex、Grok Build）的終端機介面，可在 tmux 中顯示即時狀態、群組樹狀結構及差異審查。
