mlx-serve

什麼是 mlx-serve？

mlx-serve 與相似工具比較

	mlx-serve	Wolbarg	LibArgus	Osaurus
計價模式	免費	免費	免費	免費
免費額度
主要功能	在 Apple Silicon 上進行本地推理，原生 Metal 加速 推測解碼 (Prompt Lookup Decoding、起草模型、MTP) 最高可達 2 倍生成速度 圖片生成 (Krea-2-Turbo, FLUX.2) 以及根據文字指令進行照片編輯	本機優先儲存，無需託管向量 SaaS 透過自然語言查詢進行語義回憶 多代理安全並發寫入	使用 Project Panama FFM API 的零分配推理 LLM、ASR、TTS 和多模態模型的統一運行時 進程全局後端以消除 VRAM 碎片	本地 AI 模型完全在 Mac 上執行 讀取、寫入和執行檔案操作 具備語音控制的自主代理
優點	在相同模型上比 LM Studio 和 Ollama 更快 完全本地且私密——資料不會離開您的 Mac	本機優先且注重隱私 按含義的語義搜尋	零分配設計，在 Java 中實現高效能 跨多種模型類型（文字、視覺、音訊）的統一 API	完全隱私 – 資料絕不離開裝置 無需網路即可離線運作
缺點	僅限 Mac（需要 Apple Silicon） 某些進階功能（例如 DeepSeek V4）需要高記憶體（96 GB 以上）	需要嵌入 API 服務（與 OpenAI 相容） 僅限於 TypeScript/JavaScript 環境	需要 Java 22+ 和 Project Panama（尚未在所有 JVM 中標準化） 由於原生編譯，初學者的建置過程可能較複雜	需要 Apple Silicon（M1 或更新機型） 僅支援 macOS 15.5+
適合對象	想要私密、高效能本地 AI 的 Mac 使用者 建構 AI 代理和編碼助手的開發者	建構多代理 AI 系統的開發者 需要持久共享代理記憶的團隊	構建低記憶體開銷 AI 應用程式的 Java 開發人員 需要本地端、高吞吐量推理的 LLM 和多模態模型專案	注重隱私的使用者 處理敏感程式碼的開發者

如何使用 mlx-serve？

1. 1從 GitHub Releases 下載 MLX Core 應用程式，或透過 Homebrew 安裝。
2. 2啟動應用程式，使用模型瀏覽器下載任何支援的模型。
3. 3在內建介面中開始聊天，或透過與 OpenAI/Anthropic 相容的 API 連接外部應用程式。
4. 4使用 ⌃Space 啟動器快速存取，或設定語音和 Telegram 機器人進行遠端控制。

mlx-serve 主要功能

• 在 Apple Silicon 上進行本地推理，原生 Metal 加速
• 推測解碼 (Prompt Lookup Decoding、起草模型、MTP) 最高可達 2 倍生成速度
• 圖片生成 (Krea-2-Turbo, FLUX.2) 以及根據文字指令進行照片編輯
• 影片生成 (LTX-Video 2.3)，包含同步音訊和說話角色
• 語音克隆和文字轉語音 (Qwen3-TTS)，僅需幾秒音訊
• 代理模式，內建 10 種工具 (shell、檔案、搜尋、瀏覽等) 並支援 MCP 伺服器
• 代理沙盒，使用 Apple 虛擬化技術進行隔離命令執行
• 與 Ollama 相容的 API，可無縫取代 Ollama 應用程式
• 整合 Claude Code，用於本地編碼代理
• KV 快取量化和連續批次處理，支援多個並發聊天

mlx-serve 使用情境

• 運行本地 LLM，無需網路即可獲得私密的 AI 輔助
• 開發和測試具備沙盒工具執行的 AI 代理
• 取代編碼代理的雲端 API (Claude Code、Cursor、Continue)
• 在裝置上生成圖片、影片和音訊，用於創意專案
• 建構具備語音控制和排程功能的客製化 AI 助理

mlx-serve 價格與免費點數

mlx-serve 目前採用 免費 模式。

mlx-serve 優缺點

mlx-serve 最適合哪些用途？

• 想要私密、高效能本地 AI 的 Mac 使用者
• 建構 AI 代理和編碼助手的開發者
• 需要離線圖片/影片/音訊生成的內容創作者
• 注重隱私的個人和組織

mlx-serve 常見問題