AI 大型語言模型 (LLMs)
DwarfStar
專為大型語言模型設計的本地推論引擎，針對 Apple Silicon 及記憶體受限系統上的 SSD 串流進行最佳化。
DwarfStar
什麼是 DwarfStar？
DwarfStar 是一個小型、自足的推論引擎，用於在本地運行大型語言模型，原生支援 DeepSeek、Qwen 和 GLM 模型，具備自適應 SSD 串流與 Metal 加速功能。
DwarfStar 與相似工具比較
| 計價模式 | 免費 | 免費 | 免費 | 免費, Freemium |
| 免費額度 | ||||
| 主要功能 |
|
|
|
|
| 優點 |
|
|
|
|
| 缺點 |
|
|
|
|
| 適合對象 |
|
|
|
|
如何使用 DwarfStar？
- 1安裝必要條件：macOS 上的 Xcode Command Line Tools。
- 2複製儲存庫：git clone https://github.com/andreaborio/ds4.git && cd ds4
- 3下載模型：./download_model.sh q2-imatrix
- 4建構：make
- 5執行推論：./ds4 -m ./ds4flash.gguf --nothink
- 6啟動伺服器：./ds4-server -m ./ds4flash.gguf --ctx 32768
DwarfStar 主要功能
- 原生載入 DeepSeek V4、Qwen3.6 和 GLM 5.2 模型
- 針對記憶體受限系統的自適應 Metal 駐留與 SSD 串流
- 具備工具呼叫與編碼代理的 HTTP 伺服器
- RAM 與磁碟 KV 狀態管理
- 用於量化與校準的 GGUF 工具
- 混合精度路由專家支援
- 正確性與速度基準測試
DwarfStar 使用情境
- 在 Apple Silicon Mac 上本地運行大型語言模型
- 無需雲端依賴的隱私保護推論
- LLM 應用程式的開發與測試
- 模型量化與串流的研究
DwarfStar 價格與免費點數
DwarfStar 目前採用 免費 模式。
此工具完全免費使用
DwarfStar 優缺點
優點
- 完全本地運行，確保資料隱私
- 針對 Apple Silicon 最佳化，搭配 Metal 加速
- 支援多種大型模型（DeepSeek、Qwen、GLM）
- 自適應 SSD 串流可運行超出 RAM 容量的模型
- 開源且持續開發與基準測試
缺點
- 主要為 Apple Silicon 設計；CUDA/ROCm 後端為次要
- 非通用 GGUF 執行器，僅支援特定模型
- 測試版軟體，包含部分實驗性功能
- 需要技術專業知識進行設定與配置
DwarfStar 最適合哪些用途？
- 希望進行裝置端 LLM 推論的 Apple Silicon Mac 使用者
- 尋求專門高效能推論引擎的開發者
- 進行模型量化與串流實驗的研究人員
DwarfStar 常見問題
DwarfStar 的免費替代工具
統一的AI閘道，透過一個符合GDPR的歐盟託管API，提供對300多種領先模型的存取，並相容於OpenAI SDK。
免費
統一的 AI API 閘道，以實惠的價格提供頂級 LLM、圖片、影片和編碼模型的存取。
免費
一個聊天介面，讓您存取超過100個AI模型，自動為您的任務選擇最佳模型，同時追蹤能源使用並保護您的隱私。
免費
Graphsignal 是一個生產規模的推論剖析平台，協助工程師在各種模型、引擎、GPU 及其他加速器上優化 AI 效能。
免費
Atlas Cloud 是一個全模態 AI 推論平台，為聊天、圖片、影片與音訊模型提供單一 API。
免費
Groq 透過 GroqCloud 以及其自訂 LPU 堆疊，提供快速、低成本的 AI 推論。
免費
DwarfStar 的最佳替代 AI 工具
統一的零分配原生 AI 推理運行時，適用於 Java，通過 Project Panama 整合 LLM、視覺和語音管道。
一個無依賴的 C 引擎，從磁碟串流專家權重，可在消費級硬體上以僅 25 GB RAM 運行 744B 參數的 GLM-5.2 MoE 模型。
統一的AI閘道，透過一個符合GDPR的歐盟託管API，提供對300多種領先模型的存取，並相容於OpenAI SDK。
免費
統一的 AI API 閘道，以實惠的價格提供頂級 LLM、圖片、影片和編碼模型的存取。
免費
Frugon 是一個免費、開源的 LLM 成本分析工具，透過本地分析通話記錄，找出你的 LLM 帳單漏洞。