AI 大语言模型 (LLM)
DwarfStar
一个专门用于大型语言模型的本地推理引擎，针对Apple Silicon和内存受限系统上的SSD流式处理进行了优化。
DwarfStar
什么是 DwarfStar？
DwarfStar是一个小巧、自包含的推理引擎，用于本地运行大型语言模型，原生支持DeepSeek、Qwen和GLM模型，具有自适应SSD流式处理和Metal加速功能。
DwarfStar 与相似工具比较
| 计价模式 | 免费 | 免费 | 免费 | 免费, Freemium |
| 免费额度 | ||||
| 主要功能 |
|
|
|
|
| 优点 |
|
|
|
|
| 缺点 |
|
|
|
|
| 适合对象 |
|
|
|
|
如何使用 DwarfStar？
- 1安装前提条件：macOS上的Xcode命令行工具。
- 2克隆仓库：git clone https://github.com/andreaborio/ds4.git && cd ds4
- 3下载模型：./download_model.sh q2-imatrix
- 4构建：make
- 5运行推理：./ds4 -m ./ds4flash.gguf --nothink
- 6启动服务器：./ds4-server -m ./ds4flash.gguf --ctx 32768
DwarfStar 主要功能
- 原生加载DeepSeek V4、Qwen3.6和GLM 5.2模型
- 自适应Metal驻留和SSD流式处理，适用于内存受限系统
- 支持工具调用和编码代理的HTTP服务器
- RAM和磁盘上的KV状态管理
- 用于量化和校准的GGUF工具
- 混合精度路由专家支持
- 正确性和速度基准测试
DwarfStar 使用场景
- 在Apple Silicon Mac上本地运行大型语言模型
- 无需云依赖的隐私保护推理
- LLM应用的开发和测试
- 模型量化和流式处理研究
DwarfStar 价格与免费额度
DwarfStar 目前采用 免费 模式。
此工具完全免费使用
DwarfStar 优缺点
优点
- 完全本地运行，确保数据隐私
- 针对Apple Silicon优化，支持Metal加速
- 支持多种大型模型（DeepSeek、Qwen、GLM）
- 自适应SSD流式处理可运行超出RAM的模型
- 开源，活跃开发和基准测试
缺点
- 主要为Apple Silicon设计；CUDA/ROCm后端为次要
- 不是通用的GGUF运行器，仅支持特定模型
- 测试版软件，包含一些实验性功能
- 需要专业技术知识进行设置和配置
DwarfStar 最适合哪些用途？
- 希望进行设备端LLM推理的Apple Silicon Mac用户
- 寻求专用高性能推理引擎的开发者
- 进行模型量化和流式处理实验的研究人员
DwarfStar 常见问题
DwarfStar 的免费替代工具
一个统一的AI网关，通过一个欧盟托管、符合GDPR的API提供300多个领先模型的访问，并兼容OpenAI SDK的接口。
免费
统一AI API网关，以实惠价格提供顶级LLM、图像、视频和编程模型。
免费
一个聊天气泡界面，即可访问超过100个AI模型，自动为您的任务选择最佳模型，同时跟踪能源使用并保护您的隐私。
免费
Atlas Cloud 是一个全模态 AI 推理平台，为 chat、image、video 和 audio 模型提供一个 API。
免费
Groq 通过 GroqCloud 和其定制 LPU 技术栈，提供快速、低成本的 AI 推理服务。
免费
DwarfStar 的最佳替代 AI 工具
统一的零分配原生AI推理运行时，专为Java设计，通过Project Panama整合LLM、视觉和语音管道。
一个无依赖的C引擎，从磁盘流式传输专家权重，以在消费级硬件上运行744B参数的GLM-5.2 MoE模型，仅需25 GB RAM。
一个统一的AI网关，通过一个欧盟托管、符合GDPR的API提供300多个领先模型的访问，并兼容OpenAI SDK的接口。
免费
统一AI API网关，以实惠价格提供顶级LLM、图像、视频和编程模型。
免费
Frugon 是一个免费、开源的 LLM 成本分析工具，通过本地分析您的调用日志，识别出您的 LLM 账单在哪里产生不必要的花费。