Welche Modelle unterstützt DwarfStar?

Es unterstützt hauptsächlich DeepSeek V4 Flash und PRO, Qwen3.6-35B-A3B und GLM 5.2. Andere Modelle sind nicht garantiert funktionsfähig.

Kann ich DwarfStar unter Windows oder Linux verwenden?

Ja, CUDA- und ROCm-Backends werden für DeepSeek-Modelle unterstützt, der Schwerpunkt liegt jedoch auf Apple Silicon Metal.

Ist DwarfStar schnell auf einem MacBook?

Benchmarks zeigen wettbewerbsfähige Geschwindigkeiten. Zum Beispiel erreicht DeepSeek V4 Flash ~20 t/s Prefill auf einem M5 Pro. Die Leistung hängt von Modellgröße und Systemspeicher ab.

Brauche ich einen leistungsstarken Mac, um es auszuführen?

Ein 64-GB-Mac ist die praktische Stufe zum Streamen von DeepSeek Flash; 16-GB-Pfade sind experimentell. Der SSD-Speicherplatz muss für das Modell ausreichen.

KI Große Sprachmodelle (LLMs)

DwarfStar

Eine spezialisierte lokale Inferenz-Engine für große Sprachmodelle, optimiert für Apple Silicon und SSD-Streaming auf speicherbegrenzten Systemen.

DwarfStar

Website öffnen

Was ist DwarfStar?

DwarfStar ist eine kleine, eigenständige Inferenz-Engine zum lokalen Ausführen großer Sprachmodelle mit nativer Unterstützung für DeepSeek-, Qwen- und GLM-Modelle sowie adaptivem SSD-Streaming und Metal-Beschleunigung.

DwarfStar vs Ähnliche Tools

	DwarfStar	Aymo AI	EB Echo by Tracer	L LiquidBrain.ai
Preismodell	Kostenlos	Kostenlos, Freemium	Kostenpflichtig	Kostenpflichtig
Gratis-Credits
Wichtige Funktionen	Natives Modell-Laden für DeepSeek V4, Qwen3.6 und GLM 5.2 Adaptive Metal-Residency und SSD-Streaming für speicherbegrenzte Systeme HTTP-Server mit Tool-Aufruf und Coding-Agent	Zugriff auf mehrere KI-Modelle (GPT, Claude, Gemini, DeepSeek, Grok usw.) Teamzusammenarbeit in privaten Arbeitsbereichen Unterstützung für Datei-Uploads (PDF, Code, Dokumente) mit kontextbezogenem Verständnis	Einzelnes Modell für alle Aufgaben ohne Moduswechsel OpenAI-kompatible API Qualität auf Claude-Fable-Niveau bei bewerteten Aufgaben	Unbegrenzte Tokens Unbegrenztes Kontextfenster Feste monatliche Preise
Vorteile	Läuft vollständig lokal und gewährleistet Datenschutz Optimiert für Apple Silicon mit Metal-Beschleunigung	Zugriff auf mehrere führende KI-Modelle in einer Plattform Integrierte Team-Kollaborationsfunktionen	Hohe Qualität vergleichbar mit Claude Fable Deutlich geringere Kosten als Grenzmodelle	Unbegrenzte Tokens und Kontext Feste, vorhersagbare Preise
Nachteile	Hauptsächlich für Apple Silicon entwickelt; CUDA/ROCm-Backends sind zweitrangig Kein generischer GGUF-Runner; unterstützt nur bestimmte Modelle	Begrenzte Nachrichten und Credits im kostenlosen Plan Erweiterte Funktionen erfordern ein kostenpflichtiges Abonnement	Neueres Modell mit begrenzter unabhängiger Validierung Genaue Preisangaben nicht öffentlich	Hohe monatliche Kosten (10.000 $+) Erfordert 14-tägige Bereitstellungszeit
Geeignet für	Apple Silicon Mac-Benutzer, die LLM-Inferenz auf dem Gerät wünschen Entwickler, die eine spezialisierte, leistungsstarke Inferenz-Engine suchen	Teams, die Zugriff auf verschiedene KI-Modelle benötigen Content-Ersteller und Forscher	Entwickler, die ein hochwertiges LLM zu geringeren Kosten suchen Teams, die ein einziges vielseitiges Modell benötigen	Unternehmensteams, die KI-Agenten in großem Maßstab betreiben Softwareentwicklungsteams, die langfristige Codegenerierung benötigen

So nutzt du DwarfStar?

1Installieren Sie die Voraussetzungen: Xcode Command Line Tools unter macOS.
2Klonen Sie das Repository: git clone https://github.com/andreaborio/ds4.git && cd ds4
3Laden Sie ein Modell herunter: ./download_model.sh q2-imatrix
4Bauen: make
5Inferenz ausführen: ./ds4 -m ./ds4flash.gguf --nothink
6Starten Sie den Server: ./ds4-server -m ./ds4flash.gguf --ctx 32768

DwarfStar Wichtige Funktionen

Natives Modell-Laden für DeepSeek V4, Qwen3.6 und GLM 5.2
Adaptive Metal-Residency und SSD-Streaming für speicherbegrenzte Systeme
HTTP-Server mit Tool-Aufruf und Coding-Agent
RAM- und On-Disk-KV-Zustandsverwaltung
GGUF-Tooling für Quantisierung und Kalibrierung
Gemischte-Präzision-Routed-Expert-Unterstützung
Korrektheits- und Geschwindigkeits-Benchmarks

DwarfStar Anwendungsfälle

Lokales Ausführen großer Sprachmodelle auf Apple Silicon Macs
Datenschutzfreundliche Inferenz ohne Cloud-Abhängigkeiten
Entwicklung und Testen von LLM-Anwendungen
Forschung zu Modellquantisierung und Streaming

DwarfStar Preise und Gratis-Credits

DwarfStar arbeitet mit dem Modell Kostenlos.

Dieses Tool ist vollständig kostenlos

Open Source

Free

MIT-lizenziert, kostenlos auf GitHub verfügbar.

DwarfStar Vorteile und Nachteile

Vorteile

Läuft vollständig lokal und gewährleistet Datenschutz
Optimiert für Apple Silicon mit Metal-Beschleunigung
Unterstützt mehrere große Modelle (DeepSeek, Qwen, GLM)
Adaptives SSD-Streaming ermöglicht Modelle, die den RAM überschreiten
Open Source mit aktiver Entwicklung und Benchmarks

Nachteile

Hauptsächlich für Apple Silicon entwickelt; CUDA/ROCm-Backends sind zweitrangig
Kein generischer GGUF-Runner; unterstützt nur bestimmte Modelle
Beta-Software mit einigen experimentellen Funktionen
Erfordert technisches Fachwissen für Einrichtung und Konfiguration

Wofür eignet sich DwarfStar am besten?

Apple Silicon Mac-Benutzer, die LLM-Inferenz auf dem Gerät wünschen
Entwickler, die eine spezialisierte, leistungsstarke Inferenz-Engine suchen
Forscher, die mit Modellquantisierung und Streaming experimentieren

Häufige Fragen zu DwarfStar

Kostenlose Alternativen zu DwarfStar

Opper AI

Ein einheitliches KI-Gateway, das Zugriff auf über 300 führende Modelle über eine in der EU gehostete, DSGVO-konforme API mit einer OpenAI SDK-kompatiblen Schnittstelle bietet.

Kostenlos

#KI API #KI Entwicklertools #KI Agent #KI Große Sprachmodelle (LLMs)

Tool ansehen

WisGate

Einheitliches KI-API-Gateway, das Zugang zu erstklassigen LLMs, Bild-, Video- und Codierungsmodellen zu erschwinglichen Preisen bietet.

Kostenlos

#KI API #KI Große Sprachmodelle (LLMs)#KI Bildgenerator #KI Text zu Video #KI Code-Assistent #KI Entwicklertools

Tool ansehen

discode.ai

Eine einheitliche Chat-Oberfläche, die Zugriff auf über 100 KI-Modelle bietet, automatisch das beste Modell für Ihre Aufgabe auswählt, den Energieverbrauch verfolgt und Ihre Privatsphäre schützt.

Kostenlos

#KI Modelle #KI Große Sprachmodelle (LLMs)#KI Chatbot

Tool ansehen

Oxlo.ai

Oxlo.ai ist eine datenschutzorientierte KI-Inferenz-API, die eine anfragebasierte Preisgestaltung für über 45 Open-Source-Modelle bietet.

Kostenlos

#KI API #KI Große Sprachmodelle (LLMs)#KI Open-Source-Modelle

Tool ansehen

Graphsignal

Graphsignal ist eine Produktions-Inferenz-Profiling-Plattform, die Ingenieuren hilft, die KI-Leistung über Modelle, Engines, GPUs und andere Beschleuniger hinweg zu optimieren.

Kostenlos

#KI Entwicklertools #KI Große Sprachmodelle (LLMs)

Tool ansehen

Atlas Cloud

Atlas Cloud ist eine Full-Modal AI Inference Platform, die eine API für Chat-, Bild-, Video- und Audio-Modelle bietet.

Kostenlos

#KI API #KI Modelle #KI Video-Generator #KI Bildgenerator #KI Große Sprachmodelle (LLMs)

Tool ansehen

Groq

Groq bietet schnelle, kostengünstige KI-Inferenz über GroqCloud und seinen eigenen LPU-Stack.

Kostenlos

#KI API #KI Entwicklertools #KI Modelle #KI Große Sprachmodelle (LLMs)

Tool ansehen

Beste KI-Alternativen zu DwarfStar

Aymo AI

All-in-One-KI-Plattform für Teams, die Zugriff auf führende KI-Modelle wie GPT, Claude, Gemini und mehr in einem sicheren kollaborativen Arbeitsbereich bietet.

#KI Modelle #KI Große Sprachmodelle (LLMs)#KI Chatbot

Tool ansehen

Echo by Tracer

Echo ist ein Open-Weight-KI-Modell, das Claude-ähnliche Leistung zu einem Drittel der Kosten bietet und für Chat-, Code- und Agentenaufgaben geeignet ist.

#KI Große Sprachmodelle (LLMs)#KI Modelle

Tool ansehen

LiquidBrain.ai

LiquidBrain.ai bietet unbegrenzte Token- und Kontext-AI-Inferenz zu einer festen monatlichen Gebühr, mit einer patentierten verteilten Inferenz-Engine für private, skalierbare Modellbereitstellung.

#KI Große Sprachmodelle (LLMs)#KI Modelle

Tool ansehen

LibArgus

Einheitliche, null-allokierende native KI-Inferenz-Laufzeit für Java, die LLM-, Vision- und Sprach-Pipelines über Project Panama konsolidiert.

#KI Entwicklertools #KI Große Sprachmodelle (LLMs)#KI Open-Source-Modelle #KI Code-Assistent

Tool ansehen

colibri

Eine ablauffreie C-Engine, die Expertengewichte von der Festplatte streamt, um das 744B-Parameter-Modell GLM-5.2 MoE auf Consumer-Hardware mit nur 25 GB RAM auszuführen.

#KI Große Sprachmodelle (LLMs)#KI Open-Source-Modelle #KI Entwicklertools

Tool ansehen

Opper AI

Ein einheitliches KI-Gateway, das Zugriff auf über 300 führende Modelle über eine in der EU gehostete, DSGVO-konforme API mit einer OpenAI SDK-kompatiblen Schnittstelle bietet.

Kostenlos

#KI API #KI Entwicklertools #KI Agent #KI Große Sprachmodelle (LLMs)

Tool ansehen

Auriko

Eine einheitliche API-Plattform für LLM-Inferenz mit Kostenoptimierung, Routing, Beobachtbarkeit und automatischer Ausfallsicherung.

#KI Entwicklertools #KI API #KI Große Sprachmodelle (LLMs)

Tool ansehen