Welche Hardware wird benötigt, um colibri auszuführen?

Ein Linux- oder Windows-Rechner mit ~25 GB RAM, einer NVMe-SSD mit ~370 GB freiem Speicher und einer CPU mit AVX2- und OpenMP-Unterstützung. Eine GPU ist optional (experimentelles CUDA-Backend).

Wie schnell ist colibri?

Die Kalt-Dekodierung liegt bei etwa 0,05-0,1 Tokens pro Sekunde auf einer typischen NVMe. Mit warmem Cache und gepinnten Experten können Geschwindigkeiten von 0,5-4 Tok/s erreicht werden, abhängig von der Hardware.

Kann ich ein anderes Modell mit colibri verwenden?

Nein, colibri ist speziell für GLM-5.2 (glm_moe_dsa) entwickelt und sein Konverter unterstützt nur dieses Modell.

Ist colibri für den Produktionseinsatz geeignet?

Nicht empfohlen. Es ist für den persönlichen, pädagogischen und Forschungsgebrauch konzipiert, aufgrund der niedrigen Geschwindigkeit und der Unterstützung nur eines einzigen Modells.

KI Große Sprachmodelle (LLMs)

colibri

Eine ablauffreie C-Engine, die Expertengewichte von der Festplatte streamt, um das 744B-Parameter-Modell GLM-5.2 MoE auf Consumer-Hardware mit nur 25 GB RAM auszuführen.

colibri

Website öffnen

Was ist colibri?

colibri ist eine leichte, reine C-Inferenz-Engine für das GLM-5.2 744B-Parameter-Mixture-of-Experts-Modell. Es streamt Expertengewichte von der Festplatte und benötigt zur Laufzeit kein Python, keine GPU und keine externen Abhängigkeiten, wodurch die lokale Ausführung auf einem Rechner mit ~25 GB RAM möglich ist.

colibri vs Ähnliche Tools

	colibri	Aymo AI	EB Echo by Tracer	L LiquidBrain.ai
Preismodell	Kostenlos	Kostenlos, Freemium	Kostenpflichtig	Kostenpflichtig
Gratis-Credits
Wichtige Funktionen	Reine C-Implementierung ohne externe Abhängigkeiten Streaming von Expertengewichten von der Festplatte mit LRU-Cache und optionalem gepinnten Hot-Store Originalgetreuer GLM-5.2 (glm_moe_dsa) Forward-Pass, token-exakt validiert	Zugriff auf mehrere KI-Modelle (GPT, Claude, Gemini, DeepSeek, Grok usw.) Teamzusammenarbeit in privaten Arbeitsbereichen Unterstützung für Datei-Uploads (PDF, Code, Dokumente) mit kontextbezogenem Verständnis	Einzelnes Modell für alle Aufgaben ohne Moduswechsel OpenAI-kompatible API Qualität auf Claude-Fable-Niveau bei bewerteten Aufgaben	Unbegrenzte Tokens Unbegrenztes Kontextfenster Feste monatliche Preise
Vorteile	Führt ein 744B-Parameter-Modell auf Consumer-Hardware mit nur 25 GB RAM aus Open Source und vollständig transparent (C-Code, keine Abhängigkeiten)	Zugriff auf mehrere führende KI-Modelle in einer Plattform Integrierte Team-Kollaborationsfunktionen	Hohe Qualität vergleichbar mit Claude Fable Deutlich geringere Kosten als Grenzmodelle	Unbegrenzte Tokens und Kontext Feste, vorhersagbare Preise
Nachteile	Sehr langsame Kalt-Dekodierung (0,05-0,1 Tok/s auf typischer NVMe) Erfordert ~370 GB Festplattenspeicher für das konvertierte int4-Modell	Begrenzte Nachrichten und Credits im kostenlosen Plan Erweiterte Funktionen erfordern ein kostenpflichtiges Abonnement	Neueres Modell mit begrenzter unabhängiger Validierung Genaue Preisangaben nicht öffentlich	Hohe monatliche Kosten (10.000 $+) Erfordert 14-tägige Bereitstellungszeit
Geeignet für	Entwickler, die massive Modelle lokal ausführen möchten KI-Forscher, die MoE-Architekturen auf begrenzter Hardware erkunden	Teams, die Zugriff auf verschiedene KI-Modelle benötigen Content-Ersteller und Forscher	Entwickler, die ein hochwertiges LLM zu geringeren Kosten suchen Teams, die ein einziges vielseitiges Modell benötigen	Unternehmensteams, die KI-Agenten in großem Maßstab betreiben Softwareentwicklungsteams, die langfristige Codegenerierung benötigen

So nutzt du colibri?

1Repository klonen: git clone https://github.com/JustVugg/colibri.git
2Engine bauen: cd c && make
3Das FP8-Modell in int4 konvertieren: ./coli convert --model /pfad/zum/modell
4Chat starten: COLI_MODEL=/pfad/zum/modell ./coli chat
5(Optional) Web-UI oder OpenAI-kompatiblen Server für eine grafische Oberfläche nutzen.

colibri Wichtige Funktionen

Reine C-Implementierung ohne externe Abhängigkeiten
Streaming von Expertengewichten von der Festplatte mit LRU-Cache und optionalem gepinnten Hot-Store
Originalgetreuer GLM-5.2 (glm_moe_dsa) Forward-Pass, token-exakt validiert
MLA-Aufmerksamkeit mit komprimiertem KV-Cache (57x kleiner)
Natives MTP-spekulatives Decoding für bis zu 2,8 Tokens pro Forward
Integer-Dot-Kernel (int8/int4) mit AVX2-Beschleunigung
Online-Lern-Cache, der sich an Nutzungsmuster anpasst

colibri Anwendungsfälle

Ausführen eines 744B-Parameter-MoE-Modells auf einem Consumer-Laptop oder -Desktop
Offline-Chat und Inferenz ohne Cloud-Abhängigkeiten
Forschung und Experimente mit großen MoE-Architekturen
Bildungsdemonstrationen der Fähigkeiten von Frontier-Modellen auf begrenzter Hardware

colibri Preise und Gratis-Credits

colibri arbeitet mit dem Modell Kostenlos.

Open Source

Kostenlos

Apache-2.0-Lizenz. Keine Kosten für Nutzung oder Modifikation.

colibri Vorteile und Nachteile

Vorteile

Führt ein 744B-Parameter-Modell auf Consumer-Hardware mit nur 25 GB RAM aus
Open Source und vollständig transparent (C-Code, keine Abhängigkeiten)
Effizientes Festplatten-Streaming mit Caching ermöglicht langlaufende Nutzung
Aktive Community-Benchmarks und Verbesserungen

Nachteile

Sehr langsame Kalt-Dekodierung (0,05-0,1 Tok/s auf typischer NVMe)
Erfordert ~370 GB Festplattenspeicher für das konvertierte int4-Modell
Unterstützt nur das GLM-5.2-Modell (keine Multi-Modell-Flexibilität)
CUDA-Backend ist experimentell und eingeschränkt

Wofür eignet sich colibri am besten?

Entwickler, die massive Modelle lokal ausführen möchten
KI-Forscher, die MoE-Architekturen auf begrenzter Hardware erkunden
Enthusiasten, die an Frontier-Modell-Inferenz ohne Cloud-Kosten interessiert sind

Häufige Fragen zu colibri

Kostenlose Alternativen zu colibri

Opper AI

Ein einheitliches KI-Gateway, das Zugriff auf über 300 führende Modelle über eine in der EU gehostete, DSGVO-konforme API mit einer OpenAI SDK-kompatiblen Schnittstelle bietet.

Kostenlos

#KI API #KI Entwicklertools #KI Agent #KI Große Sprachmodelle (LLMs)

Tool ansehen

WisGate

Einheitliches KI-API-Gateway, das Zugang zu erstklassigen LLMs, Bild-, Video- und Codierungsmodellen zu erschwinglichen Preisen bietet.

Kostenlos

#KI API #KI Große Sprachmodelle (LLMs)#KI Bildgenerator #KI Text zu Video #KI Code-Assistent #KI Entwicklertools

Tool ansehen

discode.ai

Eine einheitliche Chat-Oberfläche, die Zugriff auf über 100 KI-Modelle bietet, automatisch das beste Modell für Ihre Aufgabe auswählt, den Energieverbrauch verfolgt und Ihre Privatsphäre schützt.

Kostenlos

#KI Modelle #KI Große Sprachmodelle (LLMs)#KI Chatbot

Tool ansehen

Oxlo.ai

Oxlo.ai ist eine datenschutzorientierte KI-Inferenz-API, die eine anfragebasierte Preisgestaltung für über 45 Open-Source-Modelle bietet.

Kostenlos

#KI API #KI Große Sprachmodelle (LLMs)#KI Open-Source-Modelle

Tool ansehen

Graphsignal

Graphsignal ist eine Produktions-Inferenz-Profiling-Plattform, die Ingenieuren hilft, die KI-Leistung über Modelle, Engines, GPUs und andere Beschleuniger hinweg zu optimieren.

Kostenlos

#KI Entwicklertools #KI Große Sprachmodelle (LLMs)

Tool ansehen

Atlas Cloud

Atlas Cloud ist eine Full-Modal AI Inference Platform, die eine API für Chat-, Bild-, Video- und Audio-Modelle bietet.

Kostenlos

#KI API #KI Modelle #KI Video-Generator #KI Bildgenerator #KI Große Sprachmodelle (LLMs)

Tool ansehen

Groq

Groq bietet schnelle, kostengünstige KI-Inferenz über GroqCloud und seinen eigenen LPU-Stack.

Kostenlos

#KI API #KI Entwicklertools #KI Modelle #KI Große Sprachmodelle (LLMs)

Tool ansehen

Beste KI-Alternativen zu colibri

Aymo AI

All-in-One-KI-Plattform für Teams, die Zugriff auf führende KI-Modelle wie GPT, Claude, Gemini und mehr in einem sicheren kollaborativen Arbeitsbereich bietet.

#KI Modelle #KI Große Sprachmodelle (LLMs)#KI Chatbot

Tool ansehen

Echo by Tracer

Echo ist ein Open-Weight-KI-Modell, das Claude-ähnliche Leistung zu einem Drittel der Kosten bietet und für Chat-, Code- und Agentenaufgaben geeignet ist.

#KI Große Sprachmodelle (LLMs)#KI Modelle

Tool ansehen

LiquidBrain.ai

LiquidBrain.ai bietet unbegrenzte Token- und Kontext-AI-Inferenz zu einer festen monatlichen Gebühr, mit einer patentierten verteilten Inferenz-Engine für private, skalierbare Modellbereitstellung.

#KI Große Sprachmodelle (LLMs)#KI Modelle

Tool ansehen

DwarfStar

Eine spezialisierte lokale Inferenz-Engine für große Sprachmodelle, optimiert für Apple Silicon und SSD-Streaming auf speicherbegrenzten Systemen.

#KI Große Sprachmodelle (LLMs)#KI Entwicklertools

Tool ansehen

LibArgus

Einheitliche, null-allokierende native KI-Inferenz-Laufzeit für Java, die LLM-, Vision- und Sprach-Pipelines über Project Panama konsolidiert.

#KI Entwicklertools #KI Große Sprachmodelle (LLMs)#KI Open-Source-Modelle #KI Code-Assistent

Tool ansehen

Opper AI

Ein einheitliches KI-Gateway, das Zugriff auf über 300 führende Modelle über eine in der EU gehostete, DSGVO-konforme API mit einer OpenAI SDK-kompatiblen Schnittstelle bietet.

Kostenlos

#KI API #KI Entwicklertools #KI Agent #KI Große Sprachmodelle (LLMs)

Tool ansehen

Auriko

Eine einheitliche API-Plattform für LLM-Inferenz mit Kostenoptimierung, Routing, Beobachtbarkeit und automatischer Ausfallsicherung.

#KI Entwicklertools #KI API #KI Große Sprachmodelle (LLMs)

Tool ansehen