Welche Hardware wird benötigt, um colibri auszuführen?

Ein Linux- oder Windows-Rechner mit ~25 GB RAM, einer NVMe-SSD mit ~370 GB freiem Speicher und einer CPU mit AVX2- und OpenMP-Unterstützung. Eine GPU ist optional (experimentelles CUDA-Backend).

Wie schnell ist colibri?

Die Kalt-Dekodierung liegt bei etwa 0,05-0,1 Tokens pro Sekunde auf einer typischen NVMe. Mit warmem Cache und gepinnten Experten können Geschwindigkeiten von 0,5-4 Tok/s erreicht werden, abhängig von der Hardware.

Kann ich ein anderes Modell mit colibri verwenden?

Nein, colibri ist speziell für GLM-5.2 (glm_moe_dsa) entwickelt und sein Konverter unterstützt nur dieses Modell.

Ist colibri für den Produktionseinsatz geeignet?

Nicht empfohlen. Es ist für den persönlichen, pädagogischen und Forschungsgebrauch konzipiert, aufgrund der niedrigen Geschwindigkeit und der Unterstützung nur eines einzigen Modells.

KI Große Sprachmodelle (LLMs)

colibri

Eine ablauffreie C-Engine, die Expertengewichte von der Festplatte streamt, um das 744B-Parameter-Modell GLM-5.2 MoE auf Consumer-Hardware mit nur 25 GB RAM auszuführen.

colibri

Website öffnen

Was ist colibri?

colibri ist eine leichte, reine C-Inferenz-Engine für das GLM-5.2 744B-Parameter-Mixture-of-Experts-Modell. Es streamt Expertengewichte von der Festplatte und benötigt zur Laufzeit kein Python, keine GPU und keine externen Abhängigkeiten, wodurch die lokale Ausführung auf einem Rechner mit ~25 GB RAM möglich ist.

colibri vs Ähnliche Tools

	colibri	DwarfStar	LibArgus	Opper AI
Preismodell	Kostenlos	Kostenlos	Kostenlos	Kostenlos, Freemium
Gratis-Credits
Wichtige Funktionen	Reine C-Implementierung ohne externe Abhängigkeiten Streaming von Expertengewichten von der Festplatte mit LRU-Cache und optionalem gepinnten Hot-Store Originalgetreuer GLM-5.2 (glm_moe_dsa) Forward-Pass, token-exakt validiert	Natives Modell-Laden für DeepSeek V4, Qwen3.6 und GLM 5.2 Adaptive Metal-Residency und SSD-Streaming für speicherbegrenzte Systeme HTTP-Server mit Tool-Aufruf und Coding-Agent	Inferenz mit Null-Allokation über Project Panama FFM API Einheitliche Laufzeit für LLM, ASR, TTS und multimodale Modelle Prozessglobales Backend zur Beseitigung von VRAM-Fragmentierung	Einheitlicher Zugriff auf über 300 KI-Modelle über eine API OpenAI SDK-kompatibler Endpunkt In der EU gehostete und DSGVO-konforme Infrastruktur
Vorteile	Führt ein 744B-Parameter-Modell auf Consumer-Hardware mit nur 25 GB RAM aus Open Source und vollständig transparent (C-Code, keine Abhängigkeiten)	Läuft vollständig lokal und gewährleistet Datenschutz Optimiert für Apple Silicon mit Metal-Beschleunigung	Null-Allokationsdesign für hohe Leistung in Java Einheitliche API für mehrere Modelltypen (Text, Vision, Audio)	Zugriff auf über 300 Modelle über eine einzige API In der EU gehostet und DSGVO-konform, ideal für europäische Unternehmen
Nachteile	Sehr langsame Kalt-Dekodierung (0,05-0,1 Tok/s auf typischer NVMe) Erfordert ~370 GB Festplattenspeicher für das konvertierte int4-Modell	Hauptsächlich für Apple Silicon entwickelt; CUDA/ROCm-Backends sind zweitrangig Kein generischer GGUF-Runner; unterstützt nur bestimmte Modelle	Erfordert Java 22+ und Project Panama (noch nicht in allen JVMs Standard) Build-Prozess kann für Anfänger aufgrund nativer Kompilierung komplex sein	Preise ohne Konto nicht vollständig transparent 3%-Gebühr auf Guthabenkäufe könnte versteckte Kosten darstellen
Geeignet für	Entwickler, die massive Modelle lokal ausführen möchten KI-Forscher, die MoE-Architekturen auf begrenzter Hardware erkunden	Apple Silicon Mac-Benutzer, die LLM-Inferenz auf dem Gerät wünschen Entwickler, die eine spezialisierte, leistungsstarke Inferenz-Engine suchen	Java-Entwickler, die KI-Anwendungen mit geringem Speicher-Overhead erstellen Projekte mit On-Premise-Hochdurchsatz-Inferenz für LLMs und multimodale Modelle	Entwickler, die Multi-Modell-Zugriff mit EU-Compliance benötigen Teams, die KI-Agenten und Anwendungen entwickeln

So nutzt du colibri?

1Repository klonen: git clone https://github.com/JustVugg/colibri.git
2Engine bauen: cd c && make
3Das FP8-Modell in int4 konvertieren: ./coli convert --model /pfad/zum/modell
4Chat starten: COLI_MODEL=/pfad/zum/modell ./coli chat
5(Optional) Web-UI oder OpenAI-kompatiblen Server für eine grafische Oberfläche nutzen.

colibri Wichtige Funktionen

Reine C-Implementierung ohne externe Abhängigkeiten
Streaming von Expertengewichten von der Festplatte mit LRU-Cache und optionalem gepinnten Hot-Store
Originalgetreuer GLM-5.2 (glm_moe_dsa) Forward-Pass, token-exakt validiert
MLA-Aufmerksamkeit mit komprimiertem KV-Cache (57x kleiner)
Natives MTP-spekulatives Decoding für bis zu 2,8 Tokens pro Forward
Integer-Dot-Kernel (int8/int4) mit AVX2-Beschleunigung
Online-Lern-Cache, der sich an Nutzungsmuster anpasst

colibri Anwendungsfälle

Ausführen eines 744B-Parameter-MoE-Modells auf einem Consumer-Laptop oder -Desktop
Offline-Chat und Inferenz ohne Cloud-Abhängigkeiten
Forschung und Experimente mit großen MoE-Architekturen
Bildungsdemonstrationen der Fähigkeiten von Frontier-Modellen auf begrenzter Hardware

colibri Preise und Gratis-Credits

colibri arbeitet mit dem Modell Kostenlos.

Open Source

Kostenlos

Apache-2.0-Lizenz. Keine Kosten für Nutzung oder Modifikation.

colibri Vorteile und Nachteile

Vorteile

Führt ein 744B-Parameter-Modell auf Consumer-Hardware mit nur 25 GB RAM aus
Open Source und vollständig transparent (C-Code, keine Abhängigkeiten)
Effizientes Festplatten-Streaming mit Caching ermöglicht langlaufende Nutzung
Aktive Community-Benchmarks und Verbesserungen

Nachteile

Sehr langsame Kalt-Dekodierung (0,05-0,1 Tok/s auf typischer NVMe)
Erfordert ~370 GB Festplattenspeicher für das konvertierte int4-Modell
Unterstützt nur das GLM-5.2-Modell (keine Multi-Modell-Flexibilität)
CUDA-Backend ist experimentell und eingeschränkt

Wofür eignet sich colibri am besten?

Entwickler, die massive Modelle lokal ausführen möchten
KI-Forscher, die MoE-Architekturen auf begrenzter Hardware erkunden
Enthusiasten, die an Frontier-Modell-Inferenz ohne Cloud-Kosten interessiert sind

Häufige Fragen zu colibri

Kostenlose Alternativen zu colibri

Opper AI

Ein einheitliches KI-Gateway, das Zugriff auf über 300 führende Modelle über eine in der EU gehostete, DSGVO-konforme API mit einer OpenAI SDK-kompatiblen Schnittstelle bietet.

Kostenlos

#KI API #KI Entwicklertools #KI Agent #KI Große Sprachmodelle (LLMs)

Tool ansehen

WisGate

Einheitliches KI-API-Gateway, das Zugang zu erstklassigen LLMs, Bild-, Video- und Codierungsmodellen zu erschwinglichen Preisen bietet.

Kostenlos

#KI API #KI Große Sprachmodelle (LLMs)#KI Bildgenerator #KI Text zu Video #KI Code-Assistent #KI Entwicklertools

Tool ansehen

discode.ai

Eine einheitliche Chat-Oberfläche, die Zugriff auf über 100 KI-Modelle bietet, automatisch das beste Modell für Ihre Aufgabe auswählt, den Energieverbrauch verfolgt und Ihre Privatsphäre schützt.

Kostenlos

#KI Modelle #KI Große Sprachmodelle (LLMs)#KI Chatbot

Tool ansehen

Oxlo.ai

Oxlo.ai ist eine datenschutzorientierte KI-Inferenz-API, die eine anfragebasierte Preisgestaltung für über 45 Open-Source-Modelle bietet.

Kostenlos

#KI API #KI Große Sprachmodelle (LLMs)#KI Open-Source-Modelle

Tool ansehen

Graphsignal

Graphsignal ist eine Produktions-Inferenz-Profiling-Plattform, die Ingenieuren hilft, die KI-Leistung über Modelle, Engines, GPUs und andere Beschleuniger hinweg zu optimieren.

Kostenlos

#KI Entwicklertools #KI Große Sprachmodelle (LLMs)

Tool ansehen

Atlas Cloud

Atlas Cloud ist eine Full-Modal AI Inference Platform, die eine API für Chat-, Bild-, Video- und Audio-Modelle bietet.

Kostenlos

#KI API #KI Modelle #KI Video-Generator #KI Bildgenerator #KI Große Sprachmodelle (LLMs)

Tool ansehen

Groq

Groq bietet schnelle, kostengünstige KI-Inferenz über GroqCloud und seinen eigenen LPU-Stack.

Kostenlos

#KI API #KI Entwicklertools #KI Modelle #KI Große Sprachmodelle (LLMs)

Tool ansehen

Beste KI-Alternativen zu colibri

DwarfStar

Eine spezialisierte lokale Inferenz-Engine für große Sprachmodelle, optimiert für Apple Silicon und SSD-Streaming auf speicherbegrenzten Systemen.

#KI Große Sprachmodelle (LLMs)#KI Entwicklertools

Tool ansehen

LibArgus

Einheitliche, null-allokierende native KI-Inferenz-Laufzeit für Java, die LLM-, Vision- und Sprach-Pipelines über Project Panama konsolidiert.

#KI Entwicklertools #KI Große Sprachmodelle (LLMs)#KI Open-Source-Modelle #KI Code-Assistent

Tool ansehen

Opper AI

Ein einheitliches KI-Gateway, das Zugriff auf über 300 führende Modelle über eine in der EU gehostete, DSGVO-konforme API mit einer OpenAI SDK-kompatiblen Schnittstelle bietet.

Kostenlos

#KI API #KI Entwicklertools #KI Agent #KI Große Sprachmodelle (LLMs)

Tool ansehen

Auriko

Eine einheitliche API-Plattform für LLM-Inferenz mit Kostenoptimierung, Routing, Beobachtbarkeit und automatischer Ausfallsicherung.

#KI Entwicklertools #KI API #KI Große Sprachmodelle (LLMs)

Tool ansehen

WisGate

Einheitliches KI-API-Gateway, das Zugang zu erstklassigen LLMs, Bild-, Video- und Codierungsmodellen zu erschwinglichen Preisen bietet.

Kostenlos

#KI API #KI Große Sprachmodelle (LLMs)#KI Bildgenerator #KI Text zu Video #KI Code-Assistent #KI Entwicklertools

Tool ansehen

Lucid

Ein browserbasiertes Instrument, das die Jacobi-Linse nutzt, um interne Konzepte von Sprachmodellen in Echtzeit zu lesen.

#KI Modelle #KI Große Sprachmodelle (LLMs)#KI Forschungsarbeiten

Tool ansehen

Frugon

Frugon ist ein kostenloser Open-Source-LLM-Kostenanalysator, der erkennt, wo Ihre LLM-Rechnung undicht ist, indem er Ihre Anrufprotokolle lokal analysiert.

#KI Entwicklertools #KI API #KI Große Sprachmodelle (LLMs)#KI Open-Source-Modelle

Tool ansehen