colibri
En uavhengig C-motor som strømmer ekspertvekter fra disk for å kjøre GLM-5.2 MoE-modellen med 744 milliarder parametere på forbruker maskinvare med så lite som 25 GB RAM.
colibri
Hva er colibri?
colibri vs Lignende Verktøy
| Prismodell | Gratis | Gratis | Gratis | Gratis, Freemium |
| Gratis kreditter | ||||
| Viktige funksjoner |
|
|
|
|
| Fordeler |
|
|
|
|
| Ulemper |
|
|
|
|
| Passer best for |
|
|
|
|
Slik bruker du colibri?
- 1Klon repositoriet: git clone https://github.com/JustVugg/colibri.git
- 2Bygg motoren: cd c && make
- 3Konverter FP8-modellen til int4: ./coli convert --model /path/to/model
- 4Kjør chat: COLI_MODEL=/path/to/model ./coli chat
- 5(Valgfritt) Bruk webgrensesnittet eller OpenAI-kompatibel server for et grafisk grensesnitt.
colibri Viktige funksjoner
- Ren C-implementering uten eksterne avhengigheter
- Strømming av ekspertvekter fra disk, med LRU-buffer og valgfri festet hot-store
- Trofast GLM-5.2 (glm_moe_dsa) foroverpass, validert tokens-eksakt
- MLA-oppmerksomhet med komprimert KV-buffer (57x mindre)
- Innebygd MTP spekulativ dekoding for opptil 2.8 tokens per fremover
- Heltall-dot-kjerner (int8/int4) med AVX2-akselerasjon
- Online læringsbuffer som tilpasser seg bruksmønstre
colibri Bruksområder
- Kjøre en MoE-modell med 744 milliarder parametere på en forbruker bærbar eller stasjonær PC
- Offline chat og inferanse uten skyavhengigheter
- Forskning og eksperimentering med store MoE-arkitekturer
- Pedagogiske demonstrasjoner av frontmodellens muligheter på begrenset maskinvare
colibri Priser og gratiskreditter
colibri bruker prismodellen Gratis.
Dette verktøyet er helt gratis
colibri Fordeler og ulemper
Fordeler
- Kjører en modell med 744 milliarder parametere på forbrukermaskinvare med bare 25 GB RAM
- Åpen kildekode og fullt transparent (C-kode, ingen avhengigheter)
- Effektiv diskstrømming med bufring muliggjør langvarig bruk
- Aktivt fellesskap for benchmarks og forbedringer
Ulemper
- Veldig treg kald dekoding (0,05-0,1 tok/s på typisk NVMe)
- Krever ~370 GB diskplass for den konverterte int4-modellen
- Støtter kun GLM-5.2-modell (ingen multi-modell fleksibilitet)
- CUDA-backend er eksperimentell og begrenset
Hva passer colibri best til?
- Utviklere som ønsker å kjøre store modeller lokalt
- AI-forskere som utforsker MoE-arkitekturer på begrenset maskinvare
- Entusiaster interessert i frontmodell inferanse uten skykostnader
Vanlige spørsmål om colibri
Gratis alternativer til colibri
En enhetlig AI-gateway som gir tilgang til over 300 ledende modeller gjennom ett EU-hostet, GDPR-kompatibelt API med et OpenAI SDK-kompatibelt grensesnitt.
Enhetlig AI API-gateway som gir tilgang til toppmoderne LLM-er, bilde-, video- og kodingsmodeller til rimelige priser.
Ett chattegrensesnitt som gir deg tilgang til over 100 AI-modeller, velger automatisk den beste modellen for oppgaven din, samtidig som den sporer energibruk og beskytter personvernet ditt.
Oxlo.ai er et personvernfokusert AI-inferens-API som tilbyr forespørselsbasert prising for over 45 åpne modeller.
Graphsignal er en produksjonsskala inferensprofileringsplattform som hjelper ingeniører med å optimalisere AI-ytelse på tvers av modeller, motorer, GPUer og andre akseleratorer.
Atlas Cloud er en full-modal AI-inferensplattform som tilbyr én API for chat-, bilde-, video- og lydmodeller.
Groq tilbyr rask og rimelig AI-inferens via GroqCloud og sin egendefinerte LPU-stack.
Beste AI-alternativer til colibri
En spesialisert lokal inferensmotor for store språkmodeller, optimalisert for Apple Silicon og SSD-strømming på minnebegrensede systemer.
Enhetlig, null-allokeringsbasert innfødt AI-inferenskjøretid for Java, som konsoliderer LLM-, syn- og talepipelines via Project Panama.
En enhetlig AI-gateway som gir tilgang til over 300 ledende modeller gjennom ett EU-hostet, GDPR-kompatibelt API med et OpenAI SDK-kompatibelt grensesnitt.
En enhetlig API-plattform for LLM-inferens med kostnadsoptimalisering, ruting, observerbarhet og automatisk failover.
Enhetlig AI API-gateway som gir tilgang til toppmoderne LLM-er, bilde-, video- og kodingsmodeller til rimelige priser.
Frugon er en gratis, åpen kildekode LLM-kostnadsanalysator som identifiserer hvor LLM-regningen lekker ved å analysere anropsloggene dine lokalt.