colibri
Bağımlılıksız bir C motoru; 744B parametreli GLM-5.2 MoE modelini tüketici donanımında en az 25 GB RAM ile çalıştırmak için diskten uzman ağırlıklarını akışla aktarır.
colibri
Nedir colibri?
colibri vs Benzer Araçlar
| Fiyatlandırma Modeli | Ücretsiz | Ücretsiz | Ücretsiz | Ücretsiz, Freemium |
| Ücretsiz Krediler | ||||
| Temel özellikler |
|
|
|
|
| Artılar |
|
|
|
|
| Eksiler |
|
|
|
|
| Kimler için uygun |
|
|
|
|
Nasıl kullanılır colibri?
- 1Depoyu klonlayın: git clone https://github.com/JustVugg/colibri.git
- 2Motoru derleyin: cd c && make
- 3FP8 modelini int4'e dönüştürün: ./coli convert --model /path/to/model
- 4Sohbeti başlatın: COLI_MODEL=/path/to/model ./coli chat
- 5(İsteğe bağlı) Grafik arayüz için web UI veya OpenAI uyumlu sunucuyu kullanın.
colibri Temel özellikler
- Sıfır harici bağımlılıkla saf C uygulaması
- Diskten uzman ağırlıklarının akışla aktarımı, LRU önbellek ve isteğe bağlı sabit sıcak depo
- GLM-5.2 (glm_moe_dsa) ileri geçişi, token bazında doğrulanmış
- Sıkıştırılmış KV önbellek ile MLA dikkat (57 kat daha küçük)
- İleri geçiş başına 2,8 token'a kadar yerel MTP spekülatif kod çözme
- AVX2 hızlandırmalı tamsayı nokta çekirdekleri (int8/int4)
- Kullanım desenlerine uyum sağlayan çevrimiçi öğrenme önbelleği
colibri Kullanım senaryoları
- Tüketici dizüstü veya masaüstü bilgisayarda 744B parametreli MoE modeli çalıştırma
- Bulut bağımlılığı olmadan çevrimdışı sohbet ve çıkarım
- Büyük MoE mimarileri ile araştırma ve deney yapma
- Sınırlı donanımda sınır model yeteneklerinin eğitim amaçlı gösterimi
colibri Fiyatlar ve ücretsiz krediler
colibri, Ücretsiz modeliyle çalışır.
colibri Artılar ve eksiler
Artılar
- Sadece 25 GB RAM ile tüketici donanımında 744B parametreli model çalıştırır
- Açık kaynak ve tamamen şeffaf (C kodu, bağımlılık yok)
- Önbellekleme ile verimli disk akışı uzun süreli kullanım sağlar
- Aktif topluluk kıyaslamaları ve iyileştirmeleri
Eksiler
- Çok yavaş soğuk kod çözme (tipik NVMe'de 0,05-0,1 tok/s)
- Dönüştürülmüş int4 modeli için ~370 GB disk alanı gerektirir
- Yalnızca GLM-5.2 modelini destekler (çoklu model esnekliği yok)
- CUDA arka ucu deneysel ve sınırlıdır
colibri en çok ne için uygundur?
- Devasa modelleri yerel olarak çalıştırmak isteyen geliştiriciler
- Sınırlı donanımda MoE mimarilerini keşfeden yapay zeka araştırmacıları
- Bulut maliyeti olmadan sınır model çıkarımıyla ilgilenen meraklılar
colibri hakkında SSS
colibri için ücretsiz alternatifler
300'den fazla lider modele tek bir API ile erişim sağlayan, AB'de barındırılan, GDPR uyumlu ve OpenAI SDK ile uyumlu birleşik bir AI ağ geçidi.
WisGate, en iyi seviyedeki büyük dil modelleri (LLM'ler), görüntü, video ve kodlama modellerine uygun fiyatlarla erişim sağlayan birleşik bir yapay zeka API geçididir.
Tümleşik bir sohbet arayüzü ile 100'den fazla AI modeline erişim sağlar, göreviniz için en iyi modeli otomatik olarak seçer, enerji kullanımını izler ve gizliliğinizi korur.
Oxlo.ai, 45'ten fazla açık kaynak model için istek tabanlı fiyatlandırma sunan, gizlilik öncelikli bir AI çıkarım API'sidir.
Graphsignal, mühendislerin yapay zeka performansını modeller, motorlar, GPU'lar ve diğer hızlandırıcılar arasında optimize etmesine yardımcı olan üretim ölçeğinde bir çıkarım profilleme platformudur.
Atlas Cloud, sohbet, görsel, video ve ses modelleri için tek bir API sunan tam modal bir AI çıkarım platformudur.
Groq, GroqCloud ve özel LPU yığını üzerinden hızlı ve düşük maliyetli AI inference sunar.
colibri için en iyi AI alternatifleri
Büyük dil modelleri için özel bir yerel çıkarım motoru, Apple Silicon ve bellek kısıtlı sistemlerde SSD akışı için optimize edilmiştir.
Java için birleşik, sıfır tahsisli yerel AI çıkarım çalışma zamanı; LLM, görüntü ve konuşma işlem hatlarını Project Panama aracılığıyla birleştirir.
300'den fazla lider modele tek bir API ile erişim sağlayan, AB'de barındırılan, GDPR uyumlu ve OpenAI SDK ile uyumlu birleşik bir AI ağ geçidi.
Birden çok LLM sağlayıcısına yönelik, maliyet optimizasyonu, yönlendirme, gözlemlenebilirlik ve otomatik yük devretme sunan birleşik bir API platformu.
WisGate, en iyi seviyedeki büyük dil modelleri (LLM'ler), görüntü, video ve kodlama modellerine uygun fiyatlarla erişim sağlayan birleşik bir yapay zeka API geçididir.
Frugon, ücretsiz ve açık kaynaklı bir LLM maliyet analizörüdür. Çağrı kayıtlarınızı yerel olarak analiz ederek LLM faturanızın nereden sızdığını belirler.