Yapay Zeka Büyük Dil Modelleri
NanoEuler
NanoEuler, C/CUDA'da sıfırdan yazılmış, el yapımı geri yayılım, BPE tokenizer, FlashAttention ve eğitim hatlarına sahip, açık kaynaklı GPT-2 tarzı bir dil modelidir.
NanoEuler
Nedir NanoEuler?
NanoEuler, herhangi bir makine öğrenimi kütüphanesi olmadan tamamen C ve CUDA ile bir decoder-only transformer (GPT-2 tarzı) uygulayan eğitimsel bir projedir. Bayt düzeyinde BPE tokenizer, kitaplar ve web verileri üzerinde ön eğitim ve sohbet için denetimli ince ayar içerir.
NanoEuler vs Benzer Araçlar
| Fiyatlandırma Modeli | Ücretsiz | Ücretsiz | Ücretsiz | Ücretsiz |
| Ücretsiz Krediler | ||||
| Temel özellikler |
|
|
|
|
| Artılar |
|
|
|
|
| Eksiler |
|
|
|
|
| Kimler için uygun |
|
|
|
|
Nasıl kullanılır NanoEuler?
- 1Depoyu GitHub'dan klonlayın.
- 2gcc ve nvcc'nin yüklü olduğundan emin olun.
- 3CPU eğitim ikili dosyasını oluşturmak için 'make' komutunu çalıştırın.
- 4Geri yayılımı doğrulamak için 'make check' komutunu çalıştırın.
- 5Küçük modeli eğitin: './nanoeuler train'.
- 6GPU modelini eğitin: './nanoeuler_cuda t'.
- 7Sohbet için ince ayar yapın: './nanoeuler_cuda s'.
- 8Sohbet modeliyle etkileşim: './nanoeuler_cuda c'.
NanoEuler Temel özellikler
- C/CUDA'da el yazımı ileri ve geri geçişler
- GPT-2 tarzı ön tokenizasyon ile bayt düzeyinde BPE tokenizer
- GPU eğitimi için FlashAttention çekirdeği
- Kitaplar ve web külliyatı üzerinde ön eğitim
- Sohbet için denetimli ince ayar (SFT)
- Çift duyarlılıkta tam model gradyan kontrolü
- Kontrol noktası/eğitimi devam ettirme
- CPU ve GPU (CUDA) yürütmesini destekler
NanoEuler Kullanım senaryoları
- LLM iç yapısının eğitimsel keşfi
- Sıfırdan transformer eğitimini öğrenme
- Küçük ölçekli dil modelleriyle deney yapma
- Özel model mimarileri üzerine araştırma
NanoEuler Fiyatlar ve ücretsiz krediler
NanoEuler, Ücretsiz modeliyle çalışır.
Bu araç tamamen ücretsizdir
NanoEuler Artılar ve eksiler
Artılar
- Sıfırdan tam uygulama, bağımlılık yok
- Sayısal kontrol ile doğrulanmış gradyan doğruluğu
- Hem CPU hem GPU eğitimini destekler
- Ön eğitim ve ince ayar hatlarını içerir
- İyi belgelenmiş ve eğitimsel
Eksiler
- Yalnızca ~116M parametre, üretim için uygun değil
- Büyük model eğitimi için CUDA uyumlu GPU gerektirir
- Küçük ölçek nedeniyle sınırlı dünya bilgisi
- Sağlanan resmi ön eğitimli kontrol noktası yok
NanoEuler en çok ne için uygundur?
- LLM eğitimini öğrenen geliştiriciler ve araştırmacılar
- Transformer iç yapısını çalışan öğrenciler
- Özel küçük modeller oluşturan hobi sahipleri