نماذج اللغات الكبيرة (LLMs) بالذكاء الاصطناعي
NanoEuler
NanoEuler هو نموذج لغة مفتوح المصدر من نمط GPT-2 مبني بالكامل من الصفر بلغة C/CUDA مع خوارزمية الانتشار العكسي (Backpropagation) مكتوبة يدويًا، ومحلل BPE، وFlashAttention، وخطوط تدريب.
NanoEuler
ما هو NanoEuler؟
NanoEuler هو مشروع تعليمي ينفذ محولًا فك تشفير فقط (نمط GPT-2) بالكامل بلغة C وCUDA، دون أي مكتبات تعلم آلي. يتضمن محلل BPE على مستوى البايت، وتدريب مسبق على بيانات الكتب والويب، وضبط دقيق خاضع للإشراف للمحادثة.
NanoEuler مقارنة بأدوات مماثلة
| نموذج التسعير | مجاني | مجاني | مجاني | مجاني |
| أرصدة مجانية | ||||
| الميزات الرئيسية |
|
|
|
|
| المزايا |
|
|
|
|
| العيوب |
|
|
|
|
| مناسب لـ |
|
|
|
|
طريقة استخدام NanoEuler
- 1استنسخ المستودع من GitHub.
- 2تأكد من تثبيت gcc و nvcc.
- 3شغّل 'make' لبناء ثنائي تدريب وحدة المعالجة المركزية.
- 4شغّل 'make check' للتحقق من المرور الخلفي.
- 5درّب النموذج الصغير: './nanoeuler train'.
- 6درّب نموذج GPU: './nanoeuler_cuda t'.
- 7اضبط دقيقًا للمحادثة: './nanoeuler_cuda s'.
- 8تفاعل مع نموذج المحادثة: './nanoeuler_cuda c'.
الميزات الرئيسية في NanoEuler
- تمريرات أمامية وخلفية مكتوبة يدويًا في C/CUDA
- محلل BPE على مستوى البايت مع تمهيد أولي على نمط GPT-2
- نواة FlashAttention لتدريب GPU
- تدريب مسبق على نصوص الكتب والويب
- ضبط دقيق خاضع للإشراف للمحادثة (SFT)
- فحص تدرج كامل النموذج بدقة مزدوجة
- نقاط التفتيش/استئناف التدريب
- يدعم التنفيذ على CPU و GPU (CUDA)
حالات استخدام NanoEuler
- استكشاف تعليمي لدواخل نماذج اللغة الكبيرة
- تعلم تدريب المحولات من الصفر
- التجريب مع نماذج لغوية صغيرة النطاق
- البحث في بنى النماذج المخصصة
أسعار NanoEuler والأرصدة المجانية
يعمل NanoEuler بنموذج مجاني.
هذه الأداة مجانية بالكامل
مزايا وعيوب NanoEuler
المزايا
- تنفيذ كامل من الصفر بدون تبعيات
- دقة تدرج مُحققة عبر الفحص العددي
- يدعم التدريب على كل من CPU و GPU
- يشمل خطوط تدريب مسبق وضبط دقيق
- موثق جيدًا وتعليمي
العيوب
- فقط ~116 مليون معلمة، غير مناسب للإنتاج
- يتطلب GPU يدعم CUDA لتدريب النموذج الكبير
- معرفة عالمية محدودة بسبب حجمه الصغير
- لا نقاط تفتيش مدربة مسبقًا رسمية متوفرة
لأي استخدام يناسب NanoEuler أكثر؟
- المطورون والباحثون الذين يتعلمون تدريب نماذج اللغة الكبيرة
- الطلاب الذين يدرسون دواخل المحولات
- الهواة الذين يبنون نماذج صغيرة مخصصة