نماذج اللغات الكبيرة (LLMs) بالذكاء الاصطناعي

DwarfStar

محرك استدلال محلي متخصص للنماذج اللغوية الكبيرة، محسّن لشرائح Apple Silicon وتدفق SSD على الأنظمة محدودة الذاكرة.

ما هو DwarfStar؟

DwarfStar هو محرك استدلال صغير ومستقل لتشغيل النماذج اللغوية الكبيرة محلياً، مع دعم أصلي لنماذج DeepSeek وQwen وGLM، ويتميز بتدفق SSD التكيفي وتسريع Metal.

DwarfStar مقارنة بأدوات مماثلة

نموذج التسعيرمجانيمجانيمجانيمجاني, فريميوم
أرصدة مجانية
الميزات الرئيسية
  • تحميل النماذج الأصلي لـ DeepSeek V4 وQwen3.6 وGLM 5.2
  • إقامة Metal التكيفية وتدفق SSD للأنظمة محدودة الذاكرة
  • خادم HTTP مع استدعاء الأدوات وعامل البرمجة
  • استدلال بدون تخصيص ذاكرة باستخدام واجهة Project Panama FFM API
  • بيئة تشغيل موحدة لنماذج LLM و ASR و TTS والنماذج متعددة الوسائط
  • خلفية على مستوى العملية للتخلص من تجزئة VRAM
  • تنفيذ بلغة C نقية بدون أي تبعيات خارجية
  • بث أوزان الخبراء من القرص مع ذاكرة تخزين مؤقت LRU وتخزين ساخن ثابت اختياري
  • تمرير أمامي دقيق لـ GLM-5.2 (glm_moe_dsa) تم التحقق منه بدقة الرمز
  • وصول موحد إلى أكثر من 300 نموذج ذكاء اصطناعي عبر واجهة برمجة تطبيقات واحدة
  • نقطة نهاية متوافقة مع SDK من OpenAI
  • بنية تحتية مستضافة في الاتحاد الأوروبي ومتوافقة مع GDPR
المزايا
  • يعمل بالكامل محلياً، مما يضمن خصوصية البيانات
  • محسّن لشرائح Apple Silicon مع تسريع Metal
  • تصميم بدون تخصيص ذاكرة لأداء عالٍ في جافا
  • واجهة موحدة عبر أنواع نماذج متعددة (نص، رؤية، صوت)
  • تشغيل نموذج ذي 744 مليار معلمة على أجهزة المستهلك باستخدام 25 جيجابايت فقط من ذاكرة الوصول العشوائي
  • مفتوح المصدر وشفاف بالكامل (رمز C، بدون تبعيات)
  • الوصول إلى أكثر من 300 نموذج عبر واجهة برمجة تطبيقات واحدة
  • مستضافة في الاتحاد الأوروبي ومتوافقة مع GDPR، مثالية للشركات الأوروبية
العيوب
  • مصمم بشكل أساسي لـ Apple Silicon؛ خلفيات CUDA/ROCm ثانوية
  • ليس مشغل GGUF عام؛ يدعم نماذج محددة فقط
  • يتطلب جافا 22+ و Project Panama (ليس معيارياً بعد في جميع JVMs)
  • قد تكون عملية البناء معقدة للمبتدئين بسبب الترجمة الأصلية
  • فك تشفير بارد بطيء جدًا (0.05-0.1 رمز/ثانية على NVMe نموذجي)
  • يتطلب ~370 جيجابايت من مساحة القرص للنموذج المحول int4
  • التسعير غير شفاف بالكامل دون حساب
  • رسوم 3% على مشتريات الرصيد قد تكون تكلفة خفية
مناسب لـ
  • مستخدمي Mac بشرائح Apple Silicon الراغبين في استدلال LLM على الجهاز
  • المطورين الباحثين عن محرك استدلال متخصص عالي الأداء
  • مطورو جافا الذين يبنون تطبيقات ذكاء اصطناعي ذات حمل ذاكرة منخفض
  • المشاريع التي تحتاج إلى استدلال عالي الإنتاجية على الموقع لنماذج LLM والنماذج متعددة الوسائط
  • المطورين الراغبين في تشغيل نماذج ضخمة محليًا
  • باحثي الذكاء الاصطناعي المستكشفين لبنى MoE على أجهزة محدودة
  • المطورين الذين يحتاجون إلى وصول متعدد النماذج مع الامتثال الأوروبي
  • الفرق التي تبني وكلاء وتطبيقات الذكاء الاصطناعي

طريقة استخدام DwarfStar

  1. 1تثبيت المتطلبات الأساسية: أدوات سطر أوامر Xcode على macOS.
  2. 2استنساخ المستودع: git clone https://github.com/andreaborio/ds4.git && cd ds4
  3. 3تنزيل نموذج: ./download_model.sh q2-imatrix
  4. 4البناء: make
  5. 5تشغيل الاستدلال: ./ds4 -m ./ds4flash.gguf --nothink
  6. 6بدء الخادم: ./ds4-server -m ./ds4flash.gguf --ctx 32768

الميزات الرئيسية في DwarfStar

  • تحميل النماذج الأصلي لـ DeepSeek V4 وQwen3.6 وGLM 5.2
  • إقامة Metal التكيفية وتدفق SSD للأنظمة محدودة الذاكرة
  • خادم HTTP مع استدعاء الأدوات وعامل البرمجة
  • إدارة حالة KV في RAM وعلى القرص
  • أدوات GGUF للقياس والمعايرة
  • دعم الخبراء المختلط الدقة
  • معايير السرعة والصحة

حالات استخدام DwarfStar

  • تشغيل النماذج اللغوية الكبيرة محلياً على أجهزة Mac ذات شرائح Apple Silicon
  • الاستدلال مع الحفاظ على الخصوصية دون الاعتماد على السحابة
  • تطوير واختبار تطبيقات LLM
  • البحث في قياس النماذج وتدفقها

أسعار DwarfStar والأرصدة المجانية

يعمل DwarfStar بنموذج مجاني.

مفتوح المصدر

مجاني

مرخص بموجب MIT ومتوفر بحرية على GitHub.

مزايا وعيوب DwarfStar

المزايا

  • يعمل بالكامل محلياً، مما يضمن خصوصية البيانات
  • محسّن لشرائح Apple Silicon مع تسريع Metal
  • يدعم نماذج متعددة كبيرة (DeepSeek وQwen وGLM)
  • تدفق SSD التكيفي يتيح تشغيل نماذج تتجاوز سعة RAM
  • مفتوح المصدر مع تطوير نشط ومعايير أداء

العيوب

  • مصمم بشكل أساسي لـ Apple Silicon؛ خلفيات CUDA/ROCm ثانوية
  • ليس مشغل GGUF عام؛ يدعم نماذج محددة فقط
  • برنامج تجريبي مع بعض الميزات التجريبية
  • يتطلب خبرة تقنية للإعداد والتكوين

لأي استخدام يناسب DwarfStar أكثر؟

  • مستخدمي Mac بشرائح Apple Silicon الراغبين في استدلال LLM على الجهاز
  • المطورين الباحثين عن محرك استدلال متخصص عالي الأداء
  • الباحثين الذين يجربون قياس النماذج وتدفقها

أسئلة شائعة عن DwarfStar

بدائل مجانية لـ DwarfStar

Opper AI logo

بوابة ذكاء اصطناعي موحدة توفر الوصول إلى أكثر من 300 نموذج رائد عبر واجهة برمجة تطبيقات واحدة مستضافة في الاتحاد الأوروبي ومتوافقة مع اللائحة العامة لحماية البيانات (GDPR) مع واجهة متوافقة مع SDK من OpenAI.

مجاني
discode.ai logo

واجهة محادثة واحدة تمنحك الوصول إلى أكثر من 100 نموذج ذكاء اصطناعي، وتختار تلقائيًا أفضل نموذج لمهمتك مع تتبع استهلاك الطاقة وحماية خصوصيتك.

مجاني
Graphsignal logo

جرافسيجنال هي منصة لتحليل أداء الاستدلال على نطاق الإنتاج تساعد المهندسين على تحسين أداء الذكاء الاصطناعي عبر النماذج والمحركات ووحدات معالجة الرسوميات والمسرعات الأخرى.

مجاني

أفضل بدائل أدوات الذكاء الاصطناعي لـ DwarfStar

Opper AI logo

بوابة ذكاء اصطناعي موحدة توفر الوصول إلى أكثر من 300 نموذج رائد عبر واجهة برمجة تطبيقات واحدة مستضافة في الاتحاد الأوروبي ومتوافقة مع اللائحة العامة لحماية البيانات (GDPR) مع واجهة متوافقة مع SDK من OpenAI.

مجاني