أدوات المطورين بالذكاء الاصطناعي
LibArgus
بيئة تشغيل استدلال ذكاء اصطناعي أصلي وموحد بدون تخصيص ذاكرة لجافا، تجمع بين مسارات LLM والرؤية والكلام عبر Project Panama.
LibArgus
ما هو LibArgus؟
LibArgus هو غلاف استدلال عالي الأداء وغير معتمد على النموذج، يوفر واجهة C موحدة لتشغيل نماذج LLM، تحويل الكلام إلى نص، تحويل النص إلى كلام، والنماذج متعددة الوسائط بدون حمل GC، مصمم خصيصًا لجافا 22+ عبر Project Panama.
LibArgus مقارنة بأدوات مماثلة
| نموذج التسعير | مجاني | مجاني | تسعير مخصص | مجاني, مدفوع |
| أرصدة مجانية | ||||
| الميزات الرئيسية |
|
|
|
|
| المزايا |
|
|
|
|
| العيوب |
|
|
|
|
| مناسب لـ |
|
|
|
|
طريقة استخدام LibArgus
- 1قم بتثبيت التبعيات وبناء libargus باستخدام CMake مع GGML_CUDA=ON لتسريع GPU.
- 2قم بدمج المكتبة الأصلية في مشروع جافا الخاص بك باستخدام روابط Panama FFM المتوفرة.
- 3قم بتهيئة ArgusBackend، وتحميل نموذج GGUF في ArgusModel، وإنشاء ArgusContext.
- 4لتوليد النص، قم بتقسيم المطالبات إلى رموز واستدعاء context.decodeBatch مع أخذ العينات.
- 5للاستخدام متعدد الوسائط، قم بتحميل جهاز عرض متعدد الوسائط واستخدم ArgusMultimodalContext لمعالجة الصور أو الفيديو.
الميزات الرئيسية في LibArgus
- استدلال بدون تخصيص ذاكرة باستخدام واجهة Project Panama FFM API
- بيئة تشغيل موحدة لنماذج LLM و ASR و TTS والنماذج متعددة الوسائط
- خلفية على مستوى العملية للتخلص من تجزئة VRAM
- وزن منفصل وتنفيذ لجلسات متزامنة
- دعم فك التشفير التخميني والتنبؤ متعدد الرموز
- تكميم ذاكرة التخزين المؤقت KV (Q8_0, Q4_0, إلخ)
- معالجة الفيديو إطارًا بإطار باستخدام أنابيب FFmpeg
- أخذ عينات تحيز لوجيت غير معتمد على النموذج
- استخراج التضمينات للمتجهات الدلالية
- مصدر مفتوح برخصة MIT
حالات استخدام LibArgus
- بناء روبوتات محادثة ومساعدين افتراضيين منخفضي زمن الوصول في جافا
- تطوير تطبيقات متعددة الوسائط تعالج النصوص والصور والصوت والفيديو
- إنشاء مسارات تحويل الكلام إلى نص وتحويل النص إلى كلام لتطبيقات المؤسسات
- تنفيذ استدلال نموذج بدون GC للأنظمة عالية التردد أو الوقت الفعلي
- البحث ونشر نماذج LLM مخصصة مع روابط جافا
أسعار LibArgus والأرصدة المجانية
يعمل LibArgus بنموذج مجاني.
مزايا وعيوب LibArgus
المزايا
- تصميم بدون تخصيص ذاكرة لأداء عالٍ في جافا
- واجهة موحدة عبر أنواع نماذج متعددة (نص، رؤية، صوت)
- يدعم ميزات حديثة مثل أجهزة العرض متعددة الوسائط وتكميم KV Cache
- تطوير نشط مع إصدار مستقر v1.0.0
- مصدر مفتوح برخصة MIT المسموحة
العيوب
- يتطلب جافا 22+ و Project Panama (ليس معيارياً بعد في جميع JVMs)
- قد تكون عملية البناء معقدة للمبتدئين بسبب الترجمة الأصلية
- محدود بتنسيقات نماذج GGUF/GGML
- الوثائق فنية بشكل أساسي وموجهة للمطورين
لأي استخدام يناسب LibArgus أكثر؟
- مطورو جافا الذين يبنون تطبيقات ذكاء اصطناعي ذات حمل ذاكرة منخفض
- المشاريع التي تحتاج إلى استدلال عالي الإنتاجية على الموقع لنماذج LLM والنماذج متعددة الوسائط
- فرق المؤسسات التي تتطلب التكامل مع خدمات جافا الصغرى والأطر