أدوات المطورين بالذكاء الاصطناعي
Millwright
Millwright هو موجه LLM مفتوح المصدر ومستضاف ذاتيًا يقوم بتوجيه طلبات الذكاء الاصطناعي إلى أرخص مزودي النماذج بناءً على السياسة، مع الحفاظ على ذاكرة التخزين المؤقت للاستفسارات والتحكم في الإنفاق.
Millwright
ما هو Millwright؟
Millwright هو موجه LLM مفتوح المصدر يوجه طلبات الذكاء الاصطناعي إلى أرخص مزود نموذج مناسب بناءً على السياسة، مع الحفاظ على تقارب ذاكرة التخزين المؤقت للاستفسارات والتحكم في الإنفاق. يعمل بين تطبيقات الذكاء الاصطناعي الخاصة بك ومزودي النماذج، ويقبل إكمالات محادثة OpenAI ورسائل Anthropic، ويوجه إلى واجهات برمجة تطبيقات متوافقة مع OpenAI أو Anthropic أو Amazon Bedrock.
Millwright مقارنة بأدوات مماثلة
| نموذج التسعير | مجاني | تسعير مخصص | مدفوع | مجاني |
| أرصدة مجانية | ||||
| الميزات الرئيسية |
|
|
|
|
| المزايا |
|
|
|
|
| العيوب |
|
|
|
|
| مناسب لـ |
|
|
|
|
طريقة استخدام Millwright
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6Alternatively, for a local demo:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
الميزات الرئيسية في Millwright
- توجيه مُتحكم به بواسطة السياسة مع رؤوس المهام والمخاطر
- التزامن الواعي بالذاكرة المخبؤة مع الحفاظ على مسارات تقارب مستقلة للأدوار الرخيصة والمتوسطة والمتقدمة
- تتبع الإنفاق وتحليل التكاليف عبر دفتر الأستاذ وأوامر CLI وواجهات برمجة تطبيقات الإدارة
- دعم المزودين والبروتوكولات لـ OpenAI Chat Completions وAnthropic Messages وAmazon Bedrock
- الاستضافة الذاتية كملف ثنائي Rust واحد مع دعم Docker؛ تبقى بيانات اعتماد المزودين على البنية التحتية الخاصة بك
حالات استخدام Millwright
- تقليل تكاليف LLM عن طريق توجيه الطلبات إلى أرخص نموذج يلبي متطلبات السياسة
- الحفاظ على إعادة استخدام ذاكرة التخزين المؤقت للاستفسارات عبر جلسة من خلال الحفاظ على تقارب المزود/النموذج
- التبديل بين المزودين دون تغيير كود التطبيق
- فحص وتدقيق قرارات التوجيه باستخدام رؤوس الاستجابة وإدخالات دفتر الأستاذ
أسعار Millwright والأرصدة المجانية
يعمل Millwright بنموذج مجاني.
مزايا وعيوب Millwright
المزايا
- التحكم في التكاليف باستخدام أرخص النماذج المناسبة
- الحفاظ على ذاكرة التخزين المؤقت للاستفسارات عبر الطلبات
- غير مرتبط بمزود معين؛ سهولة التبديل دون تغيير الكود
- مستضاف بالكامل ذاتيًا؛ تبقى البيانات وبيانات الاعتماد على البنية التحتية الخاصة بك
- قرارات توجيه قابلة للفحص مع تسجيل مفصل
العيوب
- يتطلب استضافة ذاتية وإعدادًا
- مقتصر على البروتوكولات المدعومة (OpenAI, Anthropic, Bedrock)
- ليس منسق وكيل؛ لا يوجد فحص أو إعادة كتابة للاستفسارات
لأي استخدام يناسب Millwright أكثر؟
- الفرق التي تدير تكاليف LLM
- المطورون الذين يحتاجون إلى توجيه قائم على السياسة
- المؤسسات التي تتطلب خصوصية الاستضافة الذاتية