API AI
Otari
เกตเวย์ LLM โอเพนซอร์สที่เข้ากันได้กับ OpenAI ซึ่งคุณสามารถรันเองได้ โดยให้จุดสิ้นสุดเดียวสำหรับผู้ให้บริการมากกว่า 40 ราย พร้อมคีย์เสมือน งบประมาณ และการติดตามการใช้งาน
Otari
Otari คืออะไร
Otari เป็นเซิร์ฟเวอร์พร็อกซีโอเพนซอร์สที่กำหนดเส้นทางคำขอ LLM จากแอปพลิเคชันของคุณไปยังผู้ให้บริการกว่า 40 รายผ่านจุดสิ้นสุดที่เข้ากันได้กับ OpenAI เพียงจุดเดียว จัดการการรับรองความถูกต้อง การบังคับใช้งบประมาณ และการบันทึกการใช้งาน
Otari เทียบกับเครื่องมือที่คล้ายคลึง
| โมเดลราคา | ฟรี | ฟรี, ฟรีเมียม | ฟรี, ทดลองใช้ฟรี, ราคาที่กำหนดเอง | ฟรี, ฟรีเมียม |
| เครดิตฟรี | ||||
| ฟีเจอร์หลัก |
|
|
|
|
| ข้อดี |
|
|
|
|
| ข้อจำกัด |
|
|
|
|
| เหมาะสำหรับ |
|
|
|
|
วิธีใช้ Otari
- 1ปรับใช้ Otari โดยใช้ Docker (เช่น docker run พร้อมคีย์ผู้ให้บริการและคีย์มาสเตอร์ของคุณ)
- 2สร้างคีย์ API เสมือนผ่านจุดสิ้นสุดการจัดการหรือคีย์เริ่มต้น
- 3ชี้ไคลเอ็นต์ OpenAI ไปที่ http://localhost:8000/v1 ด้วยคีย์เสมือน
- 4ส่งคำขอโดยใช้ผู้ให้บริการโมเดลใดก็ได้ (เช่น openai:gpt-4o-mini)
- 5ตรวจสอบการใช้งานและงบประมาณผ่านจุดสิ้นสุด /v1/usage
ฟีเจอร์หลักของ Otari
- จุดสิ้นสุดที่เข้ากันได้กับ OpenAI สำหรับผู้ให้บริการ LLM มากกว่า 40 ราย
- คีย์ API เสมือนที่มีสิทธิ์แบบกำหนดขอบเขตและการเพิกถอน
- การบังคับใช้งบประมาณก่อนคำขอต่อผู้ใช้และต่อคีย์
- การบันทึกการใช้งานและการใช้จ่ายพร้อมประวัติที่สอบถามได้
- เครื่องมือในตัว: การรันโค้ดในสภาพแวดล้อมแซนด์บ็อกซ์และการค้นหาเว็บ
- แนวทางป้องกันความปลอดภัยของอินพุต (เช่น การตรวจจับการแทรกคำสั่ง)
- โหมดเดี่ยวหรือไฮบริดพร้อมการจัดการผ่านคลาวด์
เคสใช้งานของ Otari
- รวมศูนย์การจัดการคีย์ API สำหรับผู้ให้บริการ LLM หลายราย
- ควบคุมต้นทุนด้วยการกำหนดงบประมาณก่อนดำเนินการตามคำขอ
- เปิดใช้งานการเข้าถึง LLM อย่างปลอดภัยโดยไม่เปิดเผยคีย์ผู้ให้บริการ
- ติดตามการใช้งานในทีมและแอปพลิเคชันต่างๆ
- รันแนวทางป้องกันและเครื่องมือที่กำหนดเองกับโมเดลใดก็ได้
ราคาและเครดิตฟรีของ Otari
Otari ใช้โมเดลราคาแบบ ฟรี
เครื่องมือนี้ใช้งานได้ฟรีทั้งหมด
ข้อดีและข้อจำกัดของ Otari
ข้อดี
- โอเพนซอร์สและโฮสต์เอง ช่วยให้คีย์ผู้ให้บริการและข้อมูลอยู่ในสภาพแวดล้อมของคุณ
- จุดสิ้นสุดเดียวทำให้การรวมไคลเอ็นต์ข้ามผู้ให้บริการง่ายขึ้น
- การบังคับใช้งบประมาณก่อนการเรียก ช่วยป้องกันค่าใช้จ่ายที่ไม่คาดคิด
- การติดตามและบันทึกการใช้งานที่ครอบคลุม
ข้อจำกัด
- ต้องมีการตั้งค่าและบำรุงรักษาเซิร์ฟเวอร์ในเบื้องต้น
- โหมดโฮสต์เองขาดการสำรองข้อมูลแบบจัดการหลายผู้ให้บริการ (มีให้ในโหมดไฮบริดกับบัญชี otari.ai)
- คุณสมบัติขั้นสูงบางอย่าง (เช่น เครื่องมือดั้งเดิมของผู้ให้บริการ) จำกัดเฉพาะบางโมเดล
Otari เหมาะกับงานแบบไหน?
- นักพัฒนาและทีมที่ต้องการเกตเวย์ API LLM แบบรวม
- องค์กรที่ต้องการการควบคุมการเข้าถึงและการจัดการต้นทุนอย่างละเอียด
- ผู้ที่ต้องการหลีกเลี่ยงการผูกขาดผู้ขายและเก็บข้อมูลส่วนตัว