Yapay Zeka API
Otari
Kendinizin çalıştırdığı, açık kaynaklı, OpenAI uyumlu bir LLM ağ geçidi; sanal anahtarlar, bütçeler ve kullanım takibi ile 40'tan fazla sağlayıcı için tek bir uç nokta sunar.
Otari
Nedir Otari?
Otari, uygulamalarınızdan gelen LLM isteklerini tek bir OpenAI uyumlu uç nokta üzerinden 40'tan fazla sağlayıcıya yönlendiren, kimlik doğrulama, bütçe uygulama ve kullanım günlüğü işlemlerini üstlenen açık kaynaklı bir proxy sunucusudur.
Otari vs Benzer Araçlar
| Fiyatlandırma Modeli | Ücretsiz | Ücretsiz, Freemium | Ücretsiz, Ücretsiz deneme, Özel fiyatlandırma | Ücretsiz, Freemium |
| Ücretsiz Krediler | ||||
| Temel özellikler |
|
|
|
|
| Artılar |
|
|
|
|
| Eksiler |
|
|
|
|
| Kimler için uygun |
|
|
|
|
Nasıl kullanılır Otari?
- 1Otari'yi Docker kullanarak dağıtın (örneğin, sağlayıcı anahtarlarınız ve ana anahtarınızla docker run).
- 2Yönetim uç noktası veya başlangıç anahtarı aracılığıyla sanal bir API anahtarı oluşturun.
- 3OpenAI istemcinizi sanal anahtarla http://localhost:8000/v1 adresine yönlendirin.
- 4Herhangi bir model sağlayıcısını kullanarak istekler yapın (örneğin, openai:gpt-4o-mini).
- 5Kullanımı ve bütçeleri /v1/usage uç noktası aracılığıyla izleyin.
Otari Temel özellikler
- 40'tan fazla LLM sağlayıcısı için OpenAI uyumlu uç nokta
- Kapsamlı izinler ve iptal ile sanal API anahtarları
- Kullanıcı ve anahtar başına istek öncesi bütçe uygulama
- Sorgulanabilir geçmişle kullanım ve harcama günlüğü
- Yerleşik araçlar: korumalı kod yürütme ve web araması
- Girdi güvenliği için korkuluklar (örneğin, prompt enjeksiyonu tespiti)
- Bulut yönetimiyle bağımsız veya karma mod
Otari Kullanım senaryoları
- Birden çok LLM sağlayıcısı için API anahtarı yönetimini merkezileştirin
- İstekler yürütülmeden önce bütçe belirleyerek maliyetleri kontrol edin
- Sağlayıcı anahtarlarını ifşa etmeden LLM'lere güvenli erişim sağlayın
- Ekipler ve uygulamalar arasında kullanımı takip edin
- Herhangi bir modelle özel korkuluklar ve araçlar çalıştırın
Otari Fiyatlar ve ücretsiz krediler
Otari, Ücretsiz modeliyle çalışır.
Otari Artılar ve eksiler
Artılar
- Açık kaynak ve kendi sunucunuzda barındırılan, sağlayıcı anahtarlarını ve verilerinizi kendi ortamınızda tutar
- Tek bir uç nokta, sağlayıcılar arasında istemci entegrasyonunu basitleştirir
- Çağrılardan önce bütçe uygulaması, beklenmeyen maliyetleri önler
- Kapsamlı kullanım takibi ve günlüğü
Eksiler
- Sunucunun ilk kurulumunu ve bakımını gerektirir
- Kendi barındırma modu, yönetilen çoklu sağlayıcı yedeklemesinden yoksundur (otari.ai hesabıyla karma modda mevcuttur)
- Bazı gelişmiş özellikler (örneğin, yerel sağlayıcı araçları) belirli modellerle sınırlıdır
Otari en çok ne için uygundur?
- Birleşik bir LLM API ağ geçidine ihtiyaç duyan geliştiriciler ve ekipler
- Ayrıntılı erişim kontrolü ve maliyet yönetimi gerektiren kuruluşlar
- Satıcı bağımlılığından kaçınmak ve verileri gizli tutmak isteyenler