タグ2件のツール
LLMプロキシ向け無料AIツール
LLMプロキシに関連する無料・フリーミアムAIツールを2件掲載しています。
LLMプロキシ向け無料AIツール
LLMプロキシに関連する無料AIツールを見つけよう—全て無料クレジットまたは無料プラン付き。
キャッシュ、フェイルオーバー、コスト追跡、およびローカルとクラウドのAIプロバイダー間のシームレスな統合のための軽量で高性能なLLMプロキシ。
チーム向けのセルフホスト型AIトラフィックプロキシおよびローカルオペレーターコンソール。LLMトークン使用量の制御、ユーザー制限の適用、レスポンスのキャッシュ、AIトラフィックの監視を提供します。
LLMプロキシ AIツールで何ができる？
LLMプロキシとタグ付けされたAIツールの最も一般的なユースケース。
クライアントの変更なしにローカルLLMツールをNVIDIAクラウドホストモデルと統合統計ダッシュボードを介してAPIコストと使用状況を監視および追跡非ストリーミングリクエストのレスポンスキャッシュでレイテンシとAPI呼び出しを削減LLMトークン使用量のチーム管理セルフホスト型AIトラフィック監視と分析組織全体でのユーザーごとのAPI制限の適用コスト削減のための繰り返しAIリクエストのキャッシュモックモードを使用した開発とテスト
LLMプロキシ AIツールの主な機能
LLMプロキシとタグ付けされたAIツールに最もよく見られる機能。
Ollama、OpenAI、llama.cpp APIをエミュレートNVIDIAのOpenAI互換APIへの透過的な転送設定可能なTTLとサイズのオプションのレスポンスキャッシュ一時的な上流エラー時の自動フェイルオーバーとリトライメトリクスとプロセス監視のためのライブ/statsダッシュボードインバウンド認証サポートマルチモデルディスカバリーチャットと補完のストリーミングサポートOpenAI互換プロキシエンドポイント同一コンテナから提供されるローカル管理UIX-App-User-Idによるユーザーごとのトークン割り当ての強制繰り返される非ストリーミングリクエストのための完全レスポンスキャッシュ
LLMプロキシのAIツールカテゴリ
LLMプロキシとタグ付けされたAIツールは、以下のカテゴリに分類されています。
「LLMプロキシ」タグのツール一覧
キャッシュ、フェイルオーバー、コスト追跡、およびローカルとクラウドのAIプロバイダー間のシームレスな統合のための軽量で高性能なLLMプロキシ。
チーム向けのセルフホスト型AIトラフィックプロキシおよびローカルオペレーターコンソール。LLMトークン使用量の制御、ユーザー制限の適用、レスポンスのキャッシュ、AIトラフィックの監視を提供します。
LLMプロキシ無料AIツールのよくある質問
LLMプロキシに関連する無料・フリーミアムAIツールを2件掲載しています。