PSI KV Governor
Эталонная реализация, использующая информацию о задержках давления в Linux для обрезки кэша KV LLM при нехватке памяти.
PSI KV Governor
Что такое PSI KV Governor?
PSI KV Governor — сравнение с аналогами
| Модель ценообразования | Бесплатно | Бесплатно | Индивидуальная цена | Бесплатно, Платно |
| Бесплатные кредиты | ||||
| Ключевые возможности |
|
|
|
|
| Плюсы |
|
|
|
|
| Минусы |
|
|
|
|
| Кому подходит |
|
|
|
|
Как использовать PSI KV Governor?
- 1Проверьте доступность PSI: cat /proc/pressure/memory
- 2Запустите симулятор: PYTHONPATH=src python -m psi_kv_governor.cli simulate
- 3Соберите сценарий llama.cpp: scripts/build_llama_runner.sh
- 4Загрузите демо-модель: python scripts/download_demo_model.py
- 5Запустите тест PSI: PYTHONPATH=src python benchmarks/pressure_bench.py [параметры]
PSI KV Governor Ключевые возможности
- Обрезка кэша KV на основе PSI
- Эталонная реализация для вывода LLM
- Интеграция с llama.cpp
- Сценарии тестирования производительности
- Настраиваемые параметры обрезки
PSI KV Governor Сценарии использования
- Предотвращение ошибок нехватки памяти при выводе LLM в Linux
- Оптимизация использования памяти для обслуживания LLM на системах с ограниченными ресурсами
- Тестирование стратегий управления кэшем с учётом PSI
PSI KV Governor Цены и бесплатный доступ
Модель оплаты PSI KV Governor: Бесплатно.
Этот инструмент полностью бесплатный
PSI KV Governor Плюсы и минусы
Плюсы
- Использует PSI ядра Linux для точного обнаружения нехватки памяти
- Лёгкость и лёгкая интеграция с существующими средами выполнения LLM
- Открытый исходный код и возможность настройки
Минусы
- Только для Linux из-за зависимости от PSI
- Экспериментальный, не готов к использованию в производственной среде
- Ограниченная документация и примеры
Для чего лучше всего подходит PSI KV Governor?
- Разработчикам, оптимизирующим вывод LLM в Linux
- Пользователям llama.cpp в системах с ограниченной памятью
- Исследователям, изучающим эффективное обслуживание LLM
Частые вопросы о PSI KV Governor
Бесплатные альтернативы PSI KV Governor
Кооперативный шлюз для shell-команд, выполняемых ИИ-агентами, с предпросмотром, резервным копированием, применением политик и аудитом для таких инструментов, как Claude Code и Cursor.
Agentcard предоставляет удобную для агентов инфраструктуру выпуска карт и платежей для AI-агентов, позволяя настроить за 5 минут и совершать автономные покупки.
Oodle AI предоставляет наблюдаемость для AI-агентов с быстрым поиском по трейсам, хранилищем на основе S3 и готовыми инсайтами для обнаружения скрытых сбоев.
Jacquard — это небольшой язык программирования, предназначенный для запуска, проверки и доверия к программам, написанным моделями машинного обучения и проверенным людьми.
Автономная платформа для тестирования безопасности, которая находит и исправляет уязвимости контроля доступа в живых приложениях, созданных с помощью ИИ.
AI-инструмент социального прослушивания, который отслеживает Reddit, X, LinkedIn и более 10 других платформ, фильтрует упоминания с помощью ИИ и доставляет их в ваш стек через API, Slack или вебхуки.
Единый AI-шлюз, предоставляющий доступ к 300+ ведущим моделям через один API, размещенный в ЕС и соответствующий GDPR, с интерфейсом, совместимым с OpenAI SDK.
Лучшие альтернативы AI инструментов для PSI KV Governor
DeepSQL — это ИИ-администратор баз данных, который отслеживает рабочие нагрузки, оптимизирует медленные запросы и снижает затраты на базы данных с помощью самодельного агента с интеграцией MCP и Slack.
Платформа с открытым исходным кодом для обеспечения безопасности ИИ-агентов в реальном времени, аудита навыков и выполнения с использованием сообщественных правил угроз.
OpenSEO — это открытая SEO-платформа, которая интегрируется с ИИ-агентами через MCP для предоставления реальных SEO-данных: исследование ключевых слов, анализ конкурентов, обратные ссылки и многое другое.
SureWire Beta — это платформа для валидации AI-агентов, которая помогает гарантировать безопасность и надежность ваших AI-агентов с помощью всестороннего тестирования.
Маршрутизатор LLM с учётом дедлайнов, снижающий затраты на AI-инференс путём автоматического поиска более дешёвых тарифов в заданный пользователем интервал времени.
Запускайте множество AI-агентов кодирования параллельно в изолированных git-рабочих деревьях с полноценным редактором и встроенными инструментами разработчика.
Открытый контроллер затрат для циклов AI-агентов, который останавливает циклы при сходимости и откатывает до ухудшения.