PSI KV Governor
Эталонная реализация, использующая информацию о задержках давления в Linux для обрезки кэша KV LLM при нехватке памяти.
PSI KV Governor
Что такое PSI KV Governor?
PSI KV Governor — сравнение с аналогами
| Модель ценообразования | Бесплатно | Бесплатно | Бесплатно | Бесплатно |
| Бесплатные кредиты | ||||
| Ключевые возможности |
|
|
|
|
| Плюсы |
|
|
|
|
| Минусы |
|
|
|
|
| Кому подходит |
|
|
|
|
Как использовать PSI KV Governor?
- 1Проверьте доступность PSI: cat /proc/pressure/memory
- 2Запустите симулятор: PYTHONPATH=src python -m psi_kv_governor.cli simulate
- 3Соберите сценарий llama.cpp: scripts/build_llama_runner.sh
- 4Загрузите демо-модель: python scripts/download_demo_model.py
- 5Запустите тест PSI: PYTHONPATH=src python benchmarks/pressure_bench.py [параметры]
PSI KV Governor Ключевые возможности
- Обрезка кэша KV на основе PSI
- Эталонная реализация для вывода LLM
- Интеграция с llama.cpp
- Сценарии тестирования производительности
- Настраиваемые параметры обрезки
PSI KV Governor Сценарии использования
- Предотвращение ошибок нехватки памяти при выводе LLM в Linux
- Оптимизация использования памяти для обслуживания LLM на системах с ограниченными ресурсами
- Тестирование стратегий управления кэшем с учётом PSI
PSI KV Governor Цены и бесплатный доступ
Модель оплаты PSI KV Governor: Бесплатно.
Этот инструмент полностью бесплатный
PSI KV Governor Плюсы и минусы
Плюсы
- Использует PSI ядра Linux для точного обнаружения нехватки памяти
- Лёгкость и лёгкая интеграция с существующими средами выполнения LLM
- Открытый исходный код и возможность настройки
Минусы
- Только для Linux из-за зависимости от PSI
- Экспериментальный, не готов к использованию в производственной среде
- Ограниченная документация и примеры
Для чего лучше всего подходит PSI KV Governor?
- Разработчикам, оптимизирующим вывод LLM в Linux
- Пользователям llama.cpp в системах с ограниченной памятью
- Исследователям, изучающим эффективное обслуживание LLM
Частые вопросы о PSI KV Governor
Бесплатные альтернативы PSI KV Governor
Голосовое управление IDE, позволяющее разработчикам запускать AI-сеансы кодирования с помощью Codex или Claude Code, утверждать команды и просматривать diff'ы с телефона.
SureWire — это специализированная платформа QA, которая проводит стресс-тестирование AI-агентов на безопасность, надежность и соответствие требованиям с помощью специально созданных тестирующих агентов.
Платформа браузерной инфраструктуры для ИИ-агентов, позволяющая работать в интернете на высокой скорости с облачными сессиями браузеров, агентами и серверными функциями.
Инструмент для передачи файлов, ориентированный на агентов, который обеспечивает безопасный обмен зашифрованными файлами между AI-агентами через MCP-вызовы без участия человека.
Manifest преобразует любой URL в структурированную JSON-карту того, с чем AI-агенты могут взаимодействовать на странице: кнопки, формы, поля ввода и обязательные поля.
Кооперативный шлюз для shell-команд, выполняемых ИИ-агентами, с предпросмотром, резервным копированием, применением политик и аудитом для таких инструментов, как Claude Code и Cursor.
Agentcard предоставляет удобную для агентов инфраструктуру выпуска карт и платежей для AI-агентов, позволяя настроить за 5 минут и совершать автономные покупки.
Лучшие альтернативы AI инструментов для PSI KV Governor
Коллекция намеренно уязвимых MCP-серверов для тренировки в области агентной безопасности, сопоставленная с OWASP Top 10 для агентных приложений.
Инструмент ИИ с открытым исходным кодом для глубокого исследования инфраструктуры, использующий передовые модели для анализа кода, облачных сред и среды выполнения с предоставлением проверенных ответов.
Magpie — это основанная на мнениях CLI-программа для бухгалтерии, предназначенная для людей и AI-агентов, обеспечивающая двойную запись с RBAC и неизменяемым хранением событий на Jaybase.
Терминальный интерфейс для управления сессиями AI-агентов кодирования (Claude Code, OpenCode, Codex, Grok Build) в tmux с живым статусом, деревом групп и просмотром изменений.
Голосовое управление IDE, позволяющее разработчикам запускать AI-сеансы кодирования с помощью Codex или Claude Code, утверждать команды и просматривать diff'ы с телефона.
Каталог программного обеспечения с нулевой конфигурацией, единым бинарным файлом, автоматическим обнаружением, визуализацией зависимостей, таблицами соответствия и нативной интеграцией MCP для ИИ-агентов.
CLI-инструмент для автоматизации браузера, предназначенный для AI-агентов, с возможностью обхода антибот-защиты, передачи задач человеку и параллельного выполнения.
AI-помощник для покупок, который предоставляет живой курсор для навигации посетителей по сайту, указания на товары и отображения расчетов цен.