PSI KV Governor
Linux Pressure Stall Information을 사용하여 메모리 압박 하에서 LLM KV 캐시를 정리하는 참조 구현입니다.
PSI KV Governor
PSI KV Governor란?
PSI KV Governor vs 유사 도구
| 가격 모델 | 무료 | 무료 | 무료 | 무료 |
| 무료 크레딧 | ||||
| 주요 기능 |
|
|
|
|
| 장점 |
|
|
|
|
| 단점 |
|
|
|
|
| 추천 대상 |
|
|
|
|
PSI KV Governor 사용 방법
- 1PSI 가용성 확인: cat /proc/pressure/memory
- 2참조 시뮬레이터 실행: PYTHONPATH=src python -m psi_kv_governor.cli simulate
- 3llama.cpp 러너 빌드: scripts/build_llama_runner.sh
- 4데모 모델 다운로드: python scripts/download_demo_model.py
- 5PSI 벤치마크 실행: PYTHONPATH=src python benchmarks/pressure_bench.py [옵션]
PSI KV Governor 주요 기능
- PSI 기반 KV 캐시 정리
- LLM 추론을 위한 참조 구현
- llama.cpp와의 통합
- 성능 평가를 위한 벤치마크 스크립트
- 설정 가능한 정리 매개변수
PSI KV Governor 사용 사례
- Linux에서 LLM 추론 중 메모리 부족 오류 방지
- 제한된 시스템에서 LLM 서빙을 위한 메모리 사용 최적화
- PSI 인식 캐시 관리 전략 테스트
PSI KV Governor 가격 및 무료 크레딧
PSI KV Governor의 가격 모델은 무료입니다.
이 도구는 완전히 무료입니다
PSI KV Governor 장점과 단점
장점
- Linux 커널 PSI를 활용한 정확한 메모리 압박 감지
- 가볍고 기존 LLM 런타임에 쉽게 통합 가능
- 오픈소스 및 맞춤 설정 가능
단점
- PSI 의존성으로 인해 Linux 전용
- 실험적이며 프로덕션 준비되지 않음
- 제한된 문서 및 예제
PSI KV Governor은 어떤 용도에 가장 적합한가요?
- Linux에서 LLM 추론을 최적화하는 개발자
- 메모리 제한 시스템에서 llama.cpp 사용자
- 메모리 효율적인 LLM 서빙을 연구하는 연구자
PSI KV Governor 자주 묻는 질문
PSI KV Governor의 무료 대체 도구
음성으로 제어되는 IDE로, 개발자가 Codex 또는 Claude Code로 AI 코딩 세션을 시작하고 명령을 승인하며 휴대폰에서 변경 사항(diff)을 검토할 수 있습니다.
AI 에이전트가 인터넷에서 빠르게 실행될 수 있도록 클라우드 브라우저 세션, 에이전트 및 서버리스 기능을 제공하는 브라우저 인프라 플랫폼입니다.
에이전트 우선 파일 전송 도구로, 인간의 개입 없이 MCP 호출을 통해 AI 에이전트 간 안전하고 암호화된 파일 공유를 가능하게 합니다.
Manifest는 모든 URL을 AI 에이전트가 페이지에서 상호작용할 수 있는 요소(버튼, 양식, 입력 필드, 필수 필드)의 구조화된 JSON 맵으로 변환합니다.
AI 에이전트가 실행하는 셸 명령어를 위한 협력적 게이트로, Claude Code나 Cursor 같은 도구에 미리보기, 백업, 정책 적용, 감사 기능을 제공합니다.
Agentcard는 AI 에이전트를 위한 에이전트 친화적인 카드 발급 및 결제 인프라를 제공하며, 5분 만에 설정하고 자율 구매를 가능하게 합니다.
PSI KV Governor의 최고의 AI 대체 도구
에이전트 보안 교육을 위한 의도적으로 취약한 MCP 서버 모음으로, OWASP Agentic Applications Top 10에 매핑됩니다.
코드, 클라우드, 런타임 전반에 걸쳐 최첨단 모델을 실행하여 검증된 답변을 제공하는 심층 인프라 연구를 위한 오픈소스 AI 도구.
Magpie는 인간과 AI 에이전트를 위한 독자적인 회계 CLI 도구입니다. Jaybase 기반의 이중 입력 부기, RBAC, 불변 이벤트 저장을 제공합니다.
터미널 UI로 AI 코딩 에이전트 세션(Claude Code, OpenCode, Codex, Grok Build)을 tmux에서 관리하며, 실시간 상태, 그룹 트리, diff 리뷰를 제공합니다.
음성으로 제어되는 IDE로, 개발자가 Codex 또는 Claude Code로 AI 코딩 세션을 시작하고 명령을 승인하며 휴대폰에서 변경 사항(diff)을 검토할 수 있습니다.
제로 구성, 단일 바이너리 소프트웨어 카탈로그로 자동 탐색, 종속성 시각화, 규정 준수 점수표, AI 에이전트를 위한 네이티브 MCP 통합을 제공합니다.
AI 에이전트가 안티봇 장벽을 우회하고, 인간에게 작업을 전달하며, 병렬 작업을 실행할 수 있는 브라우저 자동화 CLI입니다.
웹사이트 방문자를 안내하고, 제품을 가리키며, 가격 계산을 표시하는 라이브 커서를 제공하는 AI 기반 쇼핑 어시스턴트입니다.