Millwright
Millwright는 정책에 따라 AI 요청을 가장 저렴한 모델 제공업체로 라우팅하고 프롬프트 캐시를 유지하며 지출을 제어하는 오픈소스 자체 호스팅 LLM 라우터입니다.
Millwright
Millwright란?
Millwright vs 유사 도구
| 가격 모델 | 무료 | 맞춤형 요금제 | 유료 | 무료 |
| 무료 크레딧 | ||||
| 주요 기능 |
|
|
|
|
| 장점 |
|
|
|
|
| 단점 |
|
|
|
|
| 추천 대상 |
|
|
|
|
Millwright 사용 방법
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6또는 로컬 데모의 경우:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
Millwright 주요 기능
- 작업 및 위험 헤더를 사용한 정책 기반 라우팅
- 저렴함, 중간, 최첨단 역할을 위한 독립적인 선호도 레인을 유지하는 캐시 인식 동시성
- 원장, CLI 명령 및 관리 API를 통한 지출 추적 및 비용 분석
- OpenAI Chat Completions, Anthropic Messages 및 Amazon Bedrock에 대한 제공업체 및 프로토콜 지원
- Docker 지원을 포함한 단일 Rust 바이너리로 자체 호스팅, 제공업체 자격 증명이 인프라에 유지됨
Millwright 사용 사례
- 정책 요구 사항을 충족하는 가장 저렴한 모델로 요청을 라우팅하여 LLM 비용 절감
- 세션 간에 제공업체/모델 선호도를 유지하여 프롬프트 캐시 재사용 유지
- 애플리케이션 코드 변경 없이 제공업체 전환
- 응답 헤더 및 원장 항목을 통한 라우팅 결정 검사 및 감사
Millwright 가격 및 무료 크레딧
Millwright의 가격 모델은 무료입니다.
Millwright 장점과 단점
장점
- 가장 저렴한 적절한 모델을 사용하여 비용 제어
- 요청 간 프롬프트 캐시 유지
- 제공업체에 독립적, 코드 변경 없이 쉽게 전환 가능
- 완전 자체 호스팅, 데이터 및 자격 증명이 인프라에 남음
- 상세 로깅을 통한 라우팅 결정 검사 가능
단점
- 자체 호스팅 및 설정 필요
- 지원되는 프로토콜(OpenAI, Anthropic, Bedrock)로 제한됨
- 에이전트 오케스트레이터가 아님, 프롬프트 검사 또는 재작성 없음
Millwright은 어떤 용도에 가장 적합한가요?
- LLM 비용을 관리하는 팀
- 정책 기반 라우팅이 필요한 개발자
- 자체 호스팅 프라이버시가 필요한 기업
Millwright 자주 묻는 질문
Millwright의 무료 대체 도구
Manifest는 모든 URL을 AI 에이전트가 페이지에서 상호작용할 수 있는 요소(버튼, 양식, 입력 필드, 필수 필드)의 구조화된 JSON 맵으로 변환합니다.
AI 에이전트가 실행하는 셸 명령어를 위한 협력적 게이트로, Claude Code나 Cursor 같은 도구에 미리보기, 백업, 정책 적용, 감사 기능을 제공합니다.
Agentcard는 AI 에이전트를 위한 에이전트 친화적인 카드 발급 및 결제 인프라를 제공하며, 5분 만에 설정하고 자율 구매를 가능하게 합니다.
Oodle AI는 빠른 트레이스 검색, S3 기반 스토리지, 즉시 사용 가능한 인사이트를 제공하여 AI 에이전트의 무음 오류를 감지하는 에이전트 관찰 가능성 플랫폼입니다.
Jacquard는 기계 학습 모델이 작성하고 사람이 검토한 프로그램을 실행, 검토 및 신뢰할 수 있도록 설계된 소규모 프로그래밍 언어입니다.
AI 기반 소셜 리스닝 도구로, Reddit, X, LinkedIn 등 10개 이상의 플랫폼을 모니터링하고 AI로 멘션을 필터링하여 API, Slack 또는 웹훅으로 전달합니다.
Millwright의 최고의 AI 대체 도구
CartAI는 API와 MCP 서버를 제공하여 웹 속성을 자율적으로 탐색하고 체크아웃, 구독, 인보이스 결제와 같은 트랜잭션을 완료하는 AI 에이전트를 배포할 수 있도록 합니다.
szr는 Go 네이티브 CLI 프록시로, 시끄러운 터미널 출력이 LLM 컨텍스트에 도달하기 전에 압축하여 토큰을 절약하고 명령 종료 코드를 보존합니다.
CodeAlmanac은 AI 코딩 에이전트가 유지 관리하는 코드베이스용 라이브 위키로, 결정, 흐름, 불변 조건 및 주의 사항을 일반 마크다운으로 캡처합니다.
Stele는 AI 코딩 에이전트를 위한 공유 메모리를 제공하여 결정, 작업, 교훈을 기록하고 도구와 세션 간에 컨텍스트를 유지합니다.
자가 호스팅 네트워크 모니터로, 매시간 속도 테스트를 실행하고, LAN 장치를 스캔하며, SQLite에 로그를 기록하고, Telegram으로 비꼬는 AI 생성 보고서를 전달합니다.
Stripe, GA4, Google Search Console에 연결하여 실시간 지표를 이모지 비, 소리, 전체 화면 반응으로 축하하는 macOS 메뉴 막대 앱입니다.