Millwright
Millwright เป็นเราเตอร์โอเพนซอร์สที่โฮสต์ด้วยตนเอง ซึ่งกำหนดเส้นทางคำขอ AI ไปยังผู้ให้บริการโมเดลที่ถูกที่สุดตามนโยบาย รักษาแคชพรอมต์และควบคุมค่าใช้จ่าย
Millwright
Millwright คืออะไร
Millwright เทียบกับเครื่องมือที่คล้ายคลึง
| โมเดลราคา | ฟรี | ราคาที่กำหนดเอง | ชำระเงิน | ฟรี |
| เครดิตฟรี | ||||
| ฟีเจอร์หลัก |
|
|
|
|
| ข้อดี |
|
|
|
|
| ข้อจำกัด |
|
|
|
|
| เหมาะสำหรับ |
|
|
|
|
วิธีใช้ Millwright
- 1git clone https://github.com/Northwood-Systems/millwright.git
- 2cd millwright
- 3cargo install --path . --locked
- 4millwright init
- 5millwright serve
- 6หรือสำหรับการสาธิตในเครื่อง:
- 7make compose-up
- 8curl http://localhost:8080/v1/chat/completions -H 'Authorization: Bearer sk-millwright-local-demo' -H 'Content-Type: application/json' -d '{"model":"millwright-fast","messages":[{"role":"user","content":"Hello"}]}'
ฟีเจอร์หลักของ Millwright
- การกำหนดเส้นทางตามนโยบายด้วยส่วนหัวของงานและความเสี่ยง
- การทำงานพร้อมกันที่รับรู้แคช รักษาช่องทางความสัมพันธ์อิสระสำหรับบทบาทราคาถูก กลาง และระดับแนวหน้า
- การติดตามค่าใช้จ่ายและการวิเคราะห์ต้นทุนผ่านบัญชีแยกประเภท คำสั่ง CLI และ API การจัดการ
- การรองรับผู้ให้บริการและโปรโตคอลสำหรับ OpenAI Chat Completions, Anthropic Messages และ Amazon Bedrock
- การโฮสต์ด้วยตนเองเป็นไบนารี Rust เดียวพร้อมรองรับ Docker; ข้อมูลประจำตัวของผู้ให้บริการยังคงอยู่ในโครงสร้างพื้นฐานของคุณ
เคสใช้งานของ Millwright
- ลดต้นทุน LLM โดยกำหนดเส้นทางคำขอไปยังโมเดลที่ถูกที่สุดที่ตรงตามข้อกำหนดนโยบาย
- รักษาการใช้แคชพรอมต์ซ้ำในเซสชันโดยคงความสัมพันธ์ของผู้ให้บริการ/โมเดล
- สลับระหว่างผู้ให้บริการโดยไม่ต้องเปลี่ยนโค้ดแอปพลิเคชัน
- ตรวจสอบและตรวจสอบการตัดสินใจกำหนดเส้นทางด้วยส่วนหัวตอบกลับและรายการบัญชีแยกประเภท
ราคาและเครดิตฟรีของ Millwright
Millwright ใช้โมเดลราคาแบบ ฟรี
ข้อดีและข้อจำกัดของ Millwright
ข้อดี
- ควบคุมค่าใช้จ่ายโดยใช้โมเดลที่เหมาะสมที่สุดที่ถูกที่สุด
- รักษาแคชพรอมต์ข้ามคำขอ
- ไม่ยึดติดกับผู้ให้รายใดรายหนึ่ง สลับได้ง่ายโดยไม่ต้องเปลี่ยนโค้ด
- โฮสต์ด้วยตนเองอย่างสมบูรณ์ ข้อมูลและข้อมูลประจำตัวยังคงอยู่ในโครงสร้างพื้นฐานของคุณ
- สามารถตรวจสอบการตัดสินใจกำหนดเส้นทางได้ด้วยบันทึกโดยละเอียด
ข้อจำกัด
- ต้องโฮสต์ด้วยตนเองและตั้งค่า
- จำกัดเฉพาะโปรโตคอลที่รองรับ (OpenAI, Anthropic, Bedrock)
- ไม่ใช่ตัวประสานงานเอเจนต์ ไม่มีการตรวจสอบหรือเขียนพรอมต์ใหม่
Millwright เหมาะกับงานแบบไหน?
- ทีมที่จัดการต้นทุน LLM
- นักพัฒนาที่ต้องการกำหนดเส้นทางตามนโยบาย
- องค์กรที่ต้องการความเป็นส่วนตัวแบบโฮสต์ด้วยตนเอง
คำถามที่พบบ่อยเกี่ยวกับ Millwright
ตัวเลือกฟรีทดแทน Millwright
Manifest แปลง URL ใดๆ ให้เป็นแผนที่ JSON ที่มีโครงสร้างของสิ่งที่ AI agents สามารถโต้ตอบได้บนหน้าเว็บ เช่น ปุ่ม ฟอร์ม อินพุต และฟิลด์ที่จำเป็น
ประตูร่วมมือสำหรับคำสั่งเชลล์ที่เอเจนต์ AI ทำงาน โดยให้ตัวอย่าง สำเนาสำรอง การบังคับใช้นโยบาย และการตรวจสอบสำหรับเครื่องมืออย่าง Claude Code และ Cursor
Agentcard มอบโครงสร้างพื้นฐานการออกบัตรและการชำระเงินที่เหมาะกับเอเจนต์สำหรับ AI agent ช่วยให้ตั้งค่าได้ภายใน 5 นาทีและสามารถซื้อสินค้าแบบอัตโนมัติ
Oodle AI ให้บริการสังเกตการณ์เอเจนต์ด้วยการค้นหาเทรซที่รวดเร็ว การจัดเก็บข้อมูลบน S3 และข้อมูลเชิงลึกที่พร้อมใช้งานเพื่อตรวจจับความล้มเหลวแบบเงียบในเอเจนต์ AI
Jacquard เป็นภาษาโปรแกรมขนาดเล็กที่ออกแบบมาสำหรับการรัน ทบทวน และไว้วางใจโปรแกรมที่เขียนโดยโมเดล Machine Learning และตรวจสอบโดยมนุษย์
แพลตฟอร์มทดสอบความปลอดภัยอัตโนมัติที่ค้นหาและแก้ไขช่องโหว่การควบคุมการเข้าถึงในแอปที่สร้างด้วย AI
เครื่องมือฟังเสียงโซเชียลที่ขับเคลื่อนด้วย AI ซึ่งตรวจสอบ Reddit, X, LinkedIn และอีกกว่า 10 แพลตฟอร์ม กรองการกล่าวถึงด้วย AI และส่งไปยังเครื่องมือของคุณผ่าน API, Slack หรือ webhooks
ตัวเลือก AI ทดแทนที่ดีที่สุดสำหรับ Millwright
CartAI ให้บริการ API และ MCP server สำหรับปรับใช้ AI agents ที่สามารถนำทางเว็บไซต์และดำเนินการธุรกรรมต่างๆ เช่น การชำระเงิน การสมัครสมาชิก และการชำระใบแจ้งหนี้ได้โดยอัตโนมัติ
ตลาดสำหรับซื้อและขายชั่วโมง GPU รายสัปดาห์ ให้สภาพคล่องทันทีและการประมวลผลที่ยืดหยุ่นสำหรับงาน AI
szr คือ CLI proxy ภาษา Go ที่ช่วยลดเอาต์พุตเทอร์มินัลที่มีเสียงรบกวนก่อนส่งไปยังบริบทของ LLM ประหยัดโทเค็นและรักษารหัสออกจากคำสั่ง
CodeAlmanac คือวิกิที่มีชีวิตสำหรับโค้ดเบสของคุณ ซึ่งดูแลโดยเอเจนต์เขียนโค้ด AI ที่บันทึกการตัดสินใจ ขั้นตอน สิ่งที่ไม่เปลี่ยนแปลง และข้อผิดพลาดทั่วไปในรูปแบบ markdown ธรรมดา
Stele มอบหน่วยความจำที่ใช้ร่วมกันสำหรับเอเจนต์เขียนโค้ด AI บันทึกการตัดสินใจ งาน และบทเรียนเพื่อรักษาบริบทข้ามเครื่องมือและเซสชัน
เครื่องมือตรวจสอบเครือข่ายที่ทำงานบนเซิร์ฟเวอร์ของตัวเอง เรียกใช้การทดสอบความเร็วรายชั่วโมง สแกนอุปกรณ์ LAN บันทึกลง SQLite และส่งรายงานที่สร้างโดย AI ที่มีอารมณ์ขันไปยัง Telegram
แอปพลิเคชันในแถบเมนูของ macOS ที่เชื่อมต่อกับ Stripe, GA4 และ Google Search Console เพื่อเฉลิมฉลองเมตริกแบบเรียลไทม์ด้วยฝนอิโมจิ เสียง และการตอบสนองแบบเต็มหน้าจอ