เครื่องมือสำหรับ โมเดลโอเพนซอร์ส AI ฟรีที่ดีที่สุด

พร็อกซี LLM น้ำหนักเบา ประสิทธิภาพสูง สำหรับการแคช การเฟลโอเวอร์ การติดตามค่าใช้จ่าย และการผสานรวมระหว่างผู้ให้บริการ AI ในเครื่องและคลาวด์อย่างราบรื่น

Wolbarg เป็น TypeScript SDK แบบ local-first ที่ให้หน่วยความจำเชิงความหมายแบบใช้ร่วมกันสำหรับเอเจนต์ AI โดยใช้ SQLite หรือ PostgreSQL

รันไทม์ AI เนทีฟแบบรวมศูนย์ ไม่มีการจัดสรรหน่วยความจำ สำหรับ Java ที่รวมไปป์ไลน์ LLM ภาพ และเสียงผ่าน Project Panama

Osaurus เป็นผู้ช่วยเอไอส่วนตัวในเครื่องสำหรับ Mac ที่รันโมเดลแบบเปิดบนอุปกรณ์ พร้อมการเข้าถึงคลาวด์เอไอแบบเลือกได้และเอเจนต์อัตโนมัติ

เซิร์ฟเวอร์อนุมาน LLM ที่บางเบาและผ่านการทดสอบอย่างเต็มที่ สร้างขึ้นสำหรับฮาร์ดแวร์ CPU ราคาถูก พร้อมการแคชแบบถาวรและ API ที่เข้ากันได้กับ OpenAI

เอ็นจิ้น C ที่ไม่มี dependencies ซึ่งสตรีมน้ำหนักผู้เชี่ยวชาญจากดิสก์เพื่อรันโมเดล GLM-5.2 MoE ขนาด 744 พันล้านพารามิเตอร์บนฮาร์ดแวร์ผู้บริโภคโดยใช้ RAM เพียง 25 GB

Frugon เป็นเครื่องมือวิเคราะห์ค่าใช้จ่าย LLM ฟรีและโอเพนซอร์ส ที่ระบุจุดที่ค่าใช้จ่าย LLM ของคุณรั่วไหลโดยการวิเคราะห์บันทึกการเรียกใช้ของคุณภายในเครื่อง

ตัวกระจายสัญญาณขาเข้าแบบไร้สาขาและไม่มีกระตุกสำหรับเครือข่ายเมชแบบกระจาย 32 GPU ที่ใช้ JAX/XLA และ NCCL

Skeights ทำการอนุกรมโมเดล scikit-learn ที่ถูกฝึกแล้วเป็นรูปแบบ safetensors และ JSON แทนที่ pickle ที่ไม่ปลอดภัยด้วยรูปแบบที่ปลอดภัยและตรวจสอบได้

รัน LLM บน Mac ของคุณได้เร็วกว่า LM Studio หรือ Ollama ด้วยการสนับสนุนแชท, เอเจนต์เขียนโค้ด, รูปภาพ, วิดีโอ และเสียง ออฟไลน์เต็มรูปแบบและโอเพนซอร์ส

พร็อกซี LLM น้ำหนักเบา ประสิทธิภาพสูง สำหรับการแคช การเฟลโอเวอร์ การติดตามค่าใช้จ่าย และการผสานรวมระหว่างผู้ให้บริการ AI ในเครื่องและคลาวด์อย่างราบรื่น

Wolbarg เป็น TypeScript SDK แบบ local-first ที่ให้หน่วยความจำเชิงความหมายแบบใช้ร่วมกันสำหรับเอเจนต์ AI โดยใช้ SQLite หรือ PostgreSQL

รันไทม์ AI เนทีฟแบบรวมศูนย์ ไม่มีการจัดสรรหน่วยความจำ สำหรับ Java ที่รวมไปป์ไลน์ LLM ภาพ และเสียงผ่าน Project Panama

Osaurus เป็นผู้ช่วยเอไอส่วนตัวในเครื่องสำหรับ Mac ที่รันโมเดลแบบเปิดบนอุปกรณ์ พร้อมการเข้าถึงคลาวด์เอไอแบบเลือกได้และเอเจนต์อัตโนมัติ

เซิร์ฟเวอร์อนุมาน LLM ที่บางเบาและผ่านการทดสอบอย่างเต็มที่ สร้างขึ้นสำหรับฮาร์ดแวร์ CPU ราคาถูก พร้อมการแคชแบบถาวรและ API ที่เข้ากันได้กับ OpenAI

เอ็นจิ้น C ที่ไม่มี dependencies ซึ่งสตรีมน้ำหนักผู้เชี่ยวชาญจากดิสก์เพื่อรันโมเดล GLM-5.2 MoE ขนาด 744 พันล้านพารามิเตอร์บนฮาร์ดแวร์ผู้บริโภคโดยใช้ RAM เพียง 25 GB

Frugon เป็นเครื่องมือวิเคราะห์ค่าใช้จ่าย LLM ฟรีและโอเพนซอร์ส ที่ระบุจุดที่ค่าใช้จ่าย LLM ของคุณรั่วไหลโดยการวิเคราะห์บันทึกการเรียกใช้ของคุณภายในเครื่อง

ตัวกระจายสัญญาณขาเข้าแบบไร้สาขาและไม่มีกระตุกสำหรับเครือข่ายเมชแบบกระจาย 32 GPU ที่ใช้ JAX/XLA และ NCCL

Skeights ทำการอนุกรมโมเดล scikit-learn ที่ถูกฝึกแล้วเป็นรูปแบบ safetensors และ JSON แทนที่ pickle ที่ไม่ปลอดภัยด้วยรูปแบบที่ปลอดภัยและตรวจสอบได้

รัน LLM บน Mac ของคุณได้เร็วกว่า LM Studio หรือ Ollama ด้วยการสนับสนุนแชท, เอเจนต์เขียนโค้ด, รูปภาพ, วิดีโอ และเสียง ออฟไลน์เต็มรูปแบบและโอเพนซอร์ส

AXIOM เป็นเคอร์เนล Rust ที่สามารถบูตได้ ซึ่งปรับประสิทธิภาพการอนุมานของทรานส์ฟอร์เมอร์โดยการแทนที่นามธรรมของระบบปฏิบัติการทั่วไปด้วยพรีมิทีฟเฉพาะสำหรับการอนุมาน

NanoEuler เป็นโมเดลภาษาแบบโอเพนซอร์สสไตล์ GPT-2 ที่สร้างขึ้นตั้งแต่ต้นในภาษา C/CUDA โดยมี backprop, BPE tokenizer, FlashAttention และไพพ์ไลน์การฝึกที่เขียนด้วยมือ

ไปป์ไลน์การจำแนกข้อความแบบ few-shot อัตโนมัติแบบ end-to-end ที่รองรับมากกว่า 50 ภาษา สร้างขึ้นบน SetFit และ SBERT embeddings

Oxlo.ai คือ API การอนุมาน AI ที่ให้ความสำคัญกับความเป็นส่วนตัว โดยเสนอราคาตามคำขอสำหรับโมเดลโอเพนซอร์สกว่า 45 รายการ

PII GUI เป็นแอปพลิเคชันเดสก์ท็อปที่ทำงานในเครื่องเป็นหลักสำหรับตรวจจับและปกปิดข้อมูลส่วนบุคคลในเอกสารโดยใช้ regex และโมเดล ONNX บนอุปกรณ์

เฟรมเวิร์กภาษา Go สำหรับสร้าง จัดระเบียบ และสังเกตการณ์เอเจนต์ AI พร้อมความสามารถในการสังเกตการณ์ OpenTelemetry แบบเนทีฟและแดชบอร์ดที่โฮสต์ด้วยตนเอง

Ollama เป็นแพลตฟอร์มสำหรับรันโมเดลภาษาขนาดใหญ่ในเครื่องและขยายสู่คลาวด์ โดยให้การเข้าถึงโมเดลที่เร็วขึ้น ขนาดใหญ่ขึ้น พร้อมคำขอแบบขนานและข้อมูลเว็บแบบเรียลไทม์

Jan เป็นแอปแชท AI แบบโอเพนซอร์สที่ทำงานในเครื่องเป็นหลัก เป็นตัวแทนส่วนตัวของ ChatGPT

เครื่องมือบนเบราว์เซอร์ที่ประเมินว่าเครื่องของคุณสามารถรันโมเดล AI แบบโลคัลใดได้บ้าง โดยอิงจากความสามารถของอุปกรณ์

Fireworks AI เป็นแพลตฟอร์ม generative AI สำหรับการ inference ที่รวดเร็ว, การโฮสต์โมเดล, การ fine-tuning และการ deploy แบบปรับขยายได้ของโมเดลแบบเปิด.

PixaryAI เป็นเครื่องมือสร้างวิดีโอด้วย AI แบบออนไลน์ สำหรับสร้างวิดีโอจากข้อความหรือรูปภาพ พร้อมการควบคุมผ่านเบราว์เซอร์

พร็อกซี LLM น้ำหนักเบา ประสิทธิภาพสูง สำหรับการแคช การเฟลโอเวอร์ การติดตามค่าใช้จ่าย และการผสานรวมระหว่างผู้ให้บริการ AI ในเครื่องและคลาวด์อย่างราบรื่น

Wolbarg เป็น TypeScript SDK แบบ local-first ที่ให้หน่วยความจำเชิงความหมายแบบใช้ร่วมกันสำหรับเอเจนต์ AI โดยใช้ SQLite หรือ PostgreSQL

รันไทม์ AI เนทีฟแบบรวมศูนย์ ไม่มีการจัดสรรหน่วยความจำ สำหรับ Java ที่รวมไปป์ไลน์ LLM ภาพ และเสียงผ่าน Project Panama