mlx-serve
Herhangi bir LLM'yi Mac'inizde LM Studio veya Ollama'dan daha hızlı çalıştırın; sohbet, kodlama ajanları, görseller, video ve ses desteğiyle tamamen çevrimdışı ve açık kaynak.
mlx-serve
Nedir mlx-serve?
mlx-serve vs Benzer Araçlar
| Fiyatlandırma Modeli | Ücretsiz | Ücretsiz | Ücretsiz | Ücretsiz |
| Ücretsiz Krediler | ||||
| Temel özellikler |
|
|
|
|
| Artılar |
|
|
|
|
| Eksiler |
|
|
|
|
| Kimler için uygun |
|
|
|
|
Nasıl kullanılır mlx-serve?
- 1MLX Core uygulamasını GitHub Releases'den indirin veya Homebrew ile kurun.
- 2Uygulamayı başlatın ve Model Tarayıcı'yı kullanarak desteklenen herhangi bir modeli indirin.
- 3Yerleşik arayüzde sohbet etmeye başlayın veya OpenAI/Anthropic uyumlu API aracılığıyla harici uygulamaları bağlayın.
- 4Hızlı erişim için ⌃Space başlatıcısını kullanın veya uzaktan kontrol için ses ve Telegram botu yapılandırın.
mlx-serve Temel özellikler
- Apple Silicon'da yerel Metal hızlandırmasıyla yerel çıkarım
- 2 kata kadar daha hızlı üretim için tahmine dayalı kod çözme (Prompt Lookup Decoding, taslak modeller, MTP)
- Görüntü oluşturma (Krea-2-Turbo, FLUX.2) ve metin talimatlarından fotoğraf düzenleme
- Senkronize ses ve konuşan karakterlerle video oluşturma (LTX-Video 2.3)
- Birkaç saniyelik sesten ses klonlama ve metin okuma (Qwen3-TTS)
- 10 yerleşik araç (kabuk, dosya, arama, gözatma vb.) ve MCP sunucu desteğiyle ajan modu
- İzole komut yürütme için Apple Sanallaştırma kullanan Ajan Kum Havuzu
- Ollama uygulamalarının doğrudan değiştirilmesi için Ollama uyumlu API
- Yerel kodlama ajanları için Claude Code entegrasyonu
- Birden çok eşzamanlı sohbet için KV-önbellek niceleme ve sürekli toplu işleme
mlx-serve Kullanım senaryoları
- İnternet olmadan özel yapay zeka yardımı için yerel LLM'leri çalıştırma
- Kum havuzlu araç yürütme ile yapay zeka ajanları geliştirme ve test etme
- Kodlama ajanları için bulut API'lerini değiştirme (Claude Code, Cursor, Continue)
- Yaratıcı projeler için cihaz üzerinde görüntü, video ve ses oluşturma
- Ses kontrolü ve zamanlama ile özel yapay zeka asistanları oluşturma
mlx-serve Fiyatlar ve ücretsiz krediler
mlx-serve, Ücretsiz modeliyle çalışır.
Bu araç tamamen ücretsizdir
mlx-serve Artılar ve eksiler
Artılar
- Aynı modellerde LM Studio ve Ollama'dan daha hızlı
- Tamamen yerel ve özel – hiçbir veri Mac'inizden çıkmaz
- Çok geniş bir model yelpazesini destekler (MLX, GGUF, DeepSeek V4 Flash)
- Görüntü, video, ses oluşturma ve düzenleme içerir
- Hafif (~4.5 MB) ve yerel bir Mac uygulaması olarak kurulumu kolay
- OpenAI/Anthropic/Ollama API'leri aracılığıyla mevcut araçlarla sorunsuz entegrasyon
Eksiler
- Yalnızca Mac (Apple Silicon gerektirir)
- Bazı gelişmiş özellikler (örneğin DeepSeek V4) yüksek bellek gerektirir (96 GB+)
- Yerleşik bulut senkronizasyonu veya çoklu cihaz desteği yok
mlx-serve en çok ne için uygundur?
- Özel, yüksek performanslı yerel yapay zeka isteyen Mac kullanıcıları
- Yapay zeka ajanları ve kodlama asistanları oluşturan geliştiriciler
- Çevrimdışı görüntü/video/ses oluşturmaya ihtiyaç duyan içerik üreticileri
- Gizlilik bilincine sahip bireyler ve kuruluşlar
mlx-serve hakkında SSS
mlx-serve için ücretsiz alternatifler
Oxlo.ai, 45'ten fazla açık kaynak model için istek tabanlı fiyatlandırma sunan, gizlilik öncelikli bir AI çıkarım API'sidir.
PixaryAI, metin istemlerinden veya görsellerden tarayıcı tabanlı kontrollerle videolar oluşturmak için kullanılan çevrimiçi bir AI video üreticisidir.
mlx-serve için en iyi AI alternatifleri
Wolbarg, SQLite veya PostgreSQL kullanan AI ajanları için paylaşılan semantik bellek sağlayan, yerel-ilk bir TypeScript SDK'dır.
Java için birleşik, sıfır tahsisli yerel AI çıkarım çalışma zamanı; LLM, görüntü ve konuşma işlem hatlarını Project Panama aracılığıyla birleştirir.
Osaurus, Mac için özel, yerel bir yapay zeka asistanıdır; açık modelleri cihaz üzerinde çalıştırır ve isteğe bağlı bulut yapay zeka erişimi ile otonom ajanlar sunar.
Ucuz CPU donanımı için tasarlanmış, kalıcı önbellekleme ve OpenAI uyumlu API'ye sahip, hafif ve tam test edilmiş bir LLM çıkarım sunucusu.
Bağımlılıksız bir C motoru; 744B parametreli GLM-5.2 MoE modelini tüketici donanımında en az 25 GB RAM ile çalıştırmak için diskten uzman ağırlıklarını akışla aktarır.
Frugon, ücretsiz ve açık kaynaklı bir LLM maliyet analizörüdür. Çağrı kayıtlarınızı yerel olarak analiz ederek LLM faturanızın nereden sızdığını belirler.
JAX/XLA ve NCCL kullanan 32 GPU'lu dağıtık ağ topolojileri için dallanmasız, sıfır gecikmeli giriş yönlendiricisi.
Skeights, eğitilmiş scikit-learn modellerini safetensors ve JSON formatına serileştirerek güvensiz pickle'ı güvenli ve incelenebilir bir formatla değiştirir.