Ooor, llama.cpp'yi yerel bir AI iş istasyonuna dönüştüren 1.5MB'lık, MIT lisanslı bir masaüstü yöneticisi

Ooor nedir

Geliştiricisinin dev.to'daki bir gönderisine göre Ooor ("O-or" diye okunuyor), llama.cpp komut satırı ekosistemini grafiksel bir iş istasyonuna saran ücretsiz, MIT lisanslı bir Windows uygulaması. Çalıştırılabilir dosya yaklaşık 1.5MB ağırlığında ve C# ile WinForms kullanılarak .NET Framework 4.8 üzerinde geliştirilmiş; bu runtime Windows 10 ile birlikte geldiği için ortada ne bir Electron katmanı var, ne bir Node bağımlılığı ne de büyük bir framework indirmesi. Geliştirici, uygulamanın anında açıldığını ve boştayken tek haneli megabyte cinsinden RAM tükettiğini söylüyor.

Uygulama bu tek binary içine dört rolü katlıyor: CPU, CUDA, Vulkan ve SYCL için llama-server build'lerini kurup aralarında geçiş yapan bir motor yöneticisi; diskteki .gguf dosyalarını tarayan bir model kütüphanesi; bir Hugging Face model tarayıcısıyla eşleşmiş bir indirme yöneticisi; ve aynı zamanda yerel bir agent sunucusu olarak da işlev gören bir streaming sohbet konsolu.

Varsayılan olarak tamamen yerel

Gizlilik, tasarımın sınırını çiziyor. Model servisi 127.0.0.1 adresine bağlanıyor, telemetri yok, hesap sistemi yok ve giden trafiğin tek örneği, bir kullanıcının bir agent'dan açıkça bir URL getirmesini istediği anda gerçekleşiyor. Bir servis çalışır duruma geldiğinde Ooor, 127.0.0.1:6080 adresinde OpenAI uyumlu bir endpoint açıyor; böylece özel bir base URL kabul eden istemciler — gönderide Cursor, VS Code için Continue eklentisi ve Cherry Studio sayılıyor — tek satırlık bir yapılandırma değişikliğiyle yerel modellere bağlanabiliyor.

Kıyas için: geliştiricinin karşılaştırma tablosu Ollama'yı yaklaşık 150MB'lık bir kurulum dosyası ve kabaca 50MB boşta bellek kullanımıyla, LM Studio'yu ise Electron tabanı nedeniyle 500MB'ın üzerinde kurulum boyutu ve boştayken yaklaşık 800MB RAM ile gösteriyor. Bu rakamlar bağımsız ölçümler değil, yazarın kendi verileri; ancak kurulum boyutu farkı asıl satış noktası: Ooor, yanında runtime taşımak yerine işletim sistemiyle gelen bir runtime'a yaslanıyor.

Motorlar, modeller ve indirmeler

llama.cpp sürümleri hızla ilerlediği için Ooor, motoru arayüzden ayrıştırıyor. Resmi sürüm arşivlerini indiriyor, bunları bir yapılandırma dizinine çıkarıyor, birden fazla sürümün bir arada yaşamasına izin veriyor ve aralarında tek tıkla geçiş sağlıyor — bir motor yükseltmesi hiçbir zaman uygulama yükseltmesini zorunlu kılmıyor, tersi de geçerli.

Model kütüphanesi dosya adı, çok modlu projeksiyon dosyası (görsel modellerin kullandığı mmproj yoldaşı), diskteki konum, boyut ve serbest biçimli notlardan oluşan bir tablo sunuyor ve her girdiyi dahili ya da harici referanslı olarak işaretliyor. Yumuşak silme seçeneği bir modeli listeden çıkarırken dosyayı diskte tutuyor; böylece quantization'ları karşılaştıran kullanıcılar, gigabyte'larca ağırlığı yeniden indirmeden geri dönebiliyor.

Hugging Face tarayıcısı depoları indirme sayısına, beğeniye, görev kategorisine, gated durumuna ve son güncellemeye göre sıralıyor, bir depodaki her GGUF varyantını her quantization için tahmini donanım gereksinimiyle birlikte listeliyor ve hf-mirror yansısı ya da GitHub proxy'leri üzerinden yönlendirme yapabiliyor. İndirici, parça başına durum bilgisi, otomatik yeniden denemeler ve uygulama kapatılıp açıldıktan sonra kaldığı yerden devam etme desteğiyle paralel çok parçalı aktarımları yönetiyor.

Sohbet, agent'lar ve profiller

Sohbet konsolu yanıtları stream ediyor ve her yanıt için saniyedeki token sayısını gösteren bir sparkline ile parça zamanlamalarını görüntülüyor; bu sayede ayrı bir benchmark çalıştırmadan çıkarım hızını motor build'leri veya quantization seviyeleri arasında karşılaştırmak mümkün oluyor.

Agent katmanı, geliştiricinin en çok öne çıkardığı özellik. Yerleşik araçlar URL getirme, dosya okuma ve yazma, dizin listeleme, shell komutları çalıştırma ve turlar arasında kalıcı olan bir anahtar-değer belleğini kapsıyor. Koruma rail'ları da var: okumalar ve dizin listelemeleri izin verilen kök dizinlerle sınırlıyken, dosya yazmaları ve shell komutları çalışmadan önce manuel onay gerektiriyor. Ooor ayrıca Model Context Protocol'ü destekliyor; böylece harici MCP sunucuları yerleşik araçların yanında durabiliyor ve depoda örnek bir SQLite MCP sunucusu bulunuyor. Profiller her şeyi bir araya getirerek motoru, modeli, runtime parametrelerini ve agent bağlarını bir anlık görüntüde topluyor — örneğin hızlı sorular için küçük bir CPU modeli, kod işi için araçlar takılı büyük bir CUDA modeli. Arayüz İngilizce ve Basitleştirilmiş Çince destekliyor ve çalışma anında değiştirilebiliyor.

Neden önemli

Yerel LLM araçları büyük ölçüde Ollama ve LM Studio çevresinde toplandı ve Ooor üçüncü bir yol öneriyor: eski ya da kısıtlı donanımda ve Electron'ın bellek maliyetinden çekinenler için önem taşıyan tüy hafifliğinde bir ön yüz. Ayrıştırılmış motor yönetimi, llama.cpp'nin sürüm temposuna pratik bir yanıt ve MCP destekli, onay kapılı agent katmanı, yerel dosyaları okuyabilen, bir sayfa getirebilen ve sonuçları yazabilen, ortada hiçbir bulut servisi olmayan tamamen çevrimdışı bir asistanın taslağını çiziyor.

Uyarıları açıkça söylemekte fayda var: buradaki her şey geliştiricinin kendi yayınladığı tek bir gönderiden geliyor, yani boyut ve performans rakamları yazarın kendi ölçümleri; uygulama, platformlar arası rakiplerinin aksine yalnızca Windows'ta çalışıyor; ve quantization'lar için donanım gereksinimi tahminleri sezgisel değerler. Minimal bir llama.cpp iş istasyonu isteyen Windows kullanıcıları kendileri karar verebilir — kaynak kod GitHub'da rhettli/Ooor-desktop adresinde, proje sitesi ise ooor.cc adresinde.