Litelm, LiteLLM'in yönlendirmesini iki bağımlılıkla yaklaşık 2.900 satırda yeniden yazıyor

LiteLLM'in çekirdeğinin sade bir yeniden uygulaması

11 Eylül'de Hacker News'in ana sayfasına çıkan Litelm adlı yeni açık kaynak proje, çok sayıda LLM sağlayıcısını tek bir arayüz üzerinden çağırmak için yaygın biçimde kullanılan Python kütüphanesi LiteLLM'e radikal biçimde budanmış bir alternatif sunuyor. Projenin GitHub deposuna göre Litelm, LiteLLM'in yönlendirme ve mesaj çevirisi çekirdeğini yalnızca iki zorunlu bağımlılıkla — OpenAI SDK ve httpx — yaklaşık 2.900 satır kodla yeniden üretiyor.

README'nin savunusu şudur: LiteLLM'in asıl işi küçüktür — openai/gpt-4o gibi bir isteği almak, doğru uç noktaya yönlendirmek, mesajları sağlayıcının yerel biçimine çevirmek ve normalize edilmiş bir yanıt döndürmek — ancak bu mantık, ayrıca bir proxy sunucusu, önbellekleme katmanları, maliyet takibi ve çoğu kullanıcının hiç dokunmadığı uzun bir özellik listesi taşıyan 100.000 satırdan fazla kodun içinde gömülüdür. Litelm çağrı yolunu korur, gerisini atar: Router sınıfı yoktur, proxy yoktur, önbellekleme yoktur.

Neler korunuyor, neler kesiliyor

Korunan yüzey; model yönlendirmesini, Anthropic, Bedrock, Cloudflare ve Mistral için mesaj çevirisini, stream_chunk_builder yardımcı fonksiyonuyla birlikte stream'i, tool calling'i, embedding'leri, metin tamamlamaları, OpenAI Responses API'sini ve mock yanıtları kapsıyor. Her fonksiyonun bir async varyantı var — acompletion, aembedding, aresponses ve atext_completion.

Kaybolan ise operasyonel katman: yük dengeleme ve fallback mekanizmalarıyla Router sınıfı, proxy sunucusu, önbellekleme, bütçeleme ve maliyet takibi, token sayımı, görüntü üretimi, ses, OCR, fine-tuning ile agents, guardrails ve scheduler bileşenleri.

Kritik nokta şu: API, litellm'inkini birebir yansıtıyor; fonksiyon adları, argümanlar ve yanıt tipleri eşleşiyor. README, mevcut litellm kullanıcıları için geçişi tek satırlık bir import değişikliği olarak tanımlıyor.

Sağlayıcılar, kurulum ve hatalar

Temel kurulum yalnızca openai ve httpx paketlerini indirir; isteğe bağlı ekler Anthropic SDK'yı veya Bedrock için boto3'ü ekler. Çağrılar sağlayıcı/model-adı biçiminde bir dizge kullanır ve proje OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter, Azure, Bedrock, Cloudflare, Together, Fireworks, DeepSeek, Perplexity, DeepInfra, Gemini, Cohere, Ollama, vLLM ve LM Studio dahil 19 sağlayıcıyı destekler. api_base parametresiyle herhangi bir OpenAI uyumlu sunucuya bağlanılabilir; bu da yerel çıkarım yığınlarını kapsar.

README'deki sağlayıcı tablosu bunlardan yalnızca yedisini — OpenAI, Anthropic, Groq, Mistral, xAI, OpenRouter ve Azure — doğrulanmış olarak işaretliyor; Bedrock ve Gemini dahil kalanlar doğrulanmamış olarak listeleniyor.

Sağlayıcı hataları, litellm'in kullandığı adlarla aynı isimlere sahip bir istisna hiyerarşisine eşleniyor — RateLimitError, ContextWindowExceededError ve AuthenticationError gibi — böylece mevcut hata yönetimi olduğu gibi taşınabilmelidir.

Uyumluluk nasıl doğrulanıyor

Proje kendini alpha olarak tanımlıyor. README, kendi testlerinden 262'sinin, LiteLLM'in test setinden taşınan 75 testin upstream taban çizgisine karşı geçtiğini ve canlı çalıştırmalarda geçerli bağımlılık kilidi altında 45 sağlayıcı testi ile 10 DSPy smoke testinin geçtiğini bildiriyor.\n 11 Eylül 2026 tarihli bir geliştirici beyanı, LiteLLM'in 360 çekirdek yolundaki commit'i boyunca yönlendirme ve biçimlendirme değişikliklerini incelediğini ve önce testler yazılarak uyumluluk boşluklarının kapatıldığını anlatıyor. Beyanın kapsamı açıkça sınırlı: litelm'in beyan edilen yönlendirme, biçimlendirme ve DSPy yüzeyini kapsıyor, tam litellm uyumluluğunu değil. DSPy drop-in davranışı yedi yürütme yolunda iddia ediliyor.

README yazarlık konusunda da alışılmadık derecede şeffaf. Kodun büyük bölümünün Claude Opus 4.6/4.7 kullanılarak Claude Code ile yazıldığını, 14 Mayıs 2026'dan sonraki kodun ise Pi üzerinden GPT-5.5 ile yazıldığını belirtiyor. Uyumluluk iddialarının kodun nasıl üretildiğine değil, testlere ve geliştirici incelemesine dayandığının altını çiziyor.

Neden önemli

LiteLLM, Python geliştiricilerinin sağlayıcıya bağımlılıktan kaçınmak için yaygın biçimde başvurduğu bir yol haline geldi; ancak bu genişliğin bir bedeli var: büyük bir kurulum, geniş bir bağımlılık ağacı ve baştan sona okunması zor bir kod tabanı. Litelm'in varlığı, uygulamaların gerçekte kullandığı kısmın — yönlendirme ve biçim çevirisi — kompakt bir sorun olduğunu ve küçük bir uygulamanın tek satırlık bir değişim için yeterince uyumlu kalabileceğini gösteriyor. Proxy'yi, bütçeleme araçlarını ya da Router'ı hiç kullanmayan ekipler için bu, çekici bir denetim ve bakım önerisidir.

Uyarılar da gerçek. Proje alpha aşamasında, listelenen sağlayıcılarının çoğu doğrulanmamış durumda ve yük dengeleme, fallback, maliyet takibi ya da proxy sunucusuna bel bağlayanlar bu özellikleri bulamayacak. Litelm'in sunduğu şey ise çekirdek soyutlamanın basit olduğunun bir kanıtı — ve bunun yanında, açık, teste dayalı uyumluluk beyanıyla eşleşmiş bir yapay zeka destekli geliştirme örneği.