Spotify'ın Portal'ı, Claude Code girdi/çıktısını daha ucuz modellere yönlendirerek token kullanımını %90 azaltıyor

Hacker News ana sayfasında öne çıkan bir Spotify Engineering yazısı, ajan etkinliğinin büyük bölümünü aslında olduğu gibi ele alarak (muhakeme değil, girdi ve çıktı) Claude Code token tüketimini yaklaşık %90 azaltan bir kurulumu anlatıyor. Dosya okumaları ve şablon kod üretimi, Spotify'ın ajan platformu Portal üzerinde çalışan daha ucuz bir işçi modele devredildi; geriye kalan, gerçekten muhakeme gerektiren işler için uç model bırakıldı.

Maliyet sorunu

Yazarın çıkış noktası şu gözlem: Bir ajan, tek bir metotla ilgili bir soruyu yanıtlamak için rutin olarak beş dosya okuyor ya da yanındaki yirmi test dosyasının kopyası niteliğinde bir test dosyası yazıyor. Bu tür görevler neredeyse hiç muhakeme gerektirmezken binlerce token tüketiyor; ancak varsayılan olarak tümü pahalı bir uç modelde çalışıyor.

Yazı bunu hızla büyüyen bir bütçe sorunu olarak çerçeveliyor ve mühendislik liderlerinin dörtte birinin geliştirici başına aylık 200 ile 500 dolar arası token harcaması, bazılarının 2.000 doları aştığı ve 2028'e kadar yapay zekâ kodlama maliyetlerinin ortalama geliştirici maaşını geçebileceği öngörülerine atıfta bulunuyor.

Portal üzerinde iki bildirimsel mod

Mekanizma AiKA Modes: Portal'da bir modun, geçici ve sunucusuz tarzı bir runtime üzerinde çalışan bildirimsel bir ajan olduğu bir özellik. Talimatları tanımlıyor, bir model seçiyor, temperature gibi değerleri ayarlıyor ve MCP araçlarını bağlıyorsunuz; altyapı, anahtarlar ve süreç yaşam döngüsüyle Portal ilgileniyor. Modlar Portal CLI'den ya da API'den çağrılabiliyor, özel ya da şirket genelinde paylaşımlı olabiliyor ve Portal mod adlarını büyük/küçük harf duyarsız şekilde çözümlüyor; önce kendi modunuzu, sonra takımınızınkini, sonra da herkese açık olanları tercih ediyor.

İki mod oluşturuldu. bulk-reader bir dosya kümesi ve bir soru alıp yapılandırılmış madde işaretleriyle yanıt veriyor; talimatlar selamlamaları, giriş cümlelerini ve düz metni yasaklıyor ve her maddenin tam bir ad, tür ya da satır numarasıyla başlamasını şart koşuyor. code-writer bir spec ve referans dosyadan dosya üretiyor, referansın kurallarını birebir izliyor ve yalnızca kod çıktısı veriyor. Örneklerde işçi model olarak Gemini 2.5 Flash çalışsa da model alanı Portal örneğinde yapılandırılmış her şeyi kabul ediyor.

Yönlendirmeyi shunt eklentisiyle zorunlu kılmak

İlk denemede yönlendirme kuralları CLAUDE.md'ye kondu, ama bu kurallar tavsiye niteliğindeydi; Claude onları görmezden gelebiliyordu ve her projenin kendi kopyasına ihtiyacı vardı. Güncel sürüm ise shunt adlı, üç katmandan oluşan bir Claude Code eklentisi.

PreToolUse hook'ları araç çağrılarını çalışmadan önce yakılıyor. Biri her Read çağrısını denetleyip yapılandırılabilir satır eşiğini (varsayılan 350, SHUNT_MIN_LINES ortam değişkeniyle ayarlanabilir) aşan dosyaları engelliyor ve Claude'ı bulk-reader becerisine yönlendiriyor. Bir diğeri büyük dosyalara karşı cat, head, tail, less ve more komutlarını yakalıyor ama pipe'lanmış, filtrelenmiş komutlara izin veriyor; çünkü bunlar hedefli okumalar.

Sarmalayıcı betikler devri gerçekleştiriyor. bulk-read her dosyayı XML etiketlerine sarıp soruyla birlikte bulk-reader moduna gönderiyor; her çağrı tek atımlık ve geçici, ve derlem Claude'un bağlamına değil işçi modele gittiği için aynı dosyaları bir sonraki soru için yeniden göndermek fiilen ücretsiz. code-write bir spec ve zorunlu bir referans dosya alıyor, yanıttaki markdown çitlerini temizliyor ve doğrudan diske yazabiliyor; böylece üretilen kodu Claude hiç görmüyor.

Beceri dosyaları Claude'a betikleri ne zaman ve nasıl çağıracağını söylüyor ve katmanlı yapı zarif biçimde bozuluyor: beceri okunmasa bile hook pahalı okumayı yine engelliyor.

Sonuçlar ve sınırlar

Dört senaryo üzerinden bir Java monorepo ile kıyaslandığında toplu okumalarda ortalama tasarruf yaklaşık %90 oldu. Kod yazma vakası token cinsinden ölçmek daha zor, çünkü taban çizgi Claude'a hem referansları okumayı hem de çıktıyı üretmeyi pahalı token olarak fatura ediyor.

Yazı, neyin devredilemeyeceği konusunda açık sözlü. Düzenleme Claude'da kalıyor, çünkü işçi modelin özetleri güvenilir satır numaraları içermiyor; dolayısıyla offset ve limit ile yapılan hedefli okumalar geçmeye devam ediyor. Muhakeme de Claude'da kalıyor: işçi model yüzeysel örüntülleri fark etti ama doğru bağlam verildiğinde Claude'un hızlıca yakaladığı ince bir iş parçacığı güvenliği hatasını kaçırdı; bu yüzden hata ayıklama, mimari kararlar ve güvenlik açısından kritik kod yönlendirme dışında tutuluyor. Gecikme ise geriye kalan bedel: her devir 10 ila 30 saniyelik bir ağ gidiş-dönüşü, Portal tek bir çağrıyı 30 saniyeyle sınırlıyor ve çok büyük üretimler daha küçük çağrılara bölünmek zorunda; bu da küçük dosyalar için devri verimsiz kılıyor ve satır eşiğinin nedenini açıklıyor.

Neden önemli

Token harcaması mühendislik organizasyonlarının fiilen bütçelediği bir kalem haline geliyor ve bu, standart çözümün daha somut kanıtlarından biri: mekanik girdi/çıktıyı ucuz bir modele itmek ve uç modelleri muhakemeye ayırmak. Spesifik yığın Spotify'a ait, ama çözümün biçimi (araç çağrılarını hook'larla yakalamak, daha ucuz bir uca devretmek ve düzenleme ile hata ayıklamayı yerelde tutmak) herhangi bir Claude Code kurulumuna aktarılabilir. Baş rakamın yanına başarısızlık biçimlerini de belgelemek, iddiayı tek başına bir kıyaslamadan çok daha inandırıcı kılıyor; yine de okuyucular rakamların bağımsız bir denetimden değil, tek bir yazarın tek bir monorepo üzerindeki testlerinden geldiğini not etmeli.