Geliştirici MCP tool maliyetlerini ölçtü: gerçek sunucu araçları ortalama yaklaşık 260 token

Bir geliştirici, Model Context Protocol tool tanımlarının gerçekte ne kadar context tükettiğine dair somut rakamlar ortaya koydu ve çoğunlukla uyarılarla yürüyen bir tartışmayı ölçülebilir bir şeyle değiştirdi. Dev.to'da yazan yazar, gönderinin, MCP sunucularının herkesin farkında olmadan context penceresini tükettiğini iddia eden ve geniş okur kitlesine ulaşan makaleler tarafından tetiklendiğini, ancak kimsenin gerçek bir sayım yayınlamadığını belirtti. Bu boşluğu doldurmak için resmi SDK ile sentetik bir MCP sunucusu kurdu, araçlarını bir host uygulamasının yapacağı şekilde listeledi ve tanımları tiktoken'ın cl100k tokenizer'ı ile saydı, ardından sağlamalık kontrolü olarak aynı sayımı resmi filesystem sunucusunda çalıştırdı.

Ölçümler

Sentetik sunucular tek araç için 101, on araç için 1.208 ve elli araç için 6.132 token çıktı — bu, 200.000 token'lık bir context penceresinin yaklaşık yüzde 3,07'si veya bir milyon token'lık bir pencerenin yüzde 0,61'i. On altı araca sahip gerçek filesystem sunucusu ise 4.204 token ağırlığındaydı; yani 200k'lık bir pencerenin yüzde 2,1'i.

Gerçek araçlar sentetik olanların kabaca iki katı

Gönderiye göre en yararlı bulgu bu fark. Sentetik araçlar ortalama araç başına 121 ila 123 token iken, filesystem sunucusu araç başına ortalama 263 token tutuyor. Yazarın tavsiyesi, üretim sunucuları derli toplu test araçlarından daha uzun açıklamalar ve daha zengin schema'lar taşıdığı için araç başına yaklaşık 260 token'ı gerçekçi rakam olarak kabul etmek.

Filesystem sunucusunun içindeki dağılım geniş. edit_file 408 token ile en ağır; onu 387 ile directory_tree ve 376 ile search_files izliyor; buna karşılık copy_file 205 token, hiç parametre almayan list_allowed_directories bile 154 token tutuyor — ad ve açıklama tek başına ağırlık taşıyor. Yazarın yazdığına göre bir aracı pahalı yapan şey uzun bir açıklama, birden fazla parametre ve schema içindeki enum'lar ya da iç içe nesneler. Gönderideki tam bir örnek tanım, ağırlığın büyük kısmının araç kendisinin değil, çevresindeki metadata olduğunu gösteriyor: bir başlık, iki kez tekrarlanan schema URL'leri, bir output schema ve dört annotation bayrağı.

Biçimlendirme bedava değil

Yazarın beklemediği bir ayrıntı: yukarıdaki sayımlar boşluksuz kompakt JSON varsayıyor. Aynı on altı araç, güzel biçimlendirilmiş (pretty-printed) halde 4.204 yerine 6.010 token tutuyor — yalnızca boşluk için yüzde 43'lük bir artış. Çoğu host kompakt JSON gönderiyor, ama tanımları güzel biçimlendiren her host hiçbir şey için neredeyse yarım kat daha fazla ödüyor.

Yinelenen maliyet

Yazarın kimsenin değinmediğini söyledüğü kısım şu: tool tanımları, araçlar bağlı olduğu sürece her sohbet için bir kez değil, her isteğe ekleniyor. Pencere her zaman yalnızca bir kopya tuttuğu için penceredeki pay sabit kalıyor, ama sayaç gönderilen her kopyada işliyor. Filesystem sunucusu bağlıyken yirmü tur, hatırdan geçen 84.080 token'lık tool tanımı demek. O boyutta üç sunucu, herhangi bir sohbet başlamadan önce istek başına 12.612 token, yani 200k'lık bir pencerenin yüzde 6,3'ü demek.

Parayla ifade edildiğinde rakam küçük kalıyor: yazarın aktardığı fiyat olan milyon girdi token'ı başına 1,50 dolarla 4.204 token, istek başına yaklaşık altı onda bir sent, yirmi turda kabaca 13 sent ediyor. Asıl önemli maliyet dolarlar değil, pencere payı; çünkü uzun bir görevde sınır koyan şey fatura değil, context penceresi.

Gerçekten işe yarayanlar

Yazar üç kaldıracı etkisine göre sıralıyor. Birincisi, kullanmadığınız sunucuların bağlantısını kesin: bağlı bir sunucu, araçları çağrılıp çağrılmadığına bakılmaksızın her istekte maliyetini doğurur ve bu yükü tamamen ortadan kaldıran tek kaldıraç budur. İkincisi, açıklamaları kısaltın; bunlar çoğu aracın en büyük tek parçası ve yazarların uyarılarla, örneklerle ve tekrarlarla doldurduğu kısımdır; bir açıklamayı yarıya indirmek aracın maliyetinin kabaca üçte birini kazandırır. Üçüncüsü, büyük sunucuları bölün ve yalnızca gereken alt kümeyi bağlayın, böylece araçların yarısı için aynı anda ödeme yaparsınız.

Yazara göre işe yaramayan şey ise küçük ölçekte endişelenmek. 200k veya 1M'lik bir pencerede bir ya da iki sunucu neredeyse fark edilmiyor; yük, dört beş sunucu civarında ya da istek başına kopyaların biriktiği uzun görevlerde dikkat etmeye değer hale geliyor.

Uyarılar

Ölçümler tek bir tokenizer olan cl100k'yi kullanıyor ve yazar, diğer modellerin aynı metni farklı saydığına, genellikle iki yönde de yüzde 10 ila 20 sapma olabileceğine dikkat çekerek rakamların evrensel bir sabit değil, tek bir cetvelle yapılmış bir ölçüm olarak okunması gerektiğini söylüyor. Sayımlar ayrıca tanımları istemcinin listelediği haliyle, bir host'un bunların etrafına sarmış olabileceği ek alanlar öncesinde yansıtıyor.

Neden önemli

MCP context tartışması bolca telaş ama az sayım üretti. Bu gönderi mühendislerin plan yapabileceği bir taban çizgisi sunuyor: araç başına kabaca 260 token bütçeleyin, bağlı her sunucunun bu maliyeti her istekte ödediğini unutmayın ve önce tükenen kaynağın context penceresi olduğunu kabul edin. Tool yazarları için ayrıca en ucuz çözümü de belirliyor — kısa açıklamalar ve yalın schema'lar, sunucunun her kullanıcısının ödediği istek başı maliyeti doğrudan düşürür.