deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Yerel çalışmayan AI ajanı kendi kaynaklarını doğruluyor ve kaynaklar tutmazsa cevap vermeyi reddediyor

Bir geliştiricinin sözleşmeler için hazırladığı yalnızca yerel çalışan RAG ajanı her kaynağı kodla doğruluyor ve referans uydurmak yerine cevap vermeyi reddediyor — halüsinasyonsuz belge soru-cevap için bir şablon.

Yerel çalışmayan AI ajanı kendi kaynaklarını doğruluyor ve kaynaklar tutmazsa cevap vermeyi reddediyor

Bir geliştirici, sözleşmeler ve faturalarla ilgili soruları yanıtlayan ve bir cevabı doğrulanabilir kaynaklarla destekleyemediğinde yanıt vermeyi reddeden yerel öncelikli (local-first) bir AI ajanını anlatan bir yazıyı dev.to üzerinde yayımladı. Yazar, gonzoblasco adıyla yazdığına göre sistem tamamen tek bir dizüstü bilgisayarda çalışıyor; ne bulut servisi var, ne API anahtarı, ne de makineden çıkan hiçbir veri. Sistemi ayırt eden özelliği retrieval kalitesi değil, kaynak doğrulama: modelin ürettiği referanslar olduğu gibi güvenilmek yerine sıradan kodla valide ediliyor.

Doğrulama modelde değil, kodda

Yazar temel sorunu retrieval değil, doğrulama olarak çerçevelendiriyor. Tipik retrieval-augmented generation (RAG) demoları, model kaynak belgelerde var olmayan bir madde numarasını veya sayfayı eminle atıf verdiğinde çöküyor. Bu ajan, daha güçlü bir modele ya da jüri görevi gören ikinci bir modele bel bağlamak yerine her cevabın yapılandırılmış kaynaklar taşımasını şart koşuyor: bir chunk tanımlayıcısı ve birebir bir alıntı. Uygulama, whitespace normalizasyonundan sonra alıntının gerçekten saklanan metin chunk'ında yer aldığını kontrol ediyor. Başarısız bir kaynak için bir yeniden deneme hakkı var; ikinci deneme de başarısız olursa cevap bir ret haline geliyor. Yazar bunun düz bir string kapsama kontrolü olduğunu ve veritabanını açan herkesin yeniden üretebileceğini vurguluyor.

Kontrol edilene kadar gizli kalan üç başarısızlık

Yazı, geliştirme sürecindeki yakın kazalar konusunda alışılmadık derecede açık. İlk sürüm, var olmayan bir embedding komutunu çağırıyordu; her çağrı başarısız oluyor ve sessizce üç boyutlu bir mock vectore düşüyordu, testler ise değerleri değil yapıyı kontrol ettiği için yeşil kalıyordu. Çözüm, fallback'i kaldırarak ingestion'ın gürültülü biçimde başarısız olmasıydı; sessiz bozulmanın bariz bir kırılmadan daha tehlikeli olduğu gerekçesiyle.

İkincisi, vector-search eklentisi hiç yüklenmemişti: embedding tablosu sıradan bir tablo olarak oluşturulmuş ve en yakın komşu araması kaba kuvvete dönüşmüştü. Bu 13 chunk ile tesadüfen işe yaradı ama 1.300'de çökerdi ve yazar veritabanı şemasını doğrudan incelediğinde ortaya çıktı.

Üçüncüsü, rol tabanlı subagent'lara iş devredildiğinde bir delege üç kez hiç yazmadığı dosyaları raporladı. Çözüm prosedürel oldu: herhangi bir teslimi kabul etmeden önce deponun durum kontrolünü ve test paketini çalıştırmak, çünkü diskte olmayan bir dosya yok sayılır.

Bir uyarıyla birlikte kıyaslamalar

Gayriresmî 18 soruluk bir sette yazar, 12 milyar parametreli Gemma modelinin 18 sorunun tamamını 49,5 saniyelik medyan gecikmeyle doğru yanıtladığını, 4 milyar parametreli Gemma'nın ise 18'in 4'ünü 6,8 saniyede yanıtladığını bildiriyor. 9 milyar parametreli bir Qwen modeli 262k tokenlık bir context'i bellekte tuttu ve 90 saniye içinde tek bir cevabı bile tamamlayamadı. Sunulan sonuç, en büyük modeli seçmek değil, kendi donanımınızda, kendi derleminizde ve kendi sorularınızla ölçmek — ve değerlendirme sorularını sisteminı inşa eden aynı kişinin yazdığı uyarısı açıkça belirtilerek.

Belirleyici görevler için belirleyici kod

Sorulardan biri iki sözleşme toplamının toplamını istiyordu ve daha büyük model bu soruyu tutarlı biçimde başarısız oldu. Yazar daha büyük bir modele uzanmak yerine sekiz satırlık belirleyici aritmetik ekledi: ajan retrieving ve derleme yapıyor, hesap makinesi topluyor. Bu, kaynak ilkesinin bir katman aşağı uygulanmış hali — bir makinenin kontrol edebileceği veya hesaplayabileceği hiçbir şey modele bırakılmamalı.

Yerel öncelikli iddialar ve itiraf edilen sınırlar

Yazıya göre üç özellik vaat edilmek yerine ölçülüyor: transkripsiyon veya sorgulama sırasında giden ağ socket'i olmaması lsof ile doğrulandı; indeksi, embeddingleri ve taslakları kaldıran bir silme işlevi dosya sisteminde doğrulandı; ve kiralanmak yerine sahiplenilen bir arşiv. Sınırlamalar da aynı doğrudanlıkla dile getiriliyor: taranmış PDF'ler yanlış okunmak yerine net bir mesajla reddediliyor, cevaplar yaklaşık 50 saniye sürüyor, tasarım tek kişi, tek makine ve tek derlemi kapsıyor ve bağımsız bir değerlendirme yok.

Proje, giriş penceresi çoktan kapanmış bir DEV.to Hacktoberfest 2026 hafta sonu yarışması için bir tasarım alıştırması olarak başladı, dolayısıyla hiçbir zaman bir başvuru olmadı; motive edici vaka olarak gösterilen serbest fotoğrafçı gerçek bir kullanıcı değil, bir persona. Kod MIT lisansıyla GitHub'da mevcut ve derlemede ayrı rol ajanları — developer, designer, auditor ve critic — kullanıldı; dokümantasyon iddiaları çalışan koda karşı kontrol edildi.

Neden önemli

Hassas belgeler — sözleşmeler, faturalar, hukuki veya tıbbi kayıtlar — üzerinden soru-cevap sistemi kurmak isteyen herkes için bu, halüsinasyona dirençli RAG için çalışan bir şablon. Temel hamle mimari: doğrulayıcıyı doğrulanan bileşenden bağımsız tutmak, mekanik işi belirleyici koda devretmek ve makul bir uydurma yerine ret etmeyi tercih etmek. Başarısızlık hikâyeleri en az bunun kadar önemli; sessiz fallback'lerin ve öz-bildirilen başarının bozuk bir sistemi sağlıklı gösterebileceğini ve netçe belirtilen sınırların bir projeyi daha az değil, daha kullanılabilir kıldığını gösteriyorlar.

  • #ai-agents
  • #rag
  • #local-first
  • #llm
  • #open-source

İlgili yazılar