The Finn: bir router'ın içinde yaşayan ve gördüğü her şeyi yorumlayan LLM ajanı

Router'da yaşayan huysuz bir ajan

Hacker News'in ana sayfasına çıkan bir proje olan The Finn, küçük bir dil modeli ajanını sıradan bir Wi-Fi router'ın içine yerleştiriyor ve ona tam olarak tek bir iş veriyor: ağın kendi köşesini gözlemlemek ve ara sıra bundan şikayet etmek.

Projenin GitHub deposuna göre, YuriKovalov22 tarafından gelilenen ajan tamamen router'ın kendisinde çalışıyor — bir ofis duvarındaki GL.iNet GL-MT3000, OpenWrt 21.02 ve 512 MB RAM ile. Adını William Gibson'ın Sprawl üçlemesindeki bir karakterden alıyor; o karakter, insanların kahini homurdanırken dinlemek için ziyaret ettiği, bir kutunun içine mühürlenmiş bir yapı olarak hayatta kalır. Bu yazılım saygı duruşunun hiçbir aracı yoktur, bir state dosyası ötesinde belleği yoktur ve e-posta, takvim ya da bilet sistemlerine erişimi yoktur. Onun tüm dünyası tek bir koridor ve o koridordan geçen trafiktir.

Tek çıktı kanalı Telegram. Bir bot token'ı ve eşleşmiş tek bir kullanıcı kimliği aracılığıyla konuşuyor ve kurulumdan sonra ilk on beş dakika, o particular oda için normalin neye benzediğini öğrenirken sessiz kalıyor.

Ne zaman konuşacağına nasıl karar veriyor

Depoya göre incelenmeye değer kısım, ilginç olayların elle yazılmış bir listesinin olmaması. Dakikada bir kez cihaz kendisi ve çevresi hakkında geniş bir okuma yapar, her okumanın kayan geçmişini RAM'de tutar ve kendi yakın aralığının dışına çıkan her şeyi işaretler. İki tür tuhaflık genel olarak tespit edilir: sayısal sensörlerin önceki 45 dakikadaki bantlarını sensör başına belirlenen bir eşikten fazla terk etmesi ve üyelik değişiklikleri — bir cihaz, yukarı akış komşusu ya da alışılmadık bir hedef port gibi bir şeyin bir kümede belirmesi ya da kümeden kaybolması.

Böyle bir sistem başına bırakılırsa trafikten neredeyse sürekli bahsederdi, çünkü sayaçlar her ağdaki en oynak şeylerdir. Bu yüzden The Finn yorumları türe göre rasyonlar: trafik yorumunu altı saatte bir yorumla sınırlar ve en uzun süredir bekleyen kategoriyi tercih eder. İkinci eksen olan tema, henüz kullanılmış bir konuyu doksan dakika boyunca susturur; üçüncü eksen olan biçim ise aynı cümle kalıbını tekrarlamasını engeller — "X şimdi N, genelde M" biçimindeki altı yorumu — bir yorumun bir şeyin yükseldiğini, sakinleştiğini, geldiğini, gittiğini ya da sadece uzun bir hiçlik dilimini anlatıp anlatmamasını değiştirerek. Dünden sadece tekrar eden hareketlilik sayılmaz; yalnızca gerçekten yeni şeyler geçerlidir. Sessizlik bile bir gözlemdir: saatlerce anomali olmazsa, modele bu gerçek iletilir ve model dilsiz bırakılmaz.

Ancak o noktada bir model çağrılır — Anthropic ya da OpenAI, ikisi de hazır — ve bir izleme sistemi değil bir sakin gibi yanıt vermesi istenir; girdi sıkıcı muhasebeden ibaretse NOTHING diye yanıtlama izni vardır. Başarısız bir API çağrısı, sessiz kalma kararı olarak ele alınmaz.

Neler hissedebiliyor

Sensör listesi bir router'ın sinir sistemi gibi okunuyor. iwinfo üzerinden bağlı Wi-Fi istemcilerini ve sinyal gücünü, DHCP kiralıkları üzerinden host adlarını (böylece MAC rotasyonu izlemeyi bozmaz), conntrack akış hareketliliğinden cihaz başına etkinliği, yukarı akış komşu tablolarını, wg show üzerinden VPN eşlerini, kendi sıcaklığını, yükünü, belleğini ve çalışma süresini ve logread'den çekilen başarısız SSH girişlerini kapsıyor.

Depo ayrıca cihaz başına veri hızı konusunda dürüst bir uyarı içeriyor: bu cihaz dahil donanımsal NAT offload'a sahip router'larda kurulan akışlar silisyumda işlenir ve conntrack bayt sayaçları büyümeyi bırakır; bu da bir ajanın sadakatle anlatacağı imkânsız sayılar üretebilir. Bu yüzden her tick parçaları bütünle karşılaştırır ve yanlış bir şey yerine hiçbir şey yayınlamaz.

Kurulum ve maliyet

Kurulum yaklaşık on dakika sürüyor ve lua, lua-c ve TLS destekli curl içeren bir OpenWrt router, bir Telegram botu ve bir LLM API anahtarı gerektiriyor. README, anahtar başkalarıyla ağ paylaşan bir cihazda düz metin olarak durduğu için düşük aylık limitli ayrı bir anahtar öneriyor ve varsayılan ayarlarda aylık tek haneli dolar maliyeti tahmin ediyor. Yükleyici iki dosya kopyalar, ortam dosyasını 0600 moduyla yazar ve dakikada bir çalışan bir cron girdisi ekler.

Neden önemli

The Finn, bilinçli olarak minik bir çevreye sahip bir LLM ajanının çalışan bir gösterimi. Her şey cihaz üzerinde çalışıyor, yani altyapının geri yanıyor olsa bile çalışmaya devam ediyor — yazarın sözüne göre asıl hedef de buydu. Ofis donanımındaki bir Gibson yapıtı olma yeniliğinin ötesinde, ajan tasarımı için yeniden kullanılabilir bir örüntü çiziyor: kayan baz çizgileri üzerinde genel anomali tespiti, en gürültülü sensörün baskın olmaması için açık rasyonlama ve yalnızca bir ses olarak kullanılan, hiçbir şey söylememe seçeneğiyle bir model. Araçlar tutan ve uzun bellekleri olan asistanlarla dolu bir alanda, kendi kutusunun gözlemleyebildiğiyle sınırlı bir ajan yararlı bir karşı-örnek.