'Sansürsüz' yerel LLM etiketinin arkasında üç farklı teknik var, dev.to rehberi açıklıyor

Etiket üç farklı şeyi kapsıyor

dev.to'daki bir yazı, "sansürsüz"ün yerel dil modelleri arasındaki gerçek teknik farkları gizleyen bir şemsiye terim hâline geldiğini savunuyor. Yazara göre etiketin arkasında en az üç farklı yöntem var ve her biri belirgin biçimde farklı güçlü ve zayıf yönleri olan modeller üretiyor — yazar, bu ayrımın bir model seçerken bir lider tablosundan daha faydalı olduğunu düşünüyor.

İlk kategori, örnek olarak Gemma, Qwen ve Mistral'ın verildiği ana akım laboratuvar sürümleri. Bu ağırlıklar hâlâ guardrail içeriyor, ama yazarın argümanı bağlamla ilgili: aynı model, kullanıcının yazdığı bir system prompt altında yerel olarak çalıştığında, moderasyon, politika uygulaması ve hukuki incelemeyle sarılı barındırılan bir ürünün arkasında olduğundan çok farklı davranıyor. Yazıya göre çoğu insan için doğru başlangıç noktası bu ve en güçlü modeller de burada bulunuyor.

İkinci kategori, Dolphin ve Hermes gibi fine-tune'lar; burada bir base model, reddetmek yerine isteklere uyan örneklerle yeniden eğitiliyor. İyi yapılmış bir fine-tune tutarlı kalır ve altta yatan modelin yeteneklerinin çoğunu korur; bu yüzden bunlar kurgu ve roleplay için olağan cevaptır — base modelin ders verme eğiliminin işi yavaşlattığı görevler.

Üçüncü kategori, yazarın teknik açıdan ilginç durum olarak öne çıkardığı abliterated modeller. Araştırmalar, bu modellerde reddetme davranışının dağınık olmadığını — aktivasyon uzayındaki belirli bir yönde hizalandığını ve bu yönenin dışarı projectionsının yeniden eğitim gerektirmeden neredeyse her isteğe yanıt veren bir model ürettiğini gösterdi.\n

Reddetmeyi kaldırmanın bedeli

Yazının merkezindeki uyarı üçüncü kategoriyi hedefliyor. Abliterated modeller genellikle reasoning benchmark'larında ölçülebilir gerileme yaşar ve alışılmadık prompt'larda öngörülemeyen biçimde davranabilir; çünkü kaldırılan davranış, modelin bel bağlıduğu diğer davranışlarla iç içe geçmiştir.

Bu, yazarın çoğu insanın tersten uyguladığına inandığı bir sıralamaya götürüyor. İzin verici bir ana akım model ve kendinizin yazdığı bir system prompt ile başlayın. Belirli bir görev, aşamayacağınız bir reddetmeyle sürekli karşılaşmanıza neden olduğunda bir fine-tune'a geçin. Abliterated bir modele ancak ilk ikisinin işi neden başaramadığını tam olarak söyleyebildiğinizde uzanın.

Lisans küçük yazıları

Yazı lisanslamayı da komşu bir tuzak olarak işaret ediyor. Gemma, Qwen ve Mistral Apache 2.0 lisanslıyken, Llama ek koşullar içeren kendi topluluk lisansını taşıyor. Tavsiye, indirdiğiniz depoya özgü lisansı kontrol etmeniz — bir özet değil, base modelin lisansı da değil — çünkü yeniden yüklemeler ve quantise edilmiş varyantlar base modelin koşullarını otomatik olarak taşımaz. Yazar ayrıca lisans verenin hâlâ var olup olmadığını doğrulamayı öneriyor: ticari olmayan bir lisans yayınlamış bir şirket feshedildiyse, hangi fiyata olursa olsun ticari koşulları satın alacak kimse kalmamış demektir.

Pratik bir kontrol listesi

Dört kural yazıyı tamamlıyor. Kendi system prompt'unuz altında ana akım bir modelle başlayın. Gerçek bir görev zorlamadıkça listede aşağı inmekten kaçının. Fiilen ne çalıştırdığınızı doğrulayın, çünkü bazı inference stack'leri bellek yetmezse daha küçük bir modeli sessizce takoz olarak koyar ve bunu bildirmez. Ve GGUF ya da safetensors gibi standart biçimlere sadık kalın; kendini sansürsüz yapay zekâ yükleyicisi olarak tanıtan, tanımadığınız bir siteden gelen herhangi bir çalıştırılabilir dosyaya kötü amaçlı yazılım muamelesi yapın.

Neden önemli

Yazı, birçok yerel model kullanıcısının şu anda yalnızca etikete bakarak yaptığı bir kararı yeniden çerçeveliyor. "Sansürsüz" izinliliği sanki bedavaymış gibi pazarlıyor, ama yazı tersini savunuyor: sunulan en izin verici model nadiren en güçlü olanıdır ve açık, insanların güvenli olduğunu düşündüğü durumlarda en büyüktür. Kalite profiline göre — ana akım, fine-tune edilmiş ya da abliterated — değil, bir modelin nasıl etiketlendiğine göre seçmek, yerel bir modelin işe gerçekten uygun olup olmadığını belirleyen şeydir.