Anthropic, açık kaynak projeler için ücretsiz yapay zeka güvenlik açığı taramaları başlattı

Anthropic, açık kaynak projelere ücretsiz yapay zeka güvenlik taramaları açtı

Anthropic, şirketin en yetenekli yapay zeka modellerini kullanarak açık kaynak koddaki güvenlik açıklarını arayan ücretsiz, isteğe bağlı bir hizmet olan OSS Scanner'ı başlattı. Lansmanı 8 Ekim'de duyuran The Verge'un haberine göre, katılan projeler Anthropic'in en güçlü modellerinden — Claude Mythos dahil — ücretsiz olarak düzenli güvenlik taramaları alacak.

Bu teklif gerçek bir boşluğu hedefliyor. Birçok açık kaynak proje, güvenlik denetimi için bütçesi olmayan gönüllüler veya küçük ekipler tarafından sürdürülüyor ve büyük bir yapay zeka laboratuvarından gelen otomatik tarama, en azından bir tür sürekli inceleme engelini düşürüyor. Anthropic, hedefi açık kaynak projelere mümkün olan en güçlü savunma avantajını vermek olarak tanımlıyor.

Her rapor, araya insan girmeden gönderiliyor

Hizmetin belirleyici sınırlaması, Anthropic'ın açıkça belirttiği bir şey: tüm çıktısı tamamen model tarafından üretiliyor ve bulgular Maintainer'lara ulaşmadan önce hiçbir insan incelemesi ya da önceliklendirilmesi yok. The Verge'un aktardığına göre Anthropic, hızlı ve sık taramayı tam da bunun mümkün kıldığını savunuyor — ancak şirket bazı raporların yanlış ya da geçersiz çıkabileceğini de kabul ediyor.

Pratikte bu, doğrulama işini doğrudan Maintainer'ların üzerine yıkıyor. Normalde bir insan analistin doğrulayacağı, önceliklendireceği ve bağlamına yerleştireceği bir güvenlik açığı raporu, bunun yerine ham model çıktısı olarak geliyor ve projenin bunun gerçek bir kusur mu, bir yinelenen kayıt mı yoksa yanlış pozitif mi olduğuna karar vermesi gerekiyor. Kaynakları bol olan projeler için bu önceliklendirme rutin olabilir; tek başına çalışan bir gönüllü Maintainer için ise yararlı bir uyarı ile zaten uzun olan yığının yeni bir kalemı arasındaki fark olabilir.

Yapay zeka ile hata avı zaten tartışmalı bir uygulama

OSS Scanner, yapay zeka tarafından üretilen güvenlik raporlarına ilişkin süregelen bir tartışmanın ortasında geliyor. Bir yanda The Verge, yapay zeka araçlarının yakın zamanda Mayıs ayında neredeyse her Linux dağıtımını etkileyen "Copy Fail" adlı hata dahil olmak üzere açık kaynak yazılımda önemli kusurlar ortaya çıkarmaya yardımcı olduğunu belirtiyor. Diğer yanda bazı Maintainer'lar bunalmış durumda: The Verge, Linux'un yaratıcısı Linus Torvalds gibi isimlerin, hatta Google'ın bile elle kontrol gerektiren yapay zeka üretimi hata raporlarındaki artışı karşılamakta zorlandığına dikkat çekiyor.

Bu bağlam, yeni hizmet için iki yönlü işliyor. Anthropic'ın modelleri yeterince hassassaysa ve bulguların çoğu doğrulanırsa, ücretsiz periyodik tarama küçük projeler için anlamlı bir savunma yükseltmesi olabilir. Yanlış pozitif oranı yüksekse, OSS Scanner, son aylarda Maintainer'ları bunaltan tam da bu önceliklendirme yüküne eklenir — hem de gürültüye büyük bir laboratuvarın adını iliştirerek.

Neden önemli

Açık kaynak kod, yazılım ekosisteminin büyük bölümünün temelini oluşturuyor ve güvenliği, büyük ölçüde bunun için en az zamanı ve parası olan Maintainer'lara bağlı. Sınır tanımlayan bir laboratuvarın ücretsiz, sürekli ve yapay zeka destekli tarama hizmeti, bu engelde gerçek bir indirim ve yapay zeka sağlayıcılarının en güçlü modellerini chat arayüzlerinin ötesinde nerede gördüklerinin bir işareti.

Ancak insan incelemesi olmayan tasarım, hizmetin değerinin fiyatıyla değil doğruluğuyla belirleneceği anlamına geliyor. Anthropic, model tarafından üretilen raporların artık net bir fayda sağlayacak kadar güvenilir olduğuna bahse giriyor; aylardır düşük kaliteli yapay zeka hata raporları arasında boğulan Maintainer'lar ise katılmadan önce bu hassasiyetin kanıtını görmek isteyebilir.