· kaynak dev.to (home feed)
Meta'nın Muse Wonder'ı Legora hukuk yapay zekası kıyaslamasında zirvede, kalitede OpenAI'yi geride bıraktı
Meta'nın Muse Wonder modeli, Legora'nın kasım ayı hukuk kıyaslamasında genel kalitede en yüksek puanı alarak dört görev türünde öne çıktı; OpenAI'nin GPT-6.2 modelleri ise vaka başına maliyette lider oldu.

Ne oldu
Meta'nın Muse Wonder modeli, yapay zekanın gerçek hukuki işleri nasıl yönettiğini ölçen aylık bir değerlendirmede genel kalite sırasında zirveye yerleşerek OpenAI'nin rakip modellerinin önünde tamamladı. Sıralama, hukuk bürolarının kullandığı bir hukuk yapay zekası platformu olan Legora'dan geliyor. Fathom News'in aktardığına göre Legora, modellerin ürünü içindeki pratik hukuki görevlerdeki performansını ölçen BAR kıyaslamasının sonuçlarını her ay yayınlıyor.
Muse Wonder, kıyaslamanın izlediği görev kategorilerinden dördünde liderdi: analiz ve yanıt verme, bilgi çıkarma, taslak hazırlama ve düzenleme. X'te yaptığı bir paylaşımda Meta, hukuki işi "yapay zeka için zorlu bir sınav" olarak tanımladı ve sonucu "işletmelerin yardımına ihtiyaç duyduğu karmaşık görev türlerinde güçlü bir performans" diye niteledi.
OpenAI maliyette karşılık veriyor
OpenAI'nin modelleri eli boş dönmedi. GPT-6.2 Astra, karşılaştırma ve inceleme kategorisinde lider oldu ve kasım ortalamasının yüzde 4 üzerinde bir genel kalite sergiledi; vaka başına maliyeti ise ortalamanın yüzde 20 altındaydı. Kardeş model GPT-6.2 Sol ise ortalamanın üzerinde kaliteyi, vaka başına ortalamanın yüzde 78 altındaki bir maliyetle sundu.
Bu ayrım, sonucun en kritik kısmı. Meta kalitede, OpenAI ise fiyat/performansta kazandı. Binlerce sözleşmeyi hızla geçen bir hukuk bürosu, listenin tepesinde olmasa bile, neredeyse aynı doğrulukta ve çok daha düşük bir fiyatla sunan bir modeli makul biçimde tercih edebilir.
Asıl sorun şu: Fathom News'e göre Meta'nın paylaştığı sonuçlarda Muse Wonder'ın vaka başına maliyeti açıklanmadı. Bu da alıcılar için en kritik soruyu cevapsız bırakıyor: Kalite liderliği ne kadar bir prim etmeye değer?
Sıralamalar işe göre değişiyor
Sonuç, önceki puanlamaları da karmaşıklaştırıyor. Fathom News daha önce Muse Wonder'ın genel bir ölçekte 79 puan aldığını, Anthropic'nin Claude'undan iki puan geride kaldığını bildirmişti. Dar kapsamlı ama yüksek riskli hukuki görevlerde kazanmak, en iyi modellerin sıralamasının artık tek bir genel amaçlı puandan çok, modelden fiilen istenen işe büyük ölçüde bağlı olduğunu gösteriyor.
Hukuki iş, hataların gerçek sonuçlar doğurması nedeniyle zorlu bir sınav. Bir modelin uzun belgelerden doğru bilgileri çıkarması, soruları hiçbir şey uydurmadan yanıtlaması, tutarlı metinler taslak etmesi ve bir maddenin anlamını bozmadan metni düzenlemesi gerekiyor. Muse Wonder, kasım sonuçlarında bu dört görev türünün tamamında liderdi.
Meta'nın geniş çaplı Muse yayılımı
Hukuk alanındaki sonuç, Meta'nın model ailesi için yoğun bir dönemin kapanışı oldu. Şirket 6 Kasım'da Muse Wonder ile eğitilmiş özel modelleri Muse ve Meta AI'ya getirdi; bunlar arasında Meta'ya göre bir görev ilerlerken modellerin kullanıcının hedeflerine bağlı kalmasına yardımcı olan Active Memory ve Active Focus adlı özellikler de var.
9 Kasım'da Meta, karmaşık akıl yürütme yürütme ve günlük agent işleri için tasarlanmış, en küçük ve en verimli modeli Muse Ember'ı tanıttı; model, çok büyük miktarda materyali aynı anda görünür tutan 1M token'lık bir bağlam penceresine sahip. Aynı gün Meta, Muse Ember, Muse Wonder ve Muse Spark 1.3'ü kurumsal müşteriler için Google Cloud üzerinde kullanıma açtı.
İzlenecek noktalar
Legora kıyaslamasını her ay yayınlıyor; dolayısıyla aralık rakamları, Muse Wonder'ın kalitede zirvede kalıp kalmadığını ya da OpenAI'nin daha ucuz kalırken farkı kapatıp kapatamadığını gösterecek. Fiyatlandırma açıklaması ise diğer açık konu: Fathom News, hukuk alıcılarının maliyeti en az doğruluk kadar önemseydiğini belirtiyor; kalite liderliğinin sözleşmeye dönüşmesi için fiyatın da mantıklı olması gerekiyor.
Neden önemli
Profesyonel hizmetler, yapay zeka benimsenmesinin sınama alanı haline geliyor ve hukuk, model performansının soyut testler yerine gerçek işler üzerinde görev görev izlendiği ilk alanlardan biri. Bu kıyaslama, rekabetin çoktan parçalandığını gösteriyor: bir sağlayıcı kalitede, bir diğeri birim ekonomisinde önde ve alıcılar tedarik kararlarını bu denge üzerinden verecek. Yapay zeka üreticileri genel sohbet yerine belirli işlerde rekabet etmeye yöneldikçe, Legora gibi sonuçların hangi modelleri hukuk bürolarının ve kurumsal hukuk ekiplerinin 2027'de tercih edeceğini şekillendirmesi muhtemel.
- #meta
- #openai
- #legal-ai
- #benchmarks
- #llm
İlgili yazılar
- Output tokenlar LLM hacminin yüzde 17'isi ama API faturasının yarısı, diye buluyor fiyatlandırma analizi
- LookAtMyQuant quantization derleyicisi, eşit dosya boyutunda Q4_K_M'ye kıyasla 12 kat daha düşük KL iddia ediyor
- Anthropic'un Nasdaq'a çıkışı, önce güvenlik odaklı markasını hissedar baskısı altına sokuyor