· kaynak dev.to (home feed)
DeepSeek V4, uzman modellerin eğitiminde GRPO'yu koruyor, karma RL yerine on-policy distillation'a geçiyor
DeepSeek'in V4 raporu, denetimli ince ayarın ardından alan uzmanlarını eğitmek için GRPO'yu koruyor; ancak nihai birleşik modeli oluşturmak için önceki karma RL aşamasının yerine on-policy distillation yöntemini getiriyor.

Nisan 2026'da yayınlanan DeepSeek V4 teknik raporu hâlâ Group Relative Policy Optimization (GRPO) kullanıyor — ancak algoritmayı çevreleyen pipeline baştan çizilmiş. Raporu özetleyen bir dev.to yazısına göre V4, alan uzmanlarını denetimli ince ayar (SFT) ve alan_specific GRPO ile eğitiyor, ardından yeteneklerini on-policy distillation yoluyla tek bir birleşik modelde birleştiriyor.
Rapor değişikliğin ölçeği konusunda açık: önceki pipeline'ın karma pekiştirmeli öğrenme (RL) aşaması "tamamen On-Policy Distillation ile değiştirildi." Bu, GRPO'nun emekliye ayrıldığı anlamına gelmiyor. dev.to analizinin vurguladığı gibi, algoritma uzman eğitimi içindeki pekiştirmeli öğrenme yöntemi olmaya devam ediyor; değişen şey genel reçetteki yeri ve ardından gelen süreç.
GRPO nasıl çalışıyor ve ne sabit kalıyor
GRPO, aynı prompt'a bir grup aday yanıt üretir ve her birine bir ödül atar. Tek bir yanıtın avantajı, grubundaki diğer üyelerle karşılaştırılarak hesaplanır; policy, kırpılmış (clipped) bir hedef fonksiyon ve bir referans policy'ye karşı regularisation ile güncellenir. PPO ile karşılaştırıldığında temel basitleştirme yapısaldır: grubun istatistikleri referans değeri (baseline) sağladığı için ayrı bir value critic gerekmez.
Yazıya göre bunların hiçbiri V4'te değişmiyor. Gruba göre karşılaştırma ilkesi uzman RL aşamasının motoru olmaya devam ediyor ve rapor yeni bir GRPO varyantı sunmuyor.
Üç adımda V4 reçetesi
dev.to özeti, yayımlanan pipeline'ı üç aşamaya indirgiyor:
- Ayrı ayrı alanlar için uzman modeller ince ayarla eğit.
- Her uzmana, alan Specific prompt'lar ve ödül sinyalleri kullanarak GRPO uygula.
- Uzmanların davranışını tek bir birleşik modele on-policy olarak distille et.
Başka bir deyişle mimari modüler: RL, ödül sinyallerinin en net olduğu alanlara sınırlanıyor ve birleştirme işi başka bir pekiştirmeli öğrenme turu yerine distillation ile hallediliyor.
V3.2'de farklı olan neydi
Önceki sürüm DeepSeek-V3.2 daha monolitik bir yaklaşım benimsiyordu: akıl yürütme, agent ve insan hizalaması görevlerini kapsayan tek bir karma RL aşaması, kural tabanlı ödüller ve üretken ödül modelleriyle destekleniyordu. V4 bu aşamayı parçalara ayırıyor. Uzmanlar alan bazında SFT ve GRPO ile uyarlanıyor ve nihai birleşik model karma aşama üzerinden eğitilmek yerine bu uzmanlardan distille ediliyor.
Yazı burada faydalı bir ayrım yapıyor: bir eğitim pipeline'ındaki her değişiklik, içindeki algoritmanın değişmesi anlamına gelmez. V4'ü, GRPO'nun kademeli ve modüler bir pipeline'a yerleştirilmesi olarak tanımlamak, yeni bir optimizasyon algoritmasının geldiğini iddia etmekten rapora daha sadıktır.
Neden önemli
Büyük modelleri son-türden eğiten (post-training) herkes için V4, önde bir laboratuvarın RL kullanımını terk etmek yerine yeniden yapılandırdığının kanıtı. Eğitimi alan bazlı uzmanlara bölmek, ekiplerin her yeteneğe özel prompt'lar ve ödül fonksiyonları bağlamasını sağlıyor; bu da genellikle akıl yürütme, agent davranışı ve hizalamayı aynı anda dengeleyen tek bir karma aşamayı debug etmekten daha kolay. Nihai birleştirmeyi on-policy distillation'a devretmek, birbirinden çok farklı alanlar arasında adil şekilde karar veren tek bir ödül sinyali tasarlama zorluğunu da ortadan kaldırıyor.
Temel rapor — arXiv'deki DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence — aynı zamanda bir terminoloji kontrol noktası işlevi görüyor. DeepSeek'in eğitimiyle ilgili tartışmaların çoğunun başlığını GRPO çekiyor; ancak V4'ün gerçek hikâyesi çevresindeki pipeline: SFT, alan_specific GRPO ve distillation'ın birlikte kademelendirilmesi. Eğitim reçetelerini karşılaştıran okurlar ikisini birbirinden ayrı tutmalı, çünkü pipeline seviyesindeki bir değişiklik, altındaki optimizasyon algoritması hakkında hiçbir şey söylemez.
- #deepseek
- #grpo
- #reinforcement-learning
- #llm-training
- #distillation