deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Sevkiyata hazır iPhone transkripsiyon uygulamasından cold start ve bellek sorunları nedeniyle on-device Whisper çıkarıldı

Bir geliştirici, WhisperKit'in neden yayınlanan bir iOS transkripsiyon uygulamasından kaldırıldığını anlatıyor: 205 saniyeye varan cold-start derlemeleri, 799 MB bellek zirveleri ve 490 MB'lık model paketi onu Apple'ın SpeechTranscriber'ına itti.

Sevkiyata hazır iPhone transkripsiyon uygulamasından cold start ve bellek sorunları nedeniyle on-device Whisper çıkarıldı

App Store'daki Koedori sürümü — kayıtları tamamen cihaz üzerinde metne dönüştüren bir iPhone uygulaması — hiç Whisper içermiyor. dev.to'da yayınlanan firsthand bir anlatıda, uygulamanın W Lab'daki geliştiricisi erken sürümlerin Whisper'ı WhisperKit üzerinden çalıştırdığını, sevkiyata çıkan sürümün ise Apple'ın SpeechAnalyzer çerçevesini ve onun SpeechTranscriber modülünü kullandığını, değişimi zorunlu kılan nedenleri de tek tek açıklıyor.

Whisper'ı elendiren kısıtlar

Yazıya göre Koedori üç taahhüt üzerine kurulu: transkripsiyon ücretsizdir ve hesap gerektirmez, ses asla telefonu terk etmez ve kaç kez çalıştırılırsa çalıştırılsın yeniden transkripsiyon hiçbir maliyete yol açmaz. Gizlilik garantisi mimariseldir, bir ayar düğmesi değil: ses yükleyen bir kod yolu ve uygulamanın kendi sunucusu olmadığından tanımanın yerelde ve ucuz şekilde gerçekleşmesi gerekiyor. Whisper bu kısıtları ilke olarak karşılıyordu; sürtünme ise etrafındaki donanımdan geldi.

Işıkları söndüren ölçümler

WhisperKit, bir modeli Apple'ın Neural Engine'i için ilk yüklemede derliyor. Geliştiricinin iPhone 14'ünde, kurulumdan sonra large-v3 turbo'nun ilk yüklemesi her seferinde 197 ila 205 saniye sürdü; aynı kurulum içinde yeniden yükleme 4 saniye aldı ve bunun ardından 10 saniyelik bir kayıt 0.9 saniyede transkribe edildi. Her Xcode çalışması taze bir kurulum sayıldığından geliştirme süreci her build'de bu beklemeyle boğuştu; derleme ortasında başlayan bir geçiş dakikalarca hiçbir şey göstermedi ve ekranda görünür bir hazırlık adımı zorunlu hale geldi.

Bellek de benzer bir sorun oldu. WhisperKit'in prewarm ayarı kapalıyken yapılan bir çalışmada uygulama derleyicinin yardımcısına ulaşamadı, CPU'ya geri düştü ve 799 MB zirve gördü; prewarm etkinleştirilince aynı yük 193 MB'ta pik yaptı. Daha eski cihazlar daha da kötüydü: bazı eski çiplerde encoder CPU üzerinde sessizlik döndürdü ve bir test cihazı Whisper small'ın optimizasyonunu hiç bitiremedi. Uygulama ayrıca modelin kendisini de taşıyacaktı: Whisper small paket içinde yaklaşık 490 MB, diğer varyantlar içinse indirme kodu gerekiyordu.

Apple'ın çerçevesi ne verdi, ne aldı

SpeechTranscriber ödünleşimler getirdi. Yeni olduğu için eski iOS sürümleri Whisper üzerinde fallback olarak tutulmak yerine bırakıldı; yaklaşık on dili kapsıyor — İngilizce, Japonca, Çince, Korece, İspanyolca, Fransızca, Almanca, İtalyanca ve Portekizce — buna karşılık Whisper yüz dili destekliyor. Karşılığında uygulama paketli modelden, model seçiciden, indirme mantığından ve derleme beklemeden kurtuldu; iOS, AssetInventory üzerinden bir dilin modelini yalnızca bir kez indiriyor.

Uygulamadan notlar

Her not, bitmiş kayıt üzerinden tek bir geçişle oluşturuluyor. Geliştiricinin yazdığına göre en çok işe yarayan seçenek .audioTimeRange: bir sonuç kabaca 20 saniyelik sesi kapsıyor, dokunmak için fazla kaba; ama içindeki her attributed run kendi zaman aralığını taşıyor, Japoncada tek bir karaktere kadar inebildiğinden kesilmiş bir satır gerçek bir başlangıç zamanı koruyor ve herhangi bir satıra dokunmak sesi o andan itibaren çalıyor. analyzeSequence API'si dosyanın kendisini de dönüştürüyor ve ses gelmese bile analyzer'ın açıkça bitirilmesi gerekiyor, yoksa sonuç akışı hiç sonlanmıyor.

Bir API tuzağını belirtmek gerek: AssetInventory'nin durum kontrolü, rezerve edilene kadar Mac'e kurulmuş Japonca modelini yalnızca destekleniyor olarak bildirdi; rezervasyon ise en fazla beş locale ile sınırlı bir yan etki, dolayısıyla hazır olma sondası için pek uygun değil. Uygulama bunun yerine SpeechTranscriber'ın kurulu locale'lerine bakıp BCP-47 tanımlayıcılarını karşılaştırıyor. Kayıt durdurulduğunda model eksikse ses yine kaydediliyor, transkribe bekliyor olarak işaretleniyor ve uygulama her ön plana döndüğünde yeniden deneniyor.

Canlı metin bir kayıt değil, önizleme

Kayıt sırası modunda mikrofon tamponları dönüştürülüp dosya yazıcıının yanı sıra ikinci bir analyzer'a besleniyor. Bir Mac'te yalnızca volatile sonuçlar konuşmanın 11.7 saniye gerisinde kaldı; fast sonuçlarının eklenmesi bunu bir saniyenin altına indirdi. Ama akan metin dosya geçişiyle hiçbir zaman birebir örtüşmedi: 10 dakika boyunca dakikada kabaca 1.5 noktada, karakterlerin yaklaşık yüzde 0.7'sinde, her çalıştırmada aynı yerlerde farklar çıktı ve iki taraf da daha doğru değildi. Bu yüzden canlı kutu yalnızca görüntüleme amaçlı ve kaydedilen not her zaman dosya geçişinden geliyor; o geçiş hiçbir zaman hız odaklı seçeneği etkinleştirmiyor.

Düzeltmeler de aynı şekilde, bir metin katmanı olarak çalışıyor. Notlar motorun çıktısını olduğu gibi, kullanıcının sözlüğünün anlık görüntüsüyle birlikte saklıyor; değişimler görüntüleme, arama ve dışa aktarma sırasında uygulanıyor. Geriye dönük düzeltmelerin anında olması ve sesi silinmiş notlarda bile çalışmasının nedeni bu. API'nin contextualStrings ipucu geliştiricinin testlerinde etkisiz göründü: kayıtlı bir ekonomi terimi, transkripte de alternatiflerde de yine yanlış çıktı.

Neden önemli

Bu, kenarda paketli bir model ile platform API'si arasında seçim yapan herkes için sağlam bir veri noktası. Whisper doğruluk veya kararlı hız yüzünden çıkarılmadı; ısındığında gerçek zamanı geçiyordu. Cold-start derlemesi, bellek dalgalanmaları, çipten çipe tutarsızlık ve yarım gigabaytlık yük yüzünden çıkarıldı — tipik bir benchmark'ın ortaya çıkarmadığı şeyler bunlar. Çerçeve değişimi, dil genişliğini ve OS erişimini fiilen sıfır entegrasyon ağırlığıyla takas etti. Daha geniş edge-AI dersi şu: dağıtım kararının en kolay parçası çoğu zaman modelin kendisidir.

  • #whisper
  • #ios
  • #speech-recognition
  • #on-device-ai
  • #apple

İlgili yazılar