StemDeck, DAW tarzı mixer ile yerel olarak çalışan ücretsiz ve açık kaynaklı bir stem ayırıcı

StemDeck ne yapıyor

StemDeck, sesi ayrı stemlere — vokal, davul, bas, gitar, piyano ve kalan her şeyi kapsayan bir "diğer" kanalı — ayıran, tamamen kullanıcının kendi donanımında çalışan bir yapay zekâ modeli kullanan yeni bir ücretsiz ve açık kaynaklı masaüstü uygulaması. Proje, GitHub deposuna bağlantıyla Hacker News ana sayfasında ilgi gördü. Projenin README'sine göre MP3, WAV, FLAC, OGG/Opus, MP4 veya M4A dosyalarını sürükleyip bırakabilir ya da bir YouTube bağlantısı yapıştırabilirsiniz; uygulama sesi altı steme kadar ayırıyor. Çalma, dijital ses iş istasyonunu örnek alan çok kanallı bir mixerde gerçekleşiyor: stemler susturulabiliyor, solo yapılabililiyor ve seviye dengelenebiliyor; dalga formu görünümü yakınlaştırma ve bir bölge üzerinde döngüyü destekliyor ve tek tek stemler ya da özel bir karışım dışa aktarılabiliyor. Proje kendisini Moises ve LALAL.AI gibi bulut hizmetlerine yerel ve ücretsiz bir alternatif olarak konumlandırıyor. Kayıt olmayı gerektirmiyor, kullanım kotası getirmiyor ve sesi asla yüklemiyor — hiçbir veri makineden çıkmıyor. İnternet erişimi yalnızca ilk model indirmesi için gerekiyor (yaklaşık 170 MB, sonrasında önbelleğe alınıyor) ve işlemeye hakkınız olan içerik için bir kolaylık olarak sunulan YouTube'dan ses çekme için gerekli.

Mixer ve analiz özellikleri

Temel ayırmanın ötesinde uygulama, alt küme çıkarmayı da destekliyor: stem çiplerine tıklayarak hangi stemleri tutacağınızı seçiyorsunuz ve bir alt küme seçtiğinizde, yedinci kulvar otomatik olarak tamamını — seçilen stemler çıkarılmış tam şarkıyı — A/B karşılaştırması için tutuyor. Yalnızca seçilen stemlerin toplam karışımı tek bir WAV olarak dışa aktarılabiliyor. Her stem için bir ses kademesi, susturma, solo ve izleme seçeneği bulunuyor; canlı VU ölçerleri kazanç sonrası RMS ve tepe tutma değerlerini gösteriyor. Uygulama ayrıca şarkıları analiz ediyor: librosa'nın beat tracker'ı ile tempo, Albrecht–Shanahan profilleriyle güven tahminleriyle tonalite ve gam, ve ITU-R BS.1770'e göre entegre LUFS olarak yükseklik ile dBFS cinsinden örnek tepe değeri. İşler hattın ortasında iptal edilebiliyor ve kısmi dosyalar temizleniyor; bir kütüphane paneli parçaları klasöre göre sürükle-bırak, arama ve çöp kutusuyla düzenliyor.

Nasıl geliştirildi

Ayırma motoru, Meta AI'nın açık kaynaklı altı stemli sinir ağı olan Demucs htdemucs_6s; NVIDIA GPU'larda CUDA, Apple Silicon'da MPS ve yedek olarak CPU arasında otomatik cihaz seçimi yapılıyor. Backend, uv ile yönetilen Python 3.12; FastAPI üzerinden REST ve Server-Sent Events sunuyor; masaüstü kabukları ise Tauri v2 ile geliştirildi — macOS'ta WKWebView, Windows'ta WebView2 kullanan Rust. YouTube'dan çekme yt-dlp üzerinden yürüyor, dönüştürme ve karıştırma FFmpeg kullanıyor ve isteğe bağlı bir ana/arka vokal ayrımı, Ultimate Vocal Remover projesinin UVR-MDX-NET Karaoke 2 modelini kullanıyor. Hazır yükleyiciler macOS'u kapsıyor: M1 ve sonrasında MPS hızlandırması kullanan bir Apple Silicon sürümü ile yalnızca CPU'lu bir Intel sürümü; Windows tarafında ise yaklaşık 700 MB'lık yalnızca CPU'lu bir paket ya da 1,6 GB'lık NVIDIA CUDA sürümü sunuluyor. İlk açılışta yaklaşık 500 MB'lık paket halinde bir Python runtime ile FFmpeg ve model indiriliyor; sonraki açılışlar kurulumu atlıyor.

Açıkça ifade edilen ödünleşimler

Alışılmadık bir şekilde README, ticari rakiplere karşı dürüst bir karşılaştırma tablosu içeriyor ve birkaç noktayı kabul ediyor. Bulut hizmetleri genellikle daha yüksek kaliteli özel modeller sunuyor, donanımınızdan bağımsız olarak hızlı çalışıyor, plana bağlı olarak on steme kadar destekliyor ve akor algılama, şarkı sözleri ve mobil uygulamalar gibi ekstralar ekliyor. StemDeck aynı anda tek işi işliyor, toplu işlem modu yok, perde kaydırma gibi özellikler eksik ve arayüzü üretim kalitesinde cilalı değil, hobi düzeyinde olarak tanımlanıyor. Konumlandırma bilinçli olarak daha dar: pratik, transkripsiyon ve remix için özel, ücretsiz stem çıkarma. Proje ayrıca indirilen içeriği saklamadığını, önbelleğe almadığını ve yeniden dağıtmadığını, para, sponsorluk veya fon kabul etmediğini belirtiyor.

Neden önemli

Stem ayırma büyük ölçüde abonelikli bulut hizmetlerinde toplandı; bu da tasarım gereği kayıtların üçüncü taraf sunuculara gönderilmesi anlamına geliyor. StemDeck, kanıtlanmış bir açık modeli gerçek bir mixerle kullanımı kolay bir masaüstü uygulamasında birleştiriyor — sıfır maliyetle ve hiçbir veri makineden çıkmadan. Parçalarını çalışan müzisyenler, transkriptörler ve yüklemek istemedikleri seslerle çalışan herkes için faydalı. Ayrıca daha geniş bir değişimi de gözler önüne seriyor: yetenekli yapay zekâ ses modelleri artık, iyi tasarlanmış bir sarmalayıcının ham kalitede gerilese bile kolaylık ve gizlilikte rekabet edebileceği kadar açık. Apple Silicon veya NVIDIA GPU'lu yapımcılar için, kurulu tutmaya değer pratik ve taahhüt gerektirmeyen bir araç.