deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

df-script, TypeScript'e 43kB'lık, bağımlılığı olmayan Polars tarzı bir DataFrame motoru getiriyor

df-script adlı yeni bir MIT lisanslı kütüphane, TypeScript ve JavaScript için 300'den fazla Polars esinli DataFrame operasyonunu; join'ler, window fonksiyonları ve yerleşik CSV ayrıştırma dahil, 43kB'lık sıfır bağımlılıklı bir paket olarak sunuyor.

df-script, TypeScript'e 43kB'lık, bağımlılığı olmayan Polars tarzı bir DataFrame motoru getiriyor

Trent Morris adıyla bilinen bir geliştirici, ağır bir analitik yığınını kurmanın söz konusu olmadığı ortamlara Polars tarzı, ifade tabanlı veri manipülasyonunu getirmeyi hedefleyen, JavaScript ve TypeScript için açık kaynaklı bir DataFrame motoru olan df-script'i yayınladı. dev.to'daki duyuruya göre kütüphane 43kB ağırlığında, sıfır bağımlılıkla geliyor ve group-by toplulaları, join'ler, pencere istatistikleri, dizi ayrıştırma ve zamansal dönüşümleri kapsayan 300'den fazla bildirimsel operasyon sunuyor.

Vaat: arka uç olmadan analitik

dev.to gönderisi tanıdık bir sorunu ele alıyor: önemsiz olmayan veri dönüşümüne ihtiyaç duyan uygulamalar, çoğu zaman bu operasyonları çalıştırmak için salt özel bir arka uç servisi ayağa kaldırıyor ve bu yolda dağıtım hatları, ağ gecikmesi, serileştirme yükü ve barındırma maliyetleriyle boğuşuyor. Alternatif, yani istemcide .map(), .filter() ve .reduce() zincirlemek, veri setini tekrar tekrar dolaşıyor ve belleği ara nesnelerle dolduruyor; yazar buna göre bu durum performansı düşürüyor ve arayüzü dondurabiliyor.

df-script'in yanıtı, işi yerel olarak çalıştıran sütun odaklı bir motor. Yüksek seviyeli dizi yineleyicilerine bel bağlamak yerine kütüphane, bitişik kolon tabanlı döngüler üzerine kurulu; duyuruya göre bu, ara nesne tahsislerini ve dolayısıyla çöp toplayıcı baskısını ciddi biçimde azaltıyor. Yazar ayrıca kütüphanedeki her fonksiyonun, uç durumları da kapsayan birebir özel test paketleriyle desteklendiğini belirtiyor.

Polars'ı model alan bir expression API

API, Polars'tan tanıdık bildirimsel ifade tarzını izliyor. Sütunlara $df.col() üzerinden başvuruluyor, composable metot zincirleriyle dönüştürülüyor ve groupBy().agg(), withColumns() ve join() gibi operasyonlarda birleştiriliyor. Duyuru, toplamlar, yuvarlanmış ortalamalar, datetime çıkarma gibi birçok toplamanın birlikte hesaplanıp sıralandığı çok sütunlu gruplamaları gösteriyor; tam TypeScript tip çıkarımı çıktıya kadar taşınıyor.

Veri alma kısmı yerleşik: kütüphane CSV, JSON ve NDJSON'ı doğrudan kolon tabanlı deposuna ayrıştırıyor; böylece ham metin akışları üçüncü taraf ayrıştırıcı paketler kurulmadan yüklenebiliyor.

Pencereler, iç içe diziler ve join'ler

Pencere tabanlı analitik, .over() değiştiricisiyle birinci sınıf destek görüyor. Kümülatif toplamlar, bölüm başına satır numaraları, hareketli ortalamalar ve üstel ağırlıklı hareketli ortalamalar; grupları elle bölüp, toplayıp yeniden birleştirmeden hesaplanabiliyor. İç içe diziler, liste tipindeki sütunlar üzerinde filtreleme, ortalama alma veya başka işlemler yapan .arr.* ifadeleriyle ele alınıyor.

İlişkisel tarafta df-script; sol, inner, outer, semi, anti ve asof join'leri destekliyor ve sütun adları çakıştığında otomatik sonekleme yapıyor. Türetilmiş kategorik sütunları tek bir ifadede kurmak için $df.when(...).then(...).otherwise(...) biçiminde bir koşullu yardımcı da sağlanıyor.

Erişilebilirlik

df-script MIT lisanslı ve npm'de df-script adıyla kurulabiliyor; kaynak kodu GitHub'da trentamorris hesabı altında yer alıyor. Proje, barındırılan bir dokümantasyonun yanı sıra etkileşimli bir playground da yayınlıyor — özellikle LLM agent'lara yönelik açık bir şekilde tam düz metin dokümantasyon dökümü de buna dahil; yeni kütüphanelerin giderek sadece insanlar için değil, makineler tarafından da okunabilir olması beklentisinin küçük bir işareti.

Neden önemli

JavaScript ekosistemindeki DataFrame araçları uzun süredir Python'ın Pandas'ının ve Polars gibi Rust tabanlı motorların gerisinde kaldı ve bu boşluk, veri seti modern bir istemci CPU'su için önemsiz olsa bile ağır veri işlerini sunucu tarafına itiyor. Tarayıcıda veya Node üzerinde çalışan kompakt, bağımlılıksız bir motor, dönüşüm servisini tamamen ortadan kaldırarak dashboard'ların, iç veri uygulamalarının ve edge dağıtımlarının mimarisini basitleştirebilir.

İtiraz edilecek noktalar da var. Bu, kendi yazarı tarafından duyurulan genç bir proje ve performans iddiaları bağımsız kıyaslamalardan değil duyurudan geliyor; dolayısıyla büyük veri setlerindeki gerçek dünya verimi hâlâ açık bir soru. Yine de bu örüntü izlemeye değer: hesaplamayı verinin zaten bulunduğu yere taşımak, uygulama tasarımındaki en kalıcı eğilimlerden biri ve df-script, bunu JavaScript geliştiricileri için pratik kılan inandırıcı bir girişim.

  • #javascript
  • #typescript
  • #dataframe
  • #open-source
  • #data-engineering

İlgili yazılar