deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

Onehouse Lakegres, Hudi ve Iceberg tablolarında Postgres üzerinden doğrudan vektör araması ekliyor

Onehouse'un Lakegres'i artık mevcut Hudi ve Iceberg tablolarında, Postgres endpoint'i üzerinden benzerlik araması çalıştırıyor ve vektör dizinini ayrı bir vektör veritabanı yerine tablonun kendi metadata'sında saklıyor.

Onehouse Lakegres, Hudi ve Iceberg tablolarında Postgres üzerinden doğrudan vektör araması ekliyor

Onehouse ne duyurdu

Onehouse, açık lakehouse tabloları için geliştirdiği sorgu katmanı Lakegres'e vektör araması ekledi. Bu özellik sayesinde ekipler, Postgres wire protocol'ünü konuşan bir endpoint kullanarak Hudi veya Iceberg tablolarında halihazırda depolanan veriler üzerinde benzerlik aramaları yürütebiliyor. Böylece herhangi bir Postgres client'ı veya agent framework'u, aynı endpoint'in halihazırda sunduğu analitik taramaların, indekslenmiş nokta sorgularının ve metin aramasının yanında SQL ile vektör sorguları da gönderebiliyor.

Öne çıkan tasarım tercihi, dizinin nerede yaşadığı. Lakegres, vektörleri ayrı bir vektör veritabanına senkronize etmek yerine vektör dizinini tablonun kendi metadata'sında, veri dosyalarıyla aynı object-storage bucket'ında saklıyor. Onehouse'a göre satır ekleyen, güncelleyen veya silen her commit dizini de güncelliyor; böylece dizin, ayrı bir senkronizasyon işine veya vektörlerin ikinci bir kopyasına gerek kalmadan tabloyla tutarlı kalıyor.\n Bu sürüm, belgeleri, görüntüleri ve videoları ayrıştıran ve embedding'lerini açık tablolara yazan yapılandırılmamış veri işleme konulu Onehouse'un eş zamanlı duyurusunun ardından geliyor. Yeni dizinle agent'lar, bu yapılandırılmamış içerikleri lakehouse'ta halihazırda bulunan iş kayıtlarıyla birlikte sorgulayabiliyor.

Bellek içi dizinler neden göl ölçeğinde çuvallıyor

Günümüzdeki üretim amaçlı vektör aramalarının çoğu, tüm graf ancak belleğe sığdığında iyi performans gösteren bir graf dizini olan HNSW'e dayanıyor. Onehouse, AWS'nin OpenSearch için boyutlandırma formülüne dikkat çekiyor: vektör başına 1,1 × (4 × boyut + 8 × m) bayt RAM. Onehouse'un 247 milyon vektörlük, 1.024 boyutlu ve m=16 olarak ayarlanmış benchmark tablosunda bu, tek bir tablo için yaklaşık 1,15 TB bellek demek; 10 milyar vektörde ise yaklaşık 46 TB.

Göller rutin olarak uygulama veritabanlarından çok daha büyüktür. Onehouse, LinkedIn'in 2021'de Hadoop kümelerinde bir eksabayt veri raporladığını, Uber'in günde 6 trilyon satır yutan 350 petabaytlık gölünü, Pinterest'in 500 petabaytlık Iceberg gölünü ve Netflix'in Iceberg ambarını eksabayt ölçeğinde tanımladığını örnek olarak veriyor. Böyle veri kümelerinin küçük bir kesimini bile embedding'lemek milyarlarca vektör üretiyor. Bu yüzden Onehouse da tıpkı VAST ve turbopuffer gibi bellekte tutulan grafikler yerine depolama tabanlı kümelemeye yöneldi; ayrıca grafik dolaşımı, her adımın küçük bir rastgele okuma olduğu için object storage ile kötü eşleşiyor.

Yerine kümeleme ve quantization

Derleme zamanında k-means gruplaması her vektörü bir centroid'e sabitlenmiş bir kümeye atıyor ve vektörler, o centroid'e göre varsayılanı 4 bit olmak üzere boyut başına 1 ila 8 bitlik RaBitQ quantization ile kodlanıyor. Saklanan kodlar L2, kosinüs ve nokta çarpımı mesafe hesaplarını destekliyor. Kümeler posting segmentlerine bölünüyor ve her biri yaklaşık 512 KB olan posting bloklarına kabaca 1.000 ila 4.000 vektör girdisi paketleniyor; bu da milyarlarca ayrı metadata kaydı oluşturulmasını önlüyor.

Dizin türetilmiş metadata olduğu için, arka plandaki veri dosyalarını yeniden yazmadan vektör sütunu bulunan mevcut bir Hudi veya Iceberg tablosuna eklenebilir, farklı ayarlarla yeniden inşa edilebilir ya da artık gerekmediğinde kaldırılabilir. Mevcut analitik sorgular çalışmaya devam ediyor ve Onehouse, Lakegres bu dosya türlerini halihazırda sorgulayabilse de, yalnızca vektör araması elde etmek için Parquet'ten Lance veya Vortex gibi formatlara geçilmesi gerekmediğini belirtiyor.

Diğer tedarikçiler dizinlerini nereye koyuyor

Onehouse yaklaşımını pazarın geri kalanıyla karşılaştırıyor. Snowflake'in Cortex Search'i bir tablodan senkronize edilen bir servis olarak çalışıyor, dizini Snowflake içinde tutuyor ve Iceberg tablolarında VECTOR sütunlarını desteklemiyor. Databricks'in AI Search'i bir Delta tablosunu bir serving endpoint'ine senkronize ediyor ve dizin tablonun dışında, Databricks'in yönettiği depoda saklanıyor. AWS, vektörleri Iceberg tabanlı S3 Tables'tan ayrı, özel bir S3 Vectors bucket türünde tutuyor. Google BigQuery, IVF ve TreeAH vektör dizinlerini Iceberg yerine standart tablolarla sınırlıyor ve VAST Data, vektör deposunu Hudi veya Iceberg'in dışında kendi Element Store'unda tutuyor. Onehouse'un iddiası şu: Bu tedarikçiler açık tablo formatlarını savunurken arama dizinlerini kapalı formatlarda tutuyor ve müşterileri motor değiştirdiğinde her dizini yeniden inşa etmeye zorluyor.

Neden önemli

Vektör araması uygulama veritabanlarında standart bir yetenek haline geldi, ancak AI agent'larının aramak için en çok ihtiyaç duyduğu veriler; destek kayıtları, loglar, belgeler, ürün katalogları ve yıllara yayılan olay geçmişi gibi; Onehouse'un tahminine göre tipik bir Postgres örneğinden 100 ila 1.000 kat daha büyük göllerde duruyor. Bu veriyi yalnızca aramak için bir veritabanına kopyalamak, onu iki kez depolama bedeli ödemek ve kopyayı senkron tutmak için bir pipeline işletmek anlamına geliyor. Açık ve taşınabilir bir dizini tablonun kendisinin yanında saklamak her iki maliyeti de ortadan kaldırıyor ve tedarikçiye özgü dizin formatlarının yarattığı kilitlenmeden kaçınıyor.

Tasarım açık bir şekilde de geliştiriliyor: Onehouse, Iceberg desteğinin Apache XTable (Incubating) içindeki Hudi tabanlı indeksleme çalışmasına dayandığını, tasarımın gezegen ölçeğindeki tablolar için Uber ve Walmart mühendisleriyle şekillendirildiğini ve Hudi uygulamasının, diğer motorların entegre olabileceği OSS sürümlerinden önce release-candidate testlerinde XTable ile upstream'e taşındığını söylüyor. Benzerlik aramalarını tekrar tekrar büyük ölçekte kullanarak örnek seçip yakın kopyaları temizleyen eğitim verisi hazırlığı ise, arama başına maliyetin gecikme kadar önemli olduğu bir diğer iş yükü.

  • #vector-search
  • #data-lakehouse
  • #apache-hudi
  • #apache-iceberg
  • #postgres