SEV-SNP ve TDX CPU gizliliğini ucuzlatıyor; H100 confidential modunda yüzde 20'ye varan throughput kaybı var

Bir dev.to analizi, confidential computing'i üretime taşıması en olası üç donanım teknolojisinin pratik performans maliyetini karıştırıyor — AMD SEV-SNP, Intel TDX ve Nvidia'nın H100 confidential computing modu — ve yükün çok dengesiz dağıldığını ortaya koyuyor: CPU iş yükleri için neredeyse bedava, GPU'ya dokunan ya da büyük hacimli veri hareket ettiren her şey için pahalı.

Yazıya göre üretime geçiş hevesten çok ticari zorunluluktan kaynaklanıyor: verisini, yürütülmesini doğrulayamadığı bir modele göndermeyi reddeden müşteriler. Bellek şifrelemesi artı attestation, bu müşterilerin operatörün iyi niyetine değil matematiğe güvenmesini sağlıyor. Catch şurada: her garanti throughput'a mal oluyor ve maliyet stack boyunca dengesiz dağılıyor.

CPU gizliliği neredeyse bedava

Analize göre SEV-SNP ve TDX her ikisi de guest belleğini, hypervisor'ın hiç elinde tutmadığı bir anahtarla şifreliyor; bunu bellek denetleyicisine gömülü donanım AES motorlarıyla yapıyor. Yayımlanmış benchmark'lara dayanarak yazar, CPU tarafındaki yükü bellek yoğun iş yükleri için düşük tek haneli, hesaplama yoğun olanlar içinse sıfıra yakın veriyor. Bir veritabanı, bir API sunucusu veya bir batch işi için gizlilik vergisi ihmal edilebilir düzeyde ve operasyonel yük bir boot parametresi artı bir attestation akışından ibaret.

Maliyetin toplandığı yerler

Yazı üç baskı noktası tespit ediyor.

Attestation. Her confidential VM, guest'in ürettiği bir anahtara bağlı, bir taraflı doğrulayanın teyit edeceği bir rapor üretmek zorunda. Gidiş-dönüş — anahtar üretimi, rapor talebi, satıcının kök sertifikasına karşı imza zinciri kontroleri, token dönüşü, secret unwrap — bir ila üç saniyelik başlangıç gecikmesi ekliyor; bu autoscaling ve çok sayıda kısa ömürlü worker oluşturan servisler için önemli.

I/O. Confidential VM'ler hypervisor'ın aygıt emülasyonuna güvenemez, bu yüzden virtio trafiği paylaşımlı bellek bölgeleri, bounce buffer ve şifreli bir kanal gerektiriyor. Her ağ paketi ve disk bloğu fazladan bir kopya alıyor ve yazı, çok sayıda byte hareket ettiren iş yükleri için iki haneli yüzde kayıp tahmin ediyor.

GPU'lar. En pahalı kademe. H100 confidential modu, host ile aygıt arasındaki PCIe bağlantısını şifreliyor ve her transfere bir bounce buffer ekliyor. Yazar, early access rakamlarına dayanarak büyük model çıkarımı için kabaca yüzde 10-20 throughput kaybı bildiriyor; transferlerin her adımın daha büyük payını oluşturduğu küçük batch'li iş yüklerinde durum daha kötü.

Benimsemeyi belirleyen prim

Yazar, throughput kaybını confidential SKU fiyatlarıyla birleştirerek yalnızca CPU'lu confidential VM'ler için yaklaşık yüzde 4-5, H100 confidential modu için yaklaşık yüzde 22 ve liste fiyatı primi de taşıyan confidential GPU SKU'ları için yüzde 38'e varan etkin bir maliyet primi modelliyor.

Öngörülen pazar bölünmesi keskin. Regüle iş yükleri — sağlık kayıtları, finansal pozisyonlar, denetim maddesi içeren bir veri işleme sözleşmesine tabi her şey — primi içine sindirecek çünkü alternatif, iş yükünü bulutta hiç çalıştırmamak. Diğer herkes sindirmeyecek çünkü garanti kullanıcıları için görünmez. Yazarın hükmü şu: teknoloji performans için değil uyum gerekçeleriyle satın alınıyor ve sözleşmesel bir zorunluluk olmadan benimseyen ekipler, hiçbir müşterinin gerçekten talep etmediği bir garanti için yüzde 20'den fazla ödüyor.

Faturayı yumuşatan mimariler

Üç örüntü öneriliyor. İş yükünü bölün: orkestrasyon, tokenizasyon ve iş mantığını, verginin birkaç yüzde olduğu confidential VM içinde tutun ve tensör işlemlerini confidential GPU'ya gönderin. GPU'da agresif batch yapın: yük, kernel başlatma başına transferlerden kaynaklandığından batch size 1'deki confidential H100 kötü bir anlaşma diye tanımlanıyor, buna karşılık batch 64'te maliyet, batch 32'deki düz metin H100'in token başına maliyetine yaklaşıyor. Attestation sonuçlarını cache'leyin: instance başına bir kez attest edin, token'ı bir time-to-live ile tutun ve süresi dolana kadar instance'a güvenilir muamelesi yapın.

Taahhüt öncesi ölçülmesi gerekenler

Yazı, büyük batch'li çıkarımı ve bellek yoğun mikrobenchmark'ları yansıtan satıcı rakamlarına güvenmek yerine kendi iş yükünüzü benchmark'lamanızı öneriyor. Üç ölçüm önemli: üretim batch boyutunda saniye başına token, şifreli transfer dahil p99 gecikme ve autoscaler'ın saatte kaç kez taze attestation tetikleyeceği. Son rakam, yazarın ekipleri şaşırttığını söylediği ölçüm çünkü scale-to-zero tasarımı günde yüzlerce kez attest edebilir.

Neden önemli

Confidential computing uyum sunum slaytlarından üretim fiyatlandırmasına taşınıyor ve bu analiz maliyetlerin nerede durduğuna dair somut bir harita sunuyor. Yapısal ders genellenebilir: bellek şifrelemesi gibi geniş, paralel işlemler olarak çalışan donanım güvenlik özellikleri ucuzdur, buna karşılık şifreli PCIe gibi seri bir bağlantının kritik yolunda duran özellikler değildir. Yaklaşık yüzde 22'lik GPU priminin satılan malın maliyeti mi yoksa boşa gitmiş sigorta mı olduğu tamamen bir müşterinin sözleşmesinin doğrulanabilir yürütme talep edip etmediğine bağlı — dolayısıyla vergiyi ödemeden önce tehdit modelini adlandırın.