Bağımsız ve 1 doların altındaki benchmark, Graviton3 üzerinde X25519MLKEM768 TLS handshake yükünü ölçtü

Benchmark neyi ölçüyor

Hem AWS hem de Cloudflare, post-quantum TLS'nin yükünü halka açık biçimde minimal olarak tanımladı; ancak bu rakamlar satıcı tarafından yayınlanıyor ve çoğu ekibin asla dokunmayacağı altyapılardan geliyor. Asif Naeem'in dev.to'daki yeni benchmark serisi, bu iddiayı herkesin kiralayabileceği donanımda bağımsız olarak doğrulamayı amaçlıyor; her script ve ham sonuç dosyası yeniden çalıştırma için yayınlanmış durumda.

İlk yazı, X25519MLKEM768'yi ölçüyor — klasik X25519'u, FIPS 203 olarak standartlaştırılmış lattice tabanlı KEM olan ML-KEM-768 ile eşleştiren hibrit — düz X25519'a karşı. Test düzeneği, aynı us-east-1 availability zone'una yerleştirilmiş iki c7g.large spot instance'dan oluşuyor (yazının başlığındaki "saati 0.04 dolarlık Graviton3"), böylece cross-AZ gecikmesi etkinin üstünü bastıramıyor. Bir instance, OpenSSL 3.5.0'a karşı kaynaktan derlenmiş nginx ile Ubuntu 24.04 sunuyor; diğeri JDK 21 üzerinde Gatling 3.15.1 ile yük üretiyor. Trafik yalnızca TLS 1.3, yanıt gövdesi üç bayt — böylece test transferleri değil handshake'leri yalıtıyor — session resumption devre dışı ve her kol, atılan 30 saniyelik ısınmayla birlikte üçer dakikalık beş dakikalık denemelerle çalışıyor. Yazarın tahminine göre tam bir tekrarlama yaklaşık 50 dakika ve AWS ücretlerinde kabaca 0.15 ile 0.30 dolar arasında tutuyor.

Bilinçli bir tercih: sunucu, ML-DSA-65 olan değil, self-signed ECDSA P-256 sertifikası sunuyor, çünkü Gatling'in altındaki BoringSSL ML-DSA-65 desteğini duyurmuyor. Yazıya göre bu, PQ TLS'nin bugün gerçekte nasıl dağıtıldığını yansıtıyor — hiçbir public CA ML-DSA-65 sertifikası vermiyor; mevcut dağıtımlar hibrit key exchange ile birlikte klasik sertifikalar sunuyor, ki burada ölçülen tam olarak bu örüntüdür.

Neredeyse yayınlanacak olan deneme

İlk ciddi girişim saniyede 1.000 istek itti ve absürt görünen rakamlar üretti: her iki kolda da bir milisaniyelik minimumlar ama kabaca 1.2–1.3 saniyelik ortalamalar. Yazı bunu istemci tarafı CPU doygunluğu olarak teşhis ediyor — yük üretecindeki iki vCPU saniyede o kadar çok taze handshake tamamlayamıyor, dolayısıyla istekler kuyruğa giriyor ve kuyruk gürültüsü gerçek PQ-klasik farkını yutuyor. PQ kolunun deneme başına p99 aralığının yaklaşık 5.9 s ile 7.6 s arasında olması, ölçülen herhangi bir sinyalin kendisinden bile büyüktü. Yazarın çıkardığı ders: çıktısına güvenmeden önce yük üreteciyi doğrulayın, çünkü tartışma sunucu yükü çerçevesinde yapıldığında istemci tarafı maliyeti kolayca unutuluyor.

Saniyede 300 istekteki sonuçlar

Saniyede 300 isteğe geri çekilince yük üreteci kapasitesi içinde kalıyor ve handshake'in kendisi ölçülebilir hale geliyor. Üç denemenin medyanı gecikmeler:

Metrik	X25519	X25519MLKEM768	Yük
Ortalama	2 ms	2 ms	—
p50	1 ms	2 ms	+1 ms
p95	4 ms	4 ms	—
p99	5 ms	8 ms	+3 ms (yaklaşık %60)
Maks	14 ms	41 ms	+27 ms

Yazı varyans konusunda açık sözlü: deneme başına PQ p99 değerleri 5, 8 ve 39 ms idi; sonuncusu, yazarın spot instance CPU steal'dan veya bir JVM garbage-collection duraklamasından şüphelendiği, ancak nedeni izole edilmemiş bir aykırı değer.

Üç sonuç çıkıyor. Yaygın durumda, PQ yükü bu ölçekte esasen görünmez — ortalama handshake'ler milisaniye çözünürlüğünde aynı. Maliyet kuyrukta yoğunlaşıyor; p99 büyüyor ve en kötü durum zamanlaması KEM işlemlerinin varyansını güçlendiriyor. Ve rakamlar bir üst sınır değil alt sınır: Gatling'in tam milisaniyelik zamanlaması milisaniye altı deltaları, muhtemelen yarım milisaniye civarını, saklayabiliyor; dolayısıyla "fark yok" okuması gerçekte "küçük bir fark" anlamına gelebilir.

Henüz yanıtlayamadığı sorular

Bu deneme tek bir istek hızı, tek bir CPU mimarisi, tek bir payload boyutu ve yalnızca taze handshake'ler kapsıyor. Session resumption KEM'i tamamen atlıyor, dolayısıyla ölçülen şey fiilen en kötü durum; oysa gerçek trafik ikisini karıştırıyor. Duyrulan devam yazıları arasında 100 bayttan 1 MB'a payload taramaları, 0-RTT dahil resumption karışımları, aynı benchmark'ın Intel (c7i) ve AMD (c6a) instance'ları üzerinde çalıştırılması ve doygunluğun gerçekte nerede oturduğunu bulmak için eşzamanlılık taramaları var. Yazı ayrıca Claude'dan taslak yardımı aldığını açıklarken, ölçümlerin, kurulumun ve yorumun yazara ait olduğunu belirtiyor.

Neden önemli

Sektör hibrit post-quantum key exchange'e doğru varsayılan olarak ilerliyor ve kapasite planlaması genellikle satıcıya güvenilen yük rakamlarına dayanıyor. Bu benchmark, iddia denetimini ucuz ve tekrarlanabilir hale getiriyor — harçlık tutarında maliyet, herkese açık bir depo, deneme başına ham veri — ve ilk bulguları iki yönlü: hibrit KEM'in medyanda görünür hiçbir şey eklemediği yaygın durum için güvence ve mütevazı yük altında bile p99'un yaklaşık %60 büyüdüğü tail-latency SLO'ları için bir uyarı. En az bunun kadar değerli olan yöntem. Doymuş başarısız bir denemeyi yayınlamak, deneme deneme varyansı göstermek ve düzeltmelerle bağımsız yeniden çalıştırmalara davet etmek, altyapı benchmark'larının güvenilirlik kazanma yoludur.