· kaynak Hacker News – Front Page (native)
Tek bir VM üzerinde smoltcp, DPDK ve AF_XDP ile 15 milyon web sunucusu çalıştırma deneyi
kapteko.com'da yayımlanan bir yazı, IPv6 AnyIP adresleme, özel bir kullanıcı alanı (userland) runtime'ı ve çekirdek bypass ağ ile tek bir sanal makinede, 10GB RAM ile 15 milyon izole web sunucusunun nasıl çalıştırılabileceğini anlatıyor.

18 Kasım'da kapteko.com'da yayımlanan ve şu anda Hacker News ana sayfasında bulunan bir yazı, 10GB RAM ve tek bir CPU çekirdeğine sahip tek bir sanal makinede 15 milyon web sunucusu çalıştırmayı hedefliyor. Yaklaşım şakayla karışık: yazar, sunucuların黑客 saldırısına uğramasının nedeninin çok az sayıda olmalarından kaynaklandığını savunuyor, 8 milyar insanın her birine birer web sunucusu öneriyor ve herkes kendi sunucusuna sahip olduğunda hacking talebinin çökeceğini öngörüyor. Şakanın altındaki mühendislik gerçek ve yığıtının neredeyse her katmanına dokunuyor: adresleme, süreç modeli, zamanlama ve ağ.
Port tavanı
Yazar, klasik syscall'lar — listen, accept, recv, send, close — üzerine kurulmuş, saniyede yaklaşık 65.000 istek sunan minimal bir C sunucusuyla başlıyor. 15 milyon kopya başlatmak neredeyse hemen başarısız oluyor ve bunun nedeni akla ilk gelen değil: makinenin portları tükeniyor. Port 0 istemek çekirdeğin net.ipv4.ip_local_port_range aralığından (varsayılan olarak 32768–60999) boş bir port seçmesini sağlıyor. Yazı boşlukları açıklıyor: 1–1024 arası portlar root gerektiriyor, 1024–32768 arası atlanıyor ki dinamik olarak ayrılan portlar 3306'daki MySQL gibi hizmetlerle çakışmasın, 60999–65535 arası ise IP masquerading dönemine kadar uzanan nedenlerle hariç tutuluyor. Tavan her halükârda yapısal — TCP portu 16 bitlik bir alan, dolayısıyla çekirdek değişiklikleri bile 65.535'in ötesine geçemez ve normal istemciler egzotik portları zaten anlamazdı.
AnyIP ve loopback üzerinde bir /64
Bir dinleyicinin protokol, IP adresi ve port üçlüsüyle tanımlandığı — ve bir UDP ile bir TCP sunucusunun aynı port numarasını paylaşabildiği — için yazar önce tavanı yaklaşık 128 bine çıkarıyor; hâlâ hedefin çok uzağında. Her biri kendi IP adresini ekleyen yaklaşık 450 ağ kartı takılması düşünülüyor ama donanım çözümü olarak reddediliyor. Yazılımsal cevap AnyIP: tüm bir IPv6 /64'ü loopback aygıtına yönlendiren tek bir ip -6 route add local komutu, makineye dinleme yapabileceği yaklaşık 18 kentilyon yerel adres veriyor. Yazara göre eşdeğeri olan, 15 milyon adres barındıran bir IPv4 alt ağı yaklaşık 250 milyon dolara mal olurdu.
Yirmi terabaytlık süreç sorunu
Adresleme çözüldükten sonra karşiya çıkan bir sonraki duvar bellek. Tek bir sunucu süreci yaklaşık 1.5MB RAM tüketiyor, dolayısıyla 15 milyon süreç kabaca 20TB gerektirirdi. Önceki projelerinden — tek bir sunucuda 10 milyon Codex CLI çalıştırma ve Rust ile kullanıcı alanında bir Linux zamanlayıcı inşa etme — yararlanan yazar, bunun yerine her guest'i tek bir sürece yüklüyor. Yazarın LFI adını verdiği bir sandboxing tekniği bellek izolasyonu sağlıyor ve her guest'in syscall'larını host tarafındaki bir işleyiciye yapılan çağrılarla değiştiriyor; böylece runtime tüm girdi-çıktıyı kontrol ederken CPU guest'ler arasında geçiş yapıyor. Süç fiilen kendi başına minyatür bir işletim sistemine dönüşüyor.
Sunucu başına on altı bayt
Kilit içgörü, minimal sunucu döngüsünün neredeyse hiç durum taşımaması: bir devam adresi artı iki dosya tanımlayıcı 16 baytlık bir bağlama sığıyor, dolayısıyla 15 milyon guest'in tamamını askıya alıp sürdürmek yaklaşık 220MB tutuyor ve bit packing bu değeri guest başına 8 bayta indirebilir. Her biri yaklaşık 5KB olan bir milyon eşzamanlı etkin TCP bağlantısı varsayımı yaklaşık 5GB daha eklerken, boşta olan bağlantılar bedava sayılıyor — sonuç, 10GB bütçenin yaklaşık yarısına denk geliyor. Projenin başlığına göre ağ katmanı smoltcp, DPDK ve AF_XDP ile tamamlanıyor: kullanıcı alanında çalışan bir TCP/IP yığını, çekirdek bypass paket girdi-çıktısıyle eşleşiyor ve taban sunucuyu saniyede 65 bin istekte sınırlayan syscall başına düşen yolu bypass ediyor.
Neden önemli
Deney, yoğunluk sınırlarının donanımdan değil, süreç başına düşen ek yükden ve çekirdek kod yollarından geldiğinin canlı bir kanıtı. Geleneksel bir dağıtım sunucu başına megabaytlar ve tam syscall'lar harcar; özelleşmiş bir runtime baytlar ve bir kullanıcı alanı ağ yığını harcar. Bireysel teknikler — fiilen sınırsız yerel adres için AnyIP, tek süreç içinde çok sayıda guest'in hata izolasyonuna dayalı sandboxing'i ve çekirdek bypass ağ — aşırı yoğun hosting, büyük ölçekli honeypot'lar, kiracı başına izolasyon ve sandboxing araştırmalarıyla doğrudan ilgili. Hiciv aynı zamanda yarı ciddi bir noktaya da değiniyor: bir ağ uç noktasını çevrimiçi hale getirmenin maliyeti, doğa yasası değil, bir mühendislik tercihidir.
- #linux
- #networking
- #rust
- #kernel-bypass
- #web-servers