Sayaç okumaları: hiç kapanmayan bir RTX 3090 yerel AI yığınının elektrik maliyeti ayda 2 euro

Sıkıcı sorunun ölçülmesi

Evde AI modelleri çalıştırma tartışmaları genellikle saniye başına token ve VRAM bütçesi etrafında döner. Dev.to'da, yazarın The Local LLM Lab adını verdiği bir dizinin parçası olan bir yazı farklı bir açı yakaladı: elektrik faturası gerçekte ne diyor? Yazar, sürekli açık bir AI yığını çalıştıran bir NVIDIA RTX 3090'yı izlemeye aldı ve 30 günlük güç tüketimini, gündüz 0,30 BGN/kWh ve gece (22:00–06:00) 0,18 BGN/kWh olan çift tarifeli bir Bulgar tarifesine göre fiyatladı. Toplam, kart üzerinden ölçülerek — tahminle değil — ay için 2,00 euro oldu.

GPU üzerinde ne vardı

24 GB'lık kartta kalıcı olarak üç servis yaşadı:

• WhisperX, sesli notlar, toplantılar ve podcast kliplerini bekleyen, sürekli bellekte duran bir konuşmadan metne endpoint'i — ortalama 7,9 GB VRAM, en yüksek 10,3 GB
• Ollama altında nomic-embed-text, bir retrieval hattını besliyor — 308 MB VRAM
• Immich'in makine öğrenmesi bileşeni — ihmal edilebilir

İki 3090 daha içeren ayrı bir makine, talep geldiğinde vLLM üzerinden 27 milyar parametreli bir sohbet modeli çalıştırıyor; o kutu 2 euroluk rakamın dışında.

Rakamlar

Dev.to yazısına göre Whisper servisi ortalama 22 W çekti ve 13,24 kWh (1,76 euro) tüketti, embedding modeli ortalama 3 W çekip 1,75 kWh (0,23 euro) tüketti, Immich ise fiilen hiç — genel olarak ortalama yaklaşık 25 W ve 15,03 kWh. Kart 260 W ile güç sınırına tabi olsa da nadiren bu seviyeye yaklaştı. 30 günlük kayıt, modeller VRAM'de tutulurken kabaca 35 W'lık bir taban, ses geldiğinde 120 W'a yakın kısa sıçramalar, bir transkripsiyon kuyruğu biriktiğinde 50–54 W'luk dilimler ve uzun dosyalardan oluşan bir toplu işten kaynaklanan, ortalama 121 W ile iki saatlik tek bir blok gösteriyor. Başka bir deyişle, tipik bir ev çıkarım yığını neredeyse hep boşta duran ve kısa süreler meşgul olan bir cihaz — sürekli yük altındaki bir kart değil.

Karşılaştırma

Yazar alternatifleri şöyle çerçeveliyor: Tam kullanımda gece gündüz sabitlenmiş bir 3090 — bir eğitim makinesi, bir çıkarım kutusu değil — aynı tarife ile ayda kabaca 23 euroya mal olurdu. Eşdeğer bulut harcaması, yaklaşık 10 saatlik OpenAI Whisper API transkripsiyonu için ayda 14–29 euro veya liste fiyatıyla bir milyon GPT-4o token için 20 euro civarı olarak tahmin ediliyor. Yerel seçenek bu rakamların onda birinin altında kalıyor ve maliyeti kullanımla ölçeklenmek yerine sabit. Baskın yinelenen asıl rakam ise donanımın kendisi: 800–1.200 euroya alınmış ikinci el bir 3090, üç yıl boyunca ayda yaklaşık 25 euroya amortisman ediliyor; elektrik faturasının on katından fazla.

Ölçümün sınırları

Sınırlar önemli. Sayaç yalnızca GPU'yu kapsıyor; CPU, RAM veya sistemin geri kalanı dahil değil; tarife Bulgaristan'a özgü; ve iş yükü hafif — sürekli metin üretimi değil, kişisel bir transkripsiyon ve embedding hattı. Doygun bir kart için verilen 23 euroluk rakam, sürekli yük altında aritmetiğin ne kadar farklılaştığını gösteriyor. Yazar, 2 euroyu bir bekleme maliyeti olarak nitelendiriyor; kullanım sıçramaları aylık toplamı oynatacak kadar kısa.

Neden önemli

Bulut ve yerel tartışması çoğu zaman veri değil izlenimler üzerinden tıkanır. Bu, arkasında gerçek sayaç okumaları olan ender anlatılardan biri ve elektrikğin, çoğunlukla boşta duran bir ev çıkarım yığını için yuvarlama hatası kadar olduğunu — ayda birkaç euro — gösterirken, asıl maliyetlerin donanım amortismanı ve bakım zamanı olduğunu ima ediyor. Zaten oyun veya render için GPU'su olan geliştiriciler için, bellekte kalıcı yerel modeller tutmanın marjinal maliyeti sıfıra yakın. Yazar, izleme kurulumunu open-source yapmış; okumalarını salt-okunur bir MCP server üzerinden sunan homelab-monitor adlı proje, böylece deney diğer makinelerde yeniden üretilebilir. Güç gerekçesiyle yerel çıkarıma itiraz edenlere verilecek cevap, bu kanıta göre, sayacın aynı fikirde olmadığıdır.