2026 में self-hosted AI compute के लिए RTX 4090, RTX 5090 और H100 SXM5 के बीच चुनाव शायद ही कभी headline TFLOPS number के बारे में होता है। सही GPU वह है जिसकी VRAM, memory bandwidth और inference hour की कीमत उस model class और batch shape से मेल खाए जो आप वास्तव में चलाते हैं। यह guide ServPrivate के चारों GPU tiers, जिन workloads के लिए प्रत्येक sized है, और chart पर throughput numbers को कैसे पढ़ें — यह सब बताती है।
एक paragraph में चारों tiers
RTX 4090 (GPU-S, $122.00-329/माह) ~1 TB/s memory bandwidth और ~83 TFLOPS FP16 पर 24 GB GDDR6X ship करता है। यह 7B-13B language models, FLUX.1/SDXL image generation, Whisper transcription, और Bark text-to-speech के लिए सही चुनाव है। RTX 5090 (GPU-M, $195.50-519/माह) ~1.8 TB/s और ~104 TFLOPS FP16 पर 32 GB GDDR7 तक पहुंचता है; अतिरिक्त 8 GB और ~80% bandwidth uplift 27B-32B models (Gemma-3-27B, Qwen3-32B, Mistral-Small-3) को आराम से unlock करते हैं और small Llamas finetune करने देते हैं। H100 SXM5 (GPU-L, $832.50-1899/माह) एक अलग श्रेणी है — ~3.35 TB/s पर 80 GB HBM3, ~989 TFLOPS FP16 (Tensor-Core), NVLink-class fabric उपलब्ध; यह 70B-class language models, longer-context inference, और faster training के लिए sized है। 2× H100 SXM5 (GPU-XL, $1567.50-3599/माह) full-precision 70B inference, multi-GPU training, और Q4/Q5 पर 100B+ models के लिए है।
LLM inference में memory bandwidth हावी है
लगभग 16 तक के batch sizes पर decoder-only transformer inference के लिए, bottleneck raw FLOPS नहीं बल्कि memory bandwidth है। प्रत्येक generated token VRAM से model weights का पूर्ण read force करता है। H100 का 3.35 TB/s HBM3 ही इसे 70B-class model पर 4090 की तुलना में ~3x faster per token बनाता है — higher TFLOPS नहीं। यही कारण है कि RTX 5090 का GDDR6X से GDDR7 (~1.8 TB/s vs ~1 TB/s) jump inference के लिए raw FLOPS bump से ज्यादा मायने रखता है। यदि आपका workload training की बजाय inference-dominated है, तो TFLOPS से ज्यादा bandwidth को प्राथमिकता दें।
24 GB / 32 GB / 80 GB में क्या fit होता है
Quantization तस्वीर बदल देती है। Q4_K_M पर (एक typical "good quality" quant): 7B model को ~4.5 GB, 13B को ~8 GB, 27-32B को ~20 GB, 70B को ~42 GB, 100B को ~60 GB चाहिए। K-V cache और CUDA workspace के लिए ~10-15% headroom जोड़ें। व्यावहारिक fits: 24 GB = 7B-13B आरामदायक, offload pain के साथ 27-32B, 70B feasible नहीं। 32 GB = 27-32B आरामदायक, CPU offload के साथ 70B (धीमा)। 80 GB = Q4-Q5 पर 70B आरामदायक, offload के साथ 100B। 160 GB (dual H100) = FP16/BF16 पर 70B, Q4 पर 100-180B। FP16/BF16 (बिना quantization) पर numbers दोगुने हो जाते हैं: FP16 पर 70B को ~140 GB चाहिए, इसलिए 2× H100 full-precision flagship-model inference का entry point है।
RTX 5090 कब सही उत्तर है
2025 की शुरुआत में RTX 5090 की release ने एक नया sweet spot बनाया। 2026 में सबसे ज्यादा मायने रखने वाले 27B-32B-class models (Gemma-3-27B, Qwen3-32B, Mistral-Small-3, Phi-4, DeepSeek-R1-Distill-Qwen-32B) के लिए, 5090 H100 की आधी लागत पर 4090 की लगभग 2.5x throughput देता है। यदि आपका workload "मुझे reasoning, multilingual support, और 32K context window के साथ एक वास्तव में सक्षम assistant model चाहिए, लेकिन 70B+ की जरूरत नहीं" है, तो GPU-M tier वहीं से शुरू होना चाहिए। यह एक उदार image-generation rig के रूप में भी काम करता है — FLUX.1-dev high-resolution batches के लिए 16 GB VRAM headroom के साथ आराम से चलता है।
H100 कब चाहिए, 4090 नहीं
तीन संकेत buying decision को GPU-L (single H100) तक ले जाते हैं: (1) आप 70B-class models या DeepSeek-R1-Distill-Llama-70B serve करते हैं और batch 1 पर sub-second time-to-first-token चाहते हैं; (2) आप high-batch concurrent inference चलाते हैं (vLLM with batch 16+ users) जहां H100 की memory bandwidth bottleneck-breaker है; (3) आप ~10M tokens से ऊपर datasets पर train या LoRA-finetune करते हैं और FP8 training path चाहते हैं जो 4090/5090 के पास नहीं है। H100 का FP8 Transformer Engine FP16 की तुलना में training throughput को लगभग दोगुना करता है, जो single card पर 70B Llama finetuning को feasible बनाता है।
$/token economics
High-volume workloads के लिए, sustained throughput पर dollars per million tokens सही comparison है। Llama-3.1-70B Q4, vLLM 0.7+, batch 16 पर: RTX 4090 offload के बिना model host नहीं कर सकता (CPU-RAM offload throughput को ~10x कम कर देता है)। CPU-offload के साथ RTX 5090 लगभग $X per 1M tokens पर है (rough; quant के अनुसार भिन्न)। Single H100 SXM5 हमारी $832.50/माह entry price पर ~$1.40-2.20 per 1M output tokens पर है। OpenAI GPT-4o output ~$10/1M और Claude Sonnet ~$15/1M से तुलना करें — एक बार जब आपका workload लगभग 30M tokens per day तक पहुंचता है, single H100 पर self-hosting hosted APIs को call करने से सस्ता है, और privacy outcome end-to-end है। कम volumes के लिए, hosted APIs cost पर जीतती हैं।
Image, video और audio workloads
Image generation को शायद ही कभी 4090 से ज्यादा चाहिए — FLUX.1-dev, SDXL, SD 3.5 सभी production quality पर 24 GB में fit होते हैं। 5090/H100 जाना mostly batch-size headroom (अधिक concurrent generations) देता है, per-image speed नहीं। AI video (Wan-2.1, CogVideoX-5B, Runway-class workflows) अधिक demanding है — GPU-M practical entry है, production-quality long-form के लिए GPU-L। Whisper Large v3 ASR और Bark TTS दोनों 4090 पर आराम से चलते हैं; H100 उनके लिए overkill है। 7B-13B पर LoRA या QLoRA से Finetuning 4090 पर काम करती है; 32B-70B finetuning के लिए realistically कम से कम 5090 चाहिए, यदि समय मूल्यवान है तो H100।
RTX 5090 vs RTX A6000 / A100 के बारे में क्या?
यदि आपने consumer-card line से बाहर GPU options देखे हैं, तो आप RTX A6000 (48 GB, datacenter card) या A100 (40/80 GB, prior-generation HBM2e) से परिचित हो सकते हैं। Quick verdict: A6000 roughly 4090-class compute है जिसमें दोगुनी VRAM है, useful है यदि VRAM आपका bottleneck है लेकिन bandwidth नहीं (दुर्लभ); A100 H100 की तुलना में एक generation पीछे है और अब mostly secondary market पर उपलब्ध है — यदि आप इसे सस्ते में पा सकते हैं तो यह एक credible 70B-inference card बनी हुई है, लेकिन 2026 में new builds आमतौर पर H100 हैं। हम वर्तमान में A6000 या A100 tiers offer नहीं करते; catalog RTX 5090 से H100 तक jump करता है।
हम क्या ship करते हैं और क्या चुनें
GPU buying decision को प्रति workload एक sentence में summarize करने के लिए: 32B से कम chatbot / coding-assistant → 7B-13B के लिए GPU-S (RTX 4090), 27B-32B के लिए GPU-M (RTX 5090); flagship 70B inference (Llama-3.3-70B-Instruct, DeepSeek-R1-Distill-Llama-70B) → GPU-L (H100 SXM5); full-precision 70B या multi-GPU training → GPU-XL (2× H100 SXM5); image/video/voice generation → GPU-S जब तक batch headroom की जरूरत न हो, तब GPU-M। सभी चारों tiers CUDA 12.4 + cuDNN पूर्व-स्थापित और 1-click vLLM/Ollama/ComfyUI/Stable Diffusion templates के साथ ship होते हैं। पूरा hardware spec /gpu पर है।