AI算力與晶片
現代 AI 依賴大規模平行運算。NVIDIA 以 A100、H100、H200、Blackwell B200 與 CUDA 生態居核心；同時 Google TPU、AMD Instinct、AWS Trainium、微軟 Maia 與各地自研 ASIC 競逐。2024–2026 年算力、HBM 與電力成為訓練瓶頸，也是地緣政治、出口管制與雲端資本支出的焦點。
為什麼熱門
ChatGPT 之後 GPU 一卡難求，NVIDIA 市值衝上兆美元量級；資料中心電費、HBM 短缺與出口管制讓「誰掌握算力誰掌握 AI」成為地緣政治與資本支出的雙重顯學。HBM 與電費同樣決定誰訓得起旗艦。算力即議價權。
超跑引擎
訓練兆級 token 的模型，需要把矩陣乘法平行拆到成千上萬顆加速器上。NVIDIA 以 GPU＋CUDA＋cuDNN＋TensorRT 鎖住開發者心智；H100、H200、Blackwell B200 主打 Transformer 引擎與高頻寬記憶體。Google TPU v5、Amazon Trainium、Microsoft Maia、華為昇騰等走自研路線。沒有算力，再好的論文也只是簡報——這就是為什麼微軟、Google、Meta、Amazon 年資本支出以數百億美元計搶建 GPU／TPU 叢集。
訓練與推論不同帳
訓練要極大吞吐與穩定多機互連（NVLink、InfiniBand）；推論更在意延遲、每百萬 token 成本與利用率。量化、連續批處理、投機解碼、頁式注意力（如 vLLM）優化推論經濟。HBM 容量常比純 FLOPS 更先撞牆；電力與液冷決定機架密度。CUDA 護城河深，但 PyTorch 對其他後端支援、以及 Triton、MLX 等棧，正緩慢鬆動單一依賴。產品若只問「能不能跑」、不算「跑得起、跑得久」，最後往往死在毛利與電費單上。訓練帳看吞吐與互連，推論帳看延遲與每美元智能。
地緣與供應鏈
先進製程仰賴台積電等代工，CoWoS 先進封裝與 HBM 供應長期緊張。美國出口管制限制高階 GPU 流向特定地區，重塑雲端區域佈局與「合規算力」市場。企業開始算碳足跡與長期電力契約；部分訓練遷往能源便宜、氣候涼爽地區。對新創，租用雲端 GPU 仍是主流，但排程、檢查點、現貨實例與多雲備援策略，能讓燒錢速度差出一倍以上——硬體稀缺時代，軟體排程也是競爭力。出口管制重塑合規算力市場與雲端區域佈局；現貨實例與檢查點策略，能讓新創燒錢速度差出一倍以上。排程本身也是競爭力。
軟硬協同才是護城河
每焦耳智能、每美元智能，正在取代「參數愈大愈好」成為下一階段的真實記分板。更好的資料、架構與蒸餾可部分對沖硬體稀缺；端側 NPU 把部分推論拉回手機與筆電。理解算力經濟學，能幫團隊避免「功能很炫、毛利為負」的陷阱。AI 的未來寫在演算法裡，也焊在矽片、HBM 與電網上——忽略其中任何一環，產品故事都會在電費單上穿幫。先算每焦耳智能，再談參數軍備，才不會把融資燒成煙火。訓練與推論是兩本帳，混著算最容易在毛利上穿幫。每焦耳智能才是下一張記分板。軟硬協同才是護城河。
重點整理
AI 算力競賽由 NVIDIA GPU、TPU 與自研 ASIC 驅動，H100／B200 等加速器與電力互連決定誰訓得起大模型。訓練與推論成本結構不同，效率優化同樣關鍵。懂晶片、互連與電費，才能把智能做成可持續的產品——先算電費與利用率，再談下一張採購單，別把融資燒成煙火。利用率先於採購。