外观
硬件基础速查
推理加速的所有软件优化，最终都要落到具体硬件上：SM 数、Tensor Core 算力、HBM 带宽、NVLink 互联——这些数字决定了"理论上限"。但硬件远不止参数表，它还有微架构特性（Hopper 的 TMA、Blackwell 的 FP4 Tensor Core）、互联拓扑（NVSwitch vs PCIe）、功耗与散热约束。本页是站内GPU 体系结构与优化、显存层次与带宽墙、Roofline 模型、分布式推理等章节的"硬件参考底座"，与基准数据与工具档案互为印证。
使用建议
本文不是选型采购指南，而是"硬件参数 + 微架构直觉"的速查。先读第二节建立"GPU 是什么"的心智模型，再看第三节的三代对比表，最后按需查其他芯片。参数会随新品更新而变化，正式选型请以厂商当前官方规格为准，本页数字截至 2026-08。
一、GPU 体系结构基础
GPU 能做大规模并行计算，靠的是把"算术"塞进硬件级并行执行单元。理解推理优化，必须先建立 GPU 微架构的心智模型。详见GPU 体系结构与优化。
1.1 SM / warp / SIMT
SM（streaming multiprocessor） 是 GPU 的计算基本单元。一颗 GPU 由若干 SM 组成，每 SM 内部含：若干 CUDA core（标量 FP32/FP64 单元）、若干 Tensor Core（矩阵乘加专用单元）、共享内存/L1（片上高速 SRAM）、寄存器堆、以及线程调度器。
GPU 执行模型叫 SIMT（single instruction, multiple threads）：单条指令派发给多个线程同时执行，类似 SIMD 但每个线程有自己的寄存器和程序计数器。每 32 个线程组成一个 warp，warp 是 SM 的最小调度单位——同一 warp 内的线程必须在同一条指令上同步执行，若分支不一致（warp divergence），未走分支的线程只能空转。
1.2 Tensor Core 与矩阵乘
Tensor Core 是 Volta 架构（V100，2017）起引入的矩阵乘加专用单元。一个时钟周期内，单个 Tensor Core 完成一次 D = A×B + C 的 4×4×4 矩阵乘加（FP16 输入、FP16/FP32 累加）。A100 的 Tensor Core 支持 BF16、FP16、TF32、INT8、INT4；Hopper 起加入 FP8（E4M3/E5M2） 原生；Blackwell 又加入 FP4 与 FP6。
LLM 推理的几乎全部算力开销在 GEMM（general matrix multiply）上：prefill 是 Q/K/V = X × W 大 batch GEMM（compute-bound），decode 是 x × W 小 batch GEMM（memory-bound，详见显存层次与带宽墙）。Tensor Core 算力直接决定 prefill 上限。
1.3 存储层次与带宽
GPU 有三级存储，延迟与带宽逐级下降：
| 层级 | 容量（A100 单卡） | 带宽量级 | 用途 |
|---|---|---|---|
| 寄存器 | 256 KB / SM × 108 = 27 MB | ~30 TB/s | 单线程私有变量，最快 |
| 共享内存 / L1（SRAM） | 192 KB / SM | ~20 TB/s | warp/block 内共享，kernel 内 tile |
| L2 cache | 40 MB（全 SM 共享） | ~7 TB/s | 跨 SM 一致性、HBM 缓冲 |
| HBM（外显存） | 80 GB | 2.0 TB/s | 模型权重、KV cache、激活 |
LLM 推理 decode 阶段的瓶颈就在"从 HBM 读权重到 Tensor Core"这一步——每生成一个 token，要把整个模型权重过一遍。详见Roofline 模型。所以 HBM 带宽是 LLM 推理最重要的硬件指标之一。
1.4 cuDNN / cuBLAS / NCCL
NVIDIA 提供一整套底层库：
- cuBLAS：BLAS 矩阵乘库，GEMM 的基础实现，TensorRT/PyTorch 的 GEMM 底层都走它；
- cuDNN：深度学习算子库，卷积、池化、归一化、激活函数等的高性能实现，含 kernel auto-tuning；
- NCCL：多卡集合通信库（AllReduce、AllGather、Broadcast），PyTorch DDP/FSDP 与 TP/PP 的底层。
这些库是"用好 GPU"的标配——自己写 CUDA kernel 通常打不过它们，优化方向应是"调它/调用它的更高层封装"，而非重写。详见TensorRT 与 GPU 推理。
二、NVIDIA 数据中心 GPU 三代对比
NVIDIA 是数据中心 AI 算力的事实主流，三代产品覆盖 2020–2026 的几乎所有部署场景。详见各代基准数据。
2.1 微架构与代表型号
| 微架构 | 年份 | 代表数据中心卡 | 关键新增 |
|---|---|---|---|
| Ampere | 2020 | A100 40GB / 80GB | TF32、稀疏 2:4、MIG |
| Hopper | 2022 | H100 SXM / PCIe、H200 | FP8 原生、Transformer Engine、TMA、多实例 GPU |
| Blackwell | 2024 | B200、GB200 NVL72 | FP4 原生、第二代 Transformer Engine、NVLink Switch 1.8 TB/s |
2.2 关键参数大表
下表是三代的横向对比，数字均为 SXM 版本（PCIe 版带宽与功耗略低），以官方发布规格为准。
| 参数 | A100 80GB | H100 SXM 80GB | H200 141GB | B200 |
|---|---|---|---|---|
| 微架构 | Ampere | Hopper | Hopper | Blackwell |
| SM 数 | 108 | 132 | 132 | 148 |
| HBM 类型 | HBM2e | HBM3 | HBM3e | HBM3e |
| HBM 容量 | 80 GB | 80 GB | 141 GB | 192 GB |
| HBM 带宽 | 2.0 TB/s | 3.35 TB/s | 4.8 TB/s | 8.0 TB/s |
| L2 cache | 40 MB | 50 MB | 50 MB | 60 MB |
| FP16/BF16 稠密算力 | 312 TFLOPS | 989 TFLOPS | 989 TFLOPS | 2250 TFLOPS |
| FP16/BF16 稀疏算力 | 624 TFLOPS | 1979 TFLOPS | 1979 TFLOPS | 4500 TFLOPS |
| FP8 算力 | — | 1979 TFLOPS（稀疏） | 1979 TFLOPS（稀疏） | 9000 TFLOPS（稀疏） |
| FP4 算力 | — | — | — | 18000 TFLOPS（稀疏） |
| INT8 算力（稀疏） | 1248 TOPS | 3958 TOPS | 3958 TOPS | ~9000 TOPS |
| NVLink 带宽 | 600 GB/s | 900 GB/s | 900 GB/s | 1800 GB/s |
| PCIe | Gen4 ×16 | Gen5 ×16 | Gen5 ×16 | Gen5 ×16 |
| TDP | 400 W | 700 W | 700 W | 1000 W |
| 制程 | 7 nm | 4 nm（TSMC N4） | 4 nm | 4 nm（TSMC N4P） |
算力单位 TFLOPS/TOPS 与稀疏
TFLOPS（每秒万亿次浮点运算）针对浮点；TOPS（每秒万亿次运算）针对整数。表格里的"稀疏算力"是 NVIDIA 2:4 结构化稀疏启用后的理论峰值——每 4 个元素中 2 个为零可加速 2×，需模型权重满足稀疏度才能吃到。LLM 推理一般直接用稠密算力评估。详见剪枝与稀疏化。
2.3 三代关键差异
Ampere A100（2020，详见基准数据）：FP16 训练主力、TF32 是巧妙的"FP19 兼容 FP32 格式"使 FP32 训练免改代码即可加速。HBM2e 2.0 TB/s 带宽在 70B LLM decode 时已是瓶颈。MIG 把卡切成 7 个隔离实例，多租户场景好用。
Hopper H100/H200（2022/2024）：硬件 Transformer Engine 自动选 FP8/FP16/BF16 精度，每层独立；TMA（tensor memory accelerator） 把"从 HBM 异步搬运 tile 到共享内存"硬件化，让 kernel 写起来更简单且更快；FP8 原生是 LLM 量化的分水岭——精度接近 FP16、算力翻倍。H200 把 HBM 升到 HBM3e 4.8 TB/s 与 141 GB，专门解决 LLM decode 带宽墙与长上下文容量。详见权重量化与混合精度。
Blackwell B200（2024，详见基准数据）：FP4 原生 Tensor Core，理论算力比 H100 FP8 又翻倍；HBM3e 192 GB 单卡能装下完整 405B 模型；NVLink Switch 把 72 张 B200 互联成"一台超大 GPU"，TB 级参数模型单机推理可行。GB200 NVL72 整机 FP8 算力 720 PFLOPS。
三、消费卡 vs 数据中心卡
消费卡不是"阉割版数据中心卡"，而是另一种设计取向：显存小但单精度算力不低、互联弱（无 NVLink）、价格低一个数量级。对个人学习与小规模推理有价值。详见llama.cpp 与 GGUF。
| 参数 | RTX 4090 | RTX 5090 | A100 80GB | H100 SXM |
|---|---|---|---|---|
| 微架构 | Ada Lovelace | Blackwell (GB202) | Ampere | Hopper |
| 显存 | 24 GB GDDR6X | 32 GB GDDR7 | 80 GB HBM2e | 80 GB HBM3 |
| 显存带宽 | 1008 GB/s | 1792 GB/s | 2.0 TB/s | 3.35 TB/s |
| FP16 稠密算力 | 165 TFLOPS（不含稀疏） | ~210 TFLOPS | 312 TFLOPS | 989 TFLOPS |
| FP8 算力 | — | — | — | 1979 TFLOPS（稀疏） |
| NVLink | ✗（仅 PCIe） | ✗ | ✓ 600 GB/s | ✓ 900 GB/s |
| TDP | 450 W | 575 W | 400 W | 700 W |
| 建议用途 | 7B 以下 LLM 推理 | 13B–30B LLM 推理 | 训练 / 70B LLM 推理 | 大规模训练与推理 |
消费卡的两个坑
显存是天花板：RTX 4090 24 GB 跑 FP16 的 Llama-3-8B（16 GB）刚好，70B 必须 INT4 量化 + offload 才勉强。互联弱：消费卡无 NVLink，多卡只能走 PCIe，TP 推理带宽瓶颈严重，2×4090 跑 70B 不如 1×H100。详见分布式推理（TP/PP）。
四、AMD Instinct MI300X
AMD 的数据中心 AI 加速器，对标 H100。MI300X（2023）采用 CDNA 3 架构，HBM3 192 GB / 5.3 TB/s 带宽——单卡显存比 H100 80GB 多 2.4 倍，能直接装下完整 Llama-3-70B 甚至 405B 量化版。FP16 稠密算力 1307 TFLOPS，FP8 算力 2615 TFLOPS，均略高于 H100。
软件栈是 ROCm（对标 CUDA），PyTorch 与 vLLM 已原生支持。短板是生态成熟度与社区资料不如 CUDA，调试与算子优化工具链仍在追赶。详见推理引擎选型对比。
五、Apple Silicon
Apple M2/M3 Ultra 的 Neural Engine（NPU） 主打端侧推理，统一内存架构（unified memory）让"GPU 直接访问主存"省去了拷贝，这对 LLM 推理特别友好——M3 Ultra 192 GB 统一内存可跑 Llama-3-70B 量化版，llama.cpp 对 Metal 后端原生支持良好。详见llama.cpp 与 GGUF与移动端部署。
| 型号 | 统一内存 | 内存带宽 | Neural Engine | Metal 加速 |
|---|---|---|---|---|
| M2 Ultra | 192 GB | 800 GB/s | 32 TOPS（INT8） | ✓ |
| M3 Ultra | 192 GB | 800 GB/s | 36 TOPS（INT8） | ✓ |
Mac 跑 LLM 的定位
Mac 适合个人本地推理与端侧原型：统一内存让"大显存"几乎免费（M3 Ultra 192GB ≈ 一张 H100 价但显存翻 2.4 倍），但算力远低于数据中心卡，吞吐量级差距大。批量服务仍要 GPU。详见移动端部署。
六、华为昇腾 910B
国产 AI 加速器代表，达芬奇架构，CANN 软件栈（对标 CUDA）。910B 单卡 FP16 算力约 320 TFLOPS、HBM 64 GB / 1.6 TB/s，对标 A100 但显存略小。配套的 MindIE 推理引擎与 MindSpore 训练框架是国内合规场景的替代方案，PyTorch 通过 torch_npu 适配。短板是生态与开源工具链成熟度，社区资料与 CUDA 比仍有差距。详见推理引擎选型对比。
七、Intel CPU 与 AMX
Intel Sapphire Rapids（2023）起的 AMX（Advanced Matrix Extensions） 指令集给 CPU 加了矩阵乘专用单元——本质是把 Tile 寄存器 + TDP（tile matrix multiply）指令塞进 x86。INT8/BF16 矩阵乘吞吐量相比 AVX-512 成倍提升。AMX 让 CPU 不再是"勉强能跑"，而是小模型推理的现实选项：BERT-Base INT8 在 Sapphire Rapids 60 核上能做到 ~1000 tokens/s。详见OpenVINO 与 CPU 推理。
CPU 推理的优势不在吞吐而在 易部署——任何服务器都有 CPU，免装 GPU、免 PCIe、免驱动。低延迟小批量场景或分布式系统的边节点推理常见。配合 OpenVINO 与 ONNX Runtime 的图优化能进一步压性能。
八、NPU 与边缘 AI 芯片
NPU（neural processing unit）泛指为神经网络推理设计的专用 ASIC，广义含 TPU、昇腾、Apple Neural Engine、高通 Hexagon 等。边缘场景的代表：
| 芯片 | 厂商 | 算力 | 用途 |
|---|---|---|---|
| Hexagon NPU | Qualcomm | 骁龙 8 Gen3 起 45 TOPS | 手机端 LLM、Stable Diffusion |
| APU（APU 融合） | MediaTek | 天玑 9300 起 INT8 算力 | 手机端生成式 AI |
| Edge TPU | 4 TOPS（INT8） | Coral 设备、轻量分类检测 | |
| Jetson Orin | NVIDIA | 275 TOPS（稀疏 INT8） | 机器人、自动驾驶边缘 |
| Rockchip RK3588 | 瑞芯微 | 6 TOPS（NPU） | 边缘网关、轻量视觉 |
边缘推理的核心约束是 功耗（手机 5W、IoT 1W 量级）与 内存（手机 8–16 GB 与系统共享）。LLM 端侧落地依赖 1–4B 参数小模型 + INT4 量化 + 推理引擎极致优化。详见移动端部署。
九、关键参数速查表
把上述硬件的关键参数汇总成一张表，方便横向比较。算力与带宽均以官方发布规格为准。
| 硬件 | 类型 | 显存/内存 | 带宽 | FP16 算力 | FP8 算力 | TDP |
|---|---|---|---|---|---|---|
| A100 80GB SXM | GPU | 80 GB HBM2e | 2.0 TB/s | 312 TFLOPS | — | 400 W |
| H100 SXM 80GB | GPU | 80 GB HBM3 | 3.35 TB/s | 989 TFLOPS | 1979 TFLOPS（稀疏） | 700 W |
| H200 141GB | GPU | 141 GB HBM3e | 4.8 TB/s | 989 TFLOPS | 1979 TFLOPS（稀疏） | 700 W |
| B200 | GPU | 192 GB HBM3e | 8.0 TB/s | 2250 TFLOPS | 9000 TFLOPS（稀疏） | 1000 W |
| RTX 4090 | GPU | 24 GB GDDR6X | 1008 GB/s | 165 TFLOPS | — | 450 W |
| RTX 5090 | GPU | 32 GB GDDR7 | 1792 GB/s | ~210 TFLOPS | — | 575 W |
| MI300X | GPU | 192 GB HBM3 | 5.3 TB/s | 1307 TFLOPS | 2615 TFLOPS（稀疏） | 750 W |
| M3 Ultra | SoC+NPU | 192 GB 统一 | 800 GB/s | 27 TFLOPS（GPU） | — | ~370 W（整机） |
| 昇腾 910B | NPU | 64 GB HBM | 1.6 TB/s | ~320 TFLOPS | — | 310 W |
| Sapphire Rapids Xeon | CPU | DDR5 8 通道 | ~460 GB/s | AMX BF16 ~50 TFLOPS | — | 350 W |
| Snapdragon 8 Gen3 | SoC+NPU | LPDDR5X 共享 | ~77 GB/s | — | — | ~5 W（NPU） |
十、选型逻辑
不同场景硬件选型关注点完全不同，先分清是 训练 还是 推理、是 数据中心 还是 工作站 还是 端侧。
10.1 训练 vs 推理
| 维度 | 训练 | 推理 |
|---|---|---|
| 关键瓶颈 | 算力 + 互联（TP/PP 多卡） | 带宽 + 显存容量（LLM decode） |
| 显存需求 | 激活 + 优化器状态，要大 | 模型权重 + KV cache |
| 精度 | FP16/BF16 为主，少量 FP32 | INT8/INT4/FP8 为主，FP16 备选 |
| 互联要求 | TP 必须 NVLink | TP 必须 NVLink，单卡可无 |
| 选卡取向 | H100/H200/B200 高算力强互联 | 看 batch：大 batch 重算力，小 batch 重带宽 |
LLM 推理的特殊性在于 decode 阶段访存密集——单卡吞吐基本等于 带宽 / 模型字节数。所以 HBM 带宽是 LLM 推理选卡最重要指标之一，甚至比算力重要。详见Roofline 模型与显存层次与带宽墙。
10.2 数据中心 vs 工作站 vs 端侧
数据中心：A100/H100/H200/B200 + NVLink + NVSwitch。吞吐与多卡互联是命脉，单机 8 卡 NVSwitch 拓扑是 70B+ 模型 TP 推理的标配；B200 NVL72 把 72 卡连成"一台超大 GPU"，TB 级参数模型单机推理可行。功耗与散热（液冷）是部署难点。详见分布式推理（TP/PP）。
工作站：RTX 4090/5090 或 Apple M Ultra。显存小但便宜、无 NVLink 但 PCIe 够单卡用。适合个人学习、原型验证、小批量服务。详见llama.cpp 与 GGUF。
端侧：手机 NPU、Jetson、Edge TPU。算力小、内存小、功耗极敏感。必须 INT4 量化 + 小模型，配合 llama.cpp 或 ONNX Runtime Mobile。详见移动端部署。
选型三个经验法则
- 先定 batch 规模再选卡：单用户聊天 batch≈1 重带宽，离线批处理 batch 大重算力；
- 显存容量是硬墙：模型 + KV cache 装得下才有后续，装不下必须量化或 TP；
- 互联决定多卡上限：TP 推理 NVLink 是硬指标，PCIe 多卡只适合独立服务不通信。
延伸阅读
- GPU 体系结构与优化 —— 硬件背后的优化原理
- 显存层次与带宽墙 —— HBM/SRAM/L2 的详细分析
- Roofline 模型与算力分析 —— 算力与带宽的统一模型
- 分布式推理（TP/PP） —— 多卡互联与并行策略
- 权重量化与混合精度 —— FP8/INT8 量化的硬件支持
- 基准数据与工具档案 —— 各硬件上实测吞吐数据
- 术语表 —— 本文术语的准确定义
- llama.cpp 与 GGUF —— 消费卡/端侧部署实践
- 移动端部署 —— NPU 与边缘推理