外观
术语表
本表收录推理加速领域的核心术语，按主题分为七组：基础概念、性能与指标、显存与算力、量化与压缩、算子与图、系统与服务、硬件。每条术语给出中文名、英文原名与定义；容易混淆的术语对单独做了辨析。它是你阅读站内其他章节时随时回查的"词典"，与硬件基础速查和基准数据与工具档案互为参照。
使用建议
术语不必按顺序读。建议先读「基础概念」建立词汇骨架，然后在阅读其他章节遇到生词时回来查阅。加粗的站内链接指向该术语的深入讨论页——例如读到"量化"想深挖就跳到模型量化基础。
基础概念
推理（inference） 模型训练完成后，把输入喂给模型得到输出的过程。本站的核心主题。详见什么是推理加速与推理 vs 训练 vs 微调。
训练（training） 用数据迭代更新模型参数的过程，让模型从数据中学到规律。与推理共享同一套数学（矩阵乘法、反向传播），但目标相反——训练改参数，推理用参数。详见推理 vs 训练 vs 微调。
微调（fine-tuning） 在预训练模型基础上用小学习率在任务数据上继续训练。与推理的关系：微调产出模型权重，推理消费它。
部署（deployment） 把训练好的模型封装成可被业务调用的稳定服务的过程，包含模型格式转换、引擎选型、服务化、监控等环节。详见模型服务化与编排与部署设计原则。
推理引擎（inference engine / inferencer） 专门执行模型推理的运行时系统，比通用训练框架更快、更省显存。代表：TensorRT、ONNX Runtime、vLLM、Triton Inference Server。详见推理引擎选型对比。
服务化（serving） 把模型包装成 HTTP/gRPC 接口、加上批处理、负载均衡、版本管理的能力。详见模型服务化与编排。
AOT 与 JIT（ahead-of-time / just-in-time） 两种编译时机。AOT 在部署前把整张图编译成不可变的执行计划（TensorRT 的 Plan 文件）；JIT 在运行时即时编译（PyTorch 的 eager + torch.compile）。AOT 启动慢但推理快，JIT 灵活但开销高。
优化（optimization） 在给定约束（精度、延迟、显存、成本）下让推理更好的所有手段总称：量化、融合、调度、并行都是它的子集。详见调参与性能调优。
量化（quantization） 把模型权重/激活从 FP32 降到 FP16/INT8/INT4/FP8/FP4，显存减半、推理加速、精度损失可控。部署优化首选。详见模型量化基础。
剪枝（pruning） 把不重要的权重置零（结构化剪枝直接删通道/层），减小模型体积、稀疏化可加速。详见剪枝与稀疏化。
蒸馏（distillation） 用大模型（教师）的输出教小模型（学生），让小模型逼近大模型效果，降本增效。详见知识蒸馏。
图优化（graph optimization） 在计算图层面做的常量折叠、算子融合、布局转换等改写。详见计算图优化。
性能与指标
延迟（latency） 单个请求从提交到完成所用的时间。LLM 推理要拆成 TTFT、TPOT、E2E 三个时间点。详见延迟、吞吐与并发。
吞吐（throughput） 单位时间系统能处理的请求数或 token 数。常见单位：QPS（queries per second）、tokens/s。与延迟存在固有权衡。
TTFT（Time To First Token） 从请求到达到首个 token 输出的时间，对应 prefill 阶段。交互式场景最敏感的指标。详见延迟、吞吐与并发。
TPOT（Time Per Output Token） 首 token 之后每个 token 的平均生成时间，对应 decode 阶段。"打字速度"。
E2E Latency（end-to-end latency） 从请求到完成全部输出的总时长。E2E = TTFT + TPOT × (output_tokens - 1)。
QPS（queries per second） 每秒处理的请求数。吞吐的请求级度量。
并发（concurrency） 系统同时服务的请求数。连接延迟与吞吐的桥梁。详见延迟、吞吐与并发。
P50 / P95 / P99（percentile latency） 延迟的百分位数：P50 是中位数，P95 表示 95% 的请求低于此值，P99 用于看长尾。线上服务通常用 P99 而非平均值。
Little's Law（利特尔法则）并发 = 吞吐 × 延迟。三者知二推一，是推理系统容量规划的基础。详见延迟、吞吐与并发。
SLA / SLO（service level agreement / objective） 服务等级协议/目标，通常以"P99 < X ms"形式给出。推理系统的可用性边界。
prefill / decode（预填 / 解码） LLM 推理的两阶段：prefill 一次性处理整个 prompt（计算密集），decode 逐 token 自回归生成（访存密集）。详见延迟、吞吐与并发与显存层次与带宽墙。
首 token 延迟（time-to-first-token, TTFT） 见 TTFT。
每 token 延迟（inter-token latency, ITL） 即 TPOT 的别称，描述流式生成的连续 token 间隔。
显存与算力
HBM（high bandwidth memory） GPU 外显存，高带宽（A100 2 TB/s、H100 3.35 TB/s、H200 4.8 TB/s）、大容量（80–192 GB），但带宽仍远低于片上 SRAM。详见显存层次与带宽墙与硬件基础速查。
SRAM（static random access memory） GPU 片上共享内存，SM 内部 L1/共享存储，带宽量级在 10–30 TB/s 但容量极小（A100 共享内存每 SM 228 KB）。是 kernel 内 tile 数据的载体。
L2 cache GPU 片上二级缓存，全 SM 共享。A100 L2 为 40 MB、H100 50 MB、B200 高达 60 MB。命中可避免走 HBM。
显存带宽（memory bandwidth） 单位时间从 HBM 读出/写入的数据量，是 decode 阶段的天花板。LLM decode 的核心瓶颈。
显存容量（memory capacity） 能装下多大模型与多大 KV cache 的硬约束。70B 模型 FP16 需约 140 GB，单张 80 GB 卡放不下，必须张量并行或量化。
算力（compute / FLOPS） 每秒浮点运算次数。FP16：A100 312 TFLOPS、H100 989 TFLOPS、B200 2250 TFLOPS。详见Roofline 模型与硬件基础速查。
Roofline 模型 把算力与带宽统一到一个模型：性能上限 = min(峰值算力, 带宽 × 算术强度)。详见Roofline 模型与算力分析。
算术强度（arithmetic intensity） 每字节访存完成的浮点运算数，单位 FLOPS/Byte。决定算子是 compute-bound 还是 memory-bound。详见Roofline 模型。
compute-bound（计算受限） 算子的算术强度高，性能受 FLOPS 限制。典型：大 batch 的 GEMM、prefill 阶段。
memory-bound（访存受限） 算子的算术强度低，性能受带宽限制。典型：小 batch 的 GEMM、decode 阶段、LayerNorm、激活函数。LLM decode 的核心特征。
capacity-bound（容量受限） 显存装不下导致的问题：模型放不下、KV cache 撑爆、batch 上不去。详见显存层次与带宽墙。
算子的瓶颈脊线（roofline ridge） Roofline 图上算力线与带宽线的交点对应的算术强度。强度低于此点 memory-bound，高于此点 compute-bound。
MAC / FLOP（multiply-accumulate / floating-point operation） 一次乘加 = 2 FLOP。GEMM 算力计量常用。
量化与压缩
PTQ（post-training quantization，训练后量化） 模型训练完再做量化，无需重训，最快上手。AWQ、GPTQ、SmoothQuant 均属此类。详见模型量化基础与权重量化与混合精度。
QAT（quantization-aware training，量化感知训练） 训练时模拟量化误差，精度比 PTQ 高但需要训练数据与训练成本。详见模型量化基础。
INT8 / INT4 / FP8 / FP4 / FP16 / BF16 常见数值精度。FP16/BF16 训练默认，INT8 推理主流，INT4 端侧激进，FP8 Hopper 起硬件原生支持，FP4 Blackwell 引入。详见模型量化基础与硬件基础速查。
权重量化（weight-only quantization） 只把权重压到 INT4/INT8，激活仍 FP16。LLM 部署主流方案（GPTQ、AWQ），因为激活难量化。详见权重量化与混合精度。
混合精度（mixed precision） 不同层/不同张量用不同精度。常见：权重 INT4 + 激活 FP16 + 少量层保留 FP16。
GPTQ 基于二阶 Hessian 信息的 PTQ 算法，逐列量化权重并补偿误差。INT4 LLM 量化的事实标准之一。详见权重量化与混合精度。
AWQ（activation-aware weight quantization） 基于"部分权重通道更重要"的观察做的 PTQ，量化前对权重做小幅缩放保护关键通道。INT4 量化另一主流。详见权重量化与混合精度。
SmoothQuant 把激活的"难量化"通过平滑缩放迁移到权重侧，实现权重 + 激活同时 INT8。详见模型量化基础。
ZeroQuant 字节跳动的 PTQ 方案，融合了 per-token 激活量化与 per-group 权重量化。
per-tensor / per-channel / per-group 量化粒度 量化参数（scale、zero-point）的共享范围。per-tensor 全张量共享一组（最省显存但精度损失大）；per-channel 每个输出通道一组；per-group 每 N 个连续元素一组（GPTQ/AWQ 常用 group=128）。
对称 / 非对称量化（symmetric / asymmetric quantization） 对称量化 zero-point 固定为 0，范围以 0 为中心（INT8 范围 [-127, 127]）；非对称允许 zero-point 偏移，能更贴分布（如 ReLU 后的激活），但运算多一次 zero-point 校正。
calibration（校准） PTQ 中用少量代表数据跑前向、统计激活分布以确定量化参数的过程。详见模型量化基础。
反量化（dequantize） 推理时把量化权重还原成高精度形式参与运算。LLM 部署里常在 GEMM kernel 内即时反量化（weight-only GEMM）。
稀疏化（sparsification） 把部分权重置零，配合稀疏算子加速。NVIDIA 2:4 结构化稀疏是硬件原生支持。详见剪枝与稀疏化。
算子与图
算子（operator / op） 计算图的基本节点，对应一次明确的数学运算：MatMul、LayerNorm、Softmax、Conv。详见算子融合与自定义核。
kernel（核函数） 算子在硬件上的具体实现。同一个算子在不同硬件/不同 batch 下应有不同 kernel 才最优——这是 kernel auto-tuning 的出发点。
kernel fusion（算子融合） 把多个相邻算子合并成一个 kernel 执行，避免中间结果落回 HBM。详见算子融合与自定义核。
kernel auto-tuning 为同一算子生成多个候选 kernel、在目标硬件上实测选最快的。TensorRT、TVM、Triton 都内置。详见算子融合与自定义核。
FlashAttention 把 attention 的 softmax(QK^T)V 改写成 tiling + 在线 softmax，避免实例化 N×N 注意力矩阵。v1/v2/v3 是 LLM 加速的里程碑。详见算子融合与自定义核与经典论文精读。
FlashInfer 专为 LLM 推理设计的 attention kernel 库，覆盖 prefill/decode/append 各场景，被 vLLM/SGLang 采用。
Triton（OpenAI Triton） Python DSL 写 GPU kernel 的语言/编译器，屏蔽 PTX 细节，性能接近手写 CUDA。FlashAttention v2 起基于 Triton。详见算子融合与自定义核。
两个 Triton 不要混
OpenAI Triton 是 GPU kernel DSL/编译器，写自定义算子用；NVIDIA Triton Inference Server 是推理服务框架，部署模型用。两者同名但完全无关。前者详见算子融合与自定义核，后者详见Triton 推理服务。
CUDA Graph 把一连串 CUDA kernel 调用录制成一张图、一次 launch 整图，省 CPU launch 开销。LLM 推理中常用于固定形状的 decode 阶段。
operator fusion 同 kernel fusion。
IR（intermediate representation，中间表示） 编译器内部用的与框架无关的计算图表示。ONNX、MLIR dialect、Relax IR 都是 IR。
ONNX（Open Neural Network Exchange） 跨框架模型交换格式，事实标准。把 PyTorch/TF/JAX 模型导出成统一 ONNX 图，再由各引擎接收。详见ONNX Runtime 跨平台。
MLIR（multi-level intermediate representation） LLVM 项目下的多级 IR 框架，PyTorch torch.compile 与 JAX/XLA 都基于它。新趋势。
XLA（accelerated linear algebra） Google 的图编译器，把 HLO IR 编译成 GPU/TPU/CPU 代码。JAX 与 TF 默认走 XLA。
TVM Apache 的端到端深度学习编译器，支持图优化 + kernel 自动调优 + 跨硬件后端。详见计算图优化。
Relax TVM 团队推出的新一代 LLM 推理 IR，专门为动态形状与大模型设计。
torch.compile（PyTorch 2.x） PyTorch 2.0 起的 JIT 编译入口，底层走 TorchDynamo + Inductor，能做图捕获、融合、kernel 生成。
Layout（数据布局） 张量在内存里的排布方式：NCHW / NHWC / blocked。不同硬件偏好不同 layout，TensorRT 的 layout 转换是优化重点。
系统与服务
KV cache（键值缓存） 自回归生成时缓存历史 token 的 K、V，避免每生成一个 token 就重算全部历史。是 LLM 推理显存占用大头。详见vLLM 与 PagedAttention与显存层次与带宽墙。
PagedAttention vLLM 借鉴 OS 虚拟内存做的 KV cache 管理方案：把 KV 分成固定大小 block，按需分配、共享前缀。详见vLLM 与 PagedAttention。
continuous batching（连续批处理 / 动态批处理） 请求随到随加入 batch，已完成请求随时退出，不等齐。LLM 服务吞吐的关键。详见批处理与请求调度与vLLM 与 PagedAttention。
static batching（静态批处理） 请求攒齐一个 batch 后一起进、一起出。简单但吞吐低、长尾拖累严重。
prefix caching（前缀缓存） 相同 system prompt 的请求复用已计算的 prefill KV。vLLM、SGLang、TGI 均支持，多租户场景显著降 TTFT。详见批处理与请求调度。
speculative decoding（投机解码） 小模型（draft）猜若干 token、大模型并行验证，命中即一次生成多个 token。Medusa、EAGLE-2/3 是代表。详见投机解码与 Medusa/EAGLE。
tensor parallelism, TP（张量并行） 把单层的权重切成 N 份分到 N 张卡上，每卡算一部分、AllReduce 汇总。通信密集，要求 NVLink。详见分布式推理（TP/PP）。
pipeline parallelism, PP（流水线并行） 把模型按层切成 N 段分到 N 张卡，请求像流水线一样流过。通信少但易气泡，常配合 micro-batching。详见分布式推理（TP/PP）。
expert parallelism, EP（专家并行） MoE 模型特有的并行：把不同 expert 分布到不同卡。DeepSeek-V3、Mixtral 部署核心。
AllReduce / AllGather / All-to-All 分布式集合通信原语。AllReduce 求和后广播（TP 用）；AllGather 各卡拼齐（PP 用）；All-to-All 全交换（EP 用）。详见分布式推理（TP/PP）。
vLLM UC Berkeley 开源的 LLM 推理引擎，PagedAttention + continuous batching 起家，社区最大。详见vLLM 与 PagedAttention。
TensorRT-LLM NVIDIA 官方的 LLM 推理引擎，TensorRT 的 LLM 专用分支，FP8、in-flight batching、speculative decoding 一应俱全。详见TensorRT-LLM。
SGLang Berkeley/MSU 起步的 LLM 推理框架，主打结构化生成与 RadixAttention 前缀缓存。详见推理引擎选型对比。
TGI（Text Generation Inference） Hugging Face 出品的 LLM 服务化引擎，与 Transformers 生态深度集成。
Triton Inference Server NVIDIA 的多后端推理服务框架（不是 OpenAI Triton），统一管理 TensorRT/PyTorch/TF 模型，提供 HTTP/gRPC、动态 batching。详见Triton 推理服务。
llama.cpp C++ 实现的 LLM 推理库，CPU/GPU 全平台可跑，GGUF 格式是端侧部署事实标准。详见llama.cpp 与 GGUF。
ONNX Runtime 微软的跨平台推理引擎，覆盖 CPU/GPU/NPU/移动端。详见ONNX Runtime 跨平台。
OpenVINO Intel 的 CPU/iGPU/VPU 推理优化工具链。详见OpenVINO 与 CPU 推理。
Engine（推理引擎产物） TensorRT 把模型编译后产出的可执行文件（.engine/.plan），绑定特定 GPU 架构与精度。详见TensorRT 与 GPU 推理。
Plan 文件 同 Engine，TensorRT 术语。
in-flight batching TensorRT-LLM 的连续批处理实现，与 vLLM continuous batching 思想相同。
chunked prefill 把长 prompt 的 prefill 拆成多个 chunk 与 decode 一起调度，避免长 prompt 独占 GPU。SARATHI 论文提出，vLLM 与 TensorRT-LLM 已采用。
硬件
GPU（graphics processing unit） 大规模并行计算芯片，AI 训练与推理的主力。详见GPU 体系结构与优化与硬件基础速查。
SM（streaming multiprocessor） GPU 的计算基本单元，每 SM 含多个 CUDA core、Tensor core、共享内存与调度器。A100 108 SM、H100 132 SM、B200 148 SM。
CUDA core GPU 的标量计算单元，FP32/FP64 算它。A100 每 SM 64 个 FP32 CUDA core。
Tensor Core NVIDIA Volta 起引入的矩阵乘加专用单元，一个时钟周期完成一个 4×4×4 矩阵乘加。FP16/BF16/INT8/FP8/FP4 的算力全来自它。详见GPU 体系结构与优化。
warp SM 的最小调度单位，32 个 thread 同时执行同一条指令（SIMT）。warp divergence（分歧）会降低效率。
SIMT（single instruction, multiple threads） GPU 的执行模型：单指令 + 多线程，介于 SIMD 与 SMT 之间。
NPU（neural processing unit） 通用名词，指为神经网络推理设计的专用芯片。广义含 TPU、昇腾、Apple Neural Engine、高通 Hexagon 等。
TPU（tensor processing unit） Google 自研的 AI 专用 ASIC，TPU v4/v5e/v5p。JAX/XLA 原生支持。
昇腾 910B（Ascend 910B） 华为自研 AI 处理器，达芬奇架构，国产算力替代主力。
Ampere / Hopper / Blackwell NVIDIA 三代数据中心 GPU 微架构：A100（2020）、H100（2022）、B200（2024）。详见硬件基础速查。
A100 / H100 / H200 / B200 / GB200 NVIDIA 数据中心 GPU 具体型号。详见硬件基础速查的对比表。
cuDNN NVIDIA 深度学习算子库，卷积、池化、归一化等的基础实现。
cuBLAS NVIDIA BLAS 矩阵乘库，GEMM 的底层。
NCCL（NVIDIA collective communications library） NVIDIA 多卡集合通信库，AllReduce/AllGather 等的高性能实现。PyTorch DDP/FSDP 与 TP/PP 底层都用它。
NVLink / NVSwitch GPU 间高速互联：NVLink 4.0 单向 100 GB/s（H100），NVSwitch 是全互联的交换芯片，B200 上是 NVLink Switch。详见分布式推理（TP/PP）与硬件基础速查。
PCIe CPU-GPU 与多 GPU 互联的通用总线，PCIe Gen5 单向 64 GB/s。比 NVLink 慢但通用。
TDP（thermal design power） 芯片散热设计功率。A100 400W、H100 SXM 700W、B200 1000W+，决定机柜与散热方案。
MIG（multi-instance GPU） Hopper 起硬件级把单卡切成多个隔离实例，A100/H100 支持，多租户场景用。
DVFS（dynamic voltage and frequency scaling） 动态调频调压，省电但会波动延迟，推理延迟敏感场景常关。
易混淆辨析
推理 / 训练 / 微调
训练是从数据学参数；微调是在已有权重上继续训练改参数；推理是用参数做预测、不改参数。三者共用 PyTorch，但部署形态截然不同——训练用框架 eager、推理用专门引擎（TensorRT/vLLM）。详见推理 vs 训练 vs 微调。
延迟 / 吞吐 / 并发
延迟看单个请求快慢；吞吐看单位时间总量；并发看同时能服务几个。Little's Law 把它们绑在一起：并发 = 吞吐 × 延迟。优化前先问"业务要的是低延迟还是高吞吐"——单用户聊天重 TTFT，离线批处理重 tokens/s。详见延迟、吞吐与并发。
compute-bound / memory-bound / capacity-bound
compute-bound：算力不够，加算力或减运算；memory-bound：带宽不够，加带宽或减访存量；capacity-bound：显存放不下，加显存或量化。LLM 推理 prefill 多 compute-bound，decode 多 memory-bound，长上下文多 capacity-bound。Roofline 是判断工具。详见Roofline 模型。
PTQ / QAT / 权重量化 / 激活量化
PTQ 训练完再量化、最快上手；QAT 训练时就模拟量化、精度最高但贵。权重量化只压权重、激活保高精度，LLM 部署主流；激活量化连激活也压、需要 SmoothQuant 这类迁移技术。LLM 的激活异常值多，纯激活量化精度损失大——这是权重量化成为主流的根本原因。详见模型量化基础与权重量化与混合精度。
vLLM / TensorRT-LLM / SGLang / TGI
四者都是 LLM 推理引擎，定位不同：vLLM 开源社区最大、PagedAttention 起家；TensorRT-LLM NVIDIA 官方、FP8 与硬件深度结合；SGLang 主打结构化生成与 RadixAttention 前缀缓存；TGI HuggingFace 出品、与 Transformers 生态最贴近。选型对比见推理引擎选型对比与基准数据与工具档案。
两个 Triton
OpenAI Triton 是 GPU kernel DSL（写自定义算子，详见算子融合与自定义核）；NVIDIA Triton Inference Server 是推理服务框架（部署模型，详见Triton 推理服务）。同名不同物，文献里要靠上下文区分。