模型量化术语速查

模型量化通过降低数值精度来减少模型体积、显存占用和推理成本。它是本地部署和高并发服务中非常常见的优化手段。

基础术语

Quantization，量化：把高精度权重或激活转换为低精度表示，例如从 FP16 转为 INT8 或 INT4。

FP32 / FP16 / BF16：浮点精度格式。FP32 精度高但占用大，FP16 和 BF16 更省资源。

INT8 / INT4：整数低精度格式，占用更小，速度可能更快，但质量可能下降。

Weight-only Quantization：只量化模型权重，常用于大语言模型推理。

量化方式

PTQ，训练后量化：模型训练完成后再量化，成本低、应用广。

QAT，量化感知训练：训练时模拟量化误差，效果可能更好但成本更高。

Calibration，校准：用一小批代表性数据估计量化范围。

常见指标

Model Size，模型体积：权重文件大小。

Memory Footprint，内存占用：运行时需要的显存或内存。

Perplexity，困惑度：语言模型常用质量指标之一，量化后可能变化。

Tokens per Second：每秒生成 token 数，衡量推理速度。

易混淆点

量化不是无损压缩。位数越低，资源越省，但输出质量可能下降。不同模型对量化敏感程度不同，同样 INT4 在不同模型上效果可能差异很大。

使用建议

个人本地运行可以从常见量化版本开始测试。企业部署要用自己的真实问题评估，不要只看公开榜单。重点比较速度、成本、质量和失败样例。