本地AI部署术语速查

本地 AI 部署指在个人电脑、服务器或私有环境中运行模型。它常用于隐私保护、成本控制、离线应用和企业内网场景。

硬件术语

CPU：通用处理器，可以运行模型但大模型速度通常较慢。

GPU：图形处理器，擅长并行计算，是深度学习推理和训练常用硬件。

VRAM，显存：GPU 上的内存，模型能否加载很大程度取决于显存。

RAM，内存：系统内存。本地运行量化模型时也很重要。

模型文件

Checkpoint：模型权重文件。

GGUF：本地大模型常见格式，适合 llama.cpp 生态。

Quantization，量化：用更低精度表示权重，减少内存和显存占用。

Context Length，上下文长度：模型一次能处理的 token 数。

推理服务

Inference，推理：使用训练好的模型生成结果。

Throughput，吞吐：单位时间能处理多少请求或 token。

Latency，延迟：一次请求从输入到输出的等待时间。

Batching，批处理：同时处理多个请求，提高吞吐。

常见工具

Ollama 适合命令行快速运行模型；LM Studio 适合图形界面管理模型；llama.cpp 适合轻量推理；vLLM 更偏高性能服务部署。

易混淆点

模型能加载不代表体验好。显存够也可能速度慢，速度还受量化版本、上下文长度、并发和硬件带宽影响。本地部署也不等于自动安全，日志和文件权限仍要管理。

使用建议

个人学习从小模型和量化版本开始。企业部署先做压测，记录延迟、吞吐、成本和失败率，再决定是否替代云端 API。