LLM术语词典

LLM，即大语言模型，是生成式 AI 的核心技术之一。理解这些术语，可以帮助你读懂模型介绍、API 文档和产品能力说明。

基础概念

LLM，Large Language Model：大语言模型，通过大量文本训练，能够理解和生成自然语言，也常具备代码、推理、总结和对话能力。

Token：模型处理文本的基本单位。中文一个字、英文一个词或子词都可能成为 token。上下文长度和费用通常按 token 计算。

Context Window，上下文窗口：模型一次能看到的最大输入范围。窗口越大，能放入的资料越多，但不代表模型会同等关注每个细节。

Prompt，提示词：用户给模型的指令、问题、背景和格式要求。提示词质量会显著影响输出。

生成相关

Temperature：控制随机性。低温更稳定，高温更有创意但也更容易跑偏。

Top-p：从累计概率达到阈值的一组候选 token 中采样。常用于控制生成多样性。

Stop Sequence：指定模型遇到某些字符或片段时停止生成。

Streaming：流式输出，让结果边生成边返回，常用于聊天界面。

能力和限制

Reasoning，推理：模型处理多步骤问题的能力。推理强不等于永远正确，仍需验证。

Hallucination，幻觉：模型生成看似合理但不真实的信息。

Instruction Following，指令遵循：模型按用户要求完成任务的能力，例如遵守格式、语气和限制。

Grounding，事实锚定：让回答基于给定资料或外部来源，减少胡编。

易混淆点

LLM 不是数据库，不能保证记住最新事实。上下文窗口大不等于无限记忆。参数量大通常能力更强，但成本、速度和部署难度也更高。

使用建议

使用 LLM 时，把任务、背景、输入材料、输出格式和边界写清楚。重要任务要配合检索、工具调用、结构化输出和人工审核。