NLP术语词典

NLP，自然语言处理，研究如何让机器理解、生成和处理人类语言。大语言模型出现后，很多 NLP 任务被统一到生成式框架中，但基础术语仍然重要。

文本基础

Token：文本被模型处理的基本单位，可能是一个词、一个字或一个子词。模型按 token 计算上下文长度和费用。

分词 Tokenization：把原始文本切成 token 的过程。中英文分词方式不同，会影响长度和效果。

词向量 Embedding：把词、句子或文档表示成数字向量，方便计算相似度和输入模型。

经典任务

文本分类：判断文本类别，例如情感正负、垃圾邮件、意图识别。

命名实体识别 NER：识别人名、地点、组织、日期等实体。

信息抽取：从文本中抽取结构化字段，例如合同金额、甲方名称、截止日期。

机器翻译：把一种语言转换为另一种语言。

文本摘要：压缩长文本，保留主要信息。

生成相关

语言模型：根据前文预测后续文本的模型。

解码 Decoding：模型生成文本时选择下一个 token 的过程。

Temperature：控制生成随机性。越高越发散，越低越稳定。

Top-p：只在累计概率达到一定阈值的候选词中采样。

易混淆点

Embedding 用于表示语义，不等于模型“理解”的全部。摘要分抽取式和生成式：抽取式偏复制原文，生成式会改写但也更容易出错。分词不是小细节，它会影响费用、速度和长文本处理。

实战建议

做 NLP 项目时，先明确目标是分类、抽取、检索还是生成。能用规则和小模型解决的任务，不一定要上大模型；需要灵活理解和生成时，再考虑 LLM。