自然语言处理NLP简介

自然语言处理，简称 NLP，是让计算机处理人类语言的技术。它既包括理解文本，也包括生成文本。搜索引擎、机器翻译、语音助手、智能客服和大语言模型都离不开 NLP。

为什么语言对机器很难

人类语言充满歧义。比如“苹果很好吃”和“苹果发布了新手机”里的“苹果”含义完全不同。再比如“这个方案不差”可能是表扬，也可能只是勉强接受。

计算机不能像人一样天然理解上下文，因此 NLP 要解决分词、语义、上下文、指代、情感和知识等问题。

NLP常见任务

任务	作用	例子
文本分类	判断文本类别	垃圾邮件识别、情感分析
信息抽取	找出关键实体和关系	从合同中抽取金额和日期
机器翻译	在语言之间转换	中文翻译成英文
文本摘要	压缩长文本	把会议记录总结成要点
问答系统	根据问题生成答案	智能客服
文本生成	生成新的内容	写文章、写代码、写营销文案

从词袋到大模型

早期 NLP 常用词袋模型，把文本看成词语集合。这种方法简单，但不理解词序和上下文。

后来词向量出现，模型能把词表示成向量，让语义相近的词在空间中更接近。再后来，Transformer 和大语言模型能根据上下文动态理解词义，大幅提升了问答、摘要、翻译和生成能力。

Token是什么

大语言模型处理文本时，通常不是按完整汉字或单词，而是把文本切成 token。Token 可以是一个字、一个词，也可以是词的一部分。

理解 token 很重要，因为模型的上下文长度、计费、截断都和 token 数量有关。输入太长时，模型可能看不到前面的内容。

NLP项目的基本流程

1. 收集文本数据。
2. 清洗噪声，例如乱码、重复、无关内容。
3. 选择任务：分类、抽取、检索还是生成。
4. 选择方法：规则、传统机器学习、深度学习或大模型。
5. 评估效果：准确率、召回率、人工评分、事实一致性。
6. 上线后持续监控错误样例。

常见误区

• 认为模型会真正理解所有文本。 模型擅长模式，但仍可能误解语境。
• 忽略领域术语。 医疗、法律、金融文本需要专业知识和数据。
• 只看生成是否流畅。 流畅不代表事实正确。
• 不处理隐私。 文本中常包含姓名、电话、地址和商业机密。

小练习

拿一段 300 字新闻，尝试完成三个任务：

1. 提取人物、地点、机构；
2. 写出 50 字摘要；
3. 判断文章情感倾向。

你会发现这三个任务都属于 NLP，但难点完全不同。

小结

NLP 的目标是让机器更好地处理语言。学 NLP 要同时关注语言本身的复杂性、模型能力的边界，以及真实项目中的数据和评估问题。