预训练与微调是什么？

预训练和微调是现代大模型训练中的两个重要阶段。简单说，预训练让模型先学通用能力，微调让模型适应具体任务。

用教育过程打比方

一个人先接受通识教育，学习语言、数学、常识和逻辑，这类似预训练。后来进入公司学习岗位流程、业务规范和专业话术，这类似微调。

没有通识教育，岗位培训很难；只有通识教育，不懂具体业务，也无法稳定完成工作。

预训练学什么

预训练通常使用大规模通用数据，例如网页、书籍、代码、百科、论坛等。模型通过预测 token、补全文本或其他自监督任务，学习语言结构、知识关联和基本推理模式。

预训练成本很高，需要大量数据、算力和工程能力。普通团队通常不会从零预训练大模型，而是使用已有开源或商业模型。

微调解决什么问题

微调是在已有模型基础上，用较小但更有针对性的数据继续训练，让模型更符合特定需求。

例如：

• 客服机器人学习企业标准话术；
• 法律模型学习合同审查格式；
• 医疗模型学习特定报告结构；
• 代码模型适配公司内部框架。

微调不是什么

微调不是万能补丁。很多问题不需要微调：

• 如果只是让模型知道最新资料，RAG 可能更合适；
• 如果只是输出格式不稳定，提示词和示例可能够用；
• 如果数据质量差，微调会把错误模式学进去；
• 如果任务变化频繁，维护微调数据成本很高。

常见微调方式

方式	特点
全量微调	更新全部参数，成本高，控制强
LoRA	只训练少量适配参数，成本较低
指令微调	让模型更会按指令回答
偏好对齐	让输出更符合人类偏好

初学者可以先理解 LoRA，因为它是很多开源模型实践中常见的轻量微调方式。

什么时候该微调

可以问三个问题：

1. 是否有稳定、足够、高质量的训练样本？
2. 提示词或 RAG 是否已经无法满足需求？
3. 输出风格或任务模式是否长期固定？

如果答案都是“是”，才值得考虑微调。

微调项目的风险

• 数据泄漏：训练数据中包含隐私或商业机密；
• 灾难性遗忘：模型适配新任务后，原能力下降；
• 评估不足：只看少量样例，误以为效果变好；
• 成本失控：训练、部署、版本管理都需要投入。

小结

预训练负责打基础，微调负责适配场景。真实项目中，不要一遇到效果问题就微调。先检查提示词、数据、检索和评估，确认微调确实必要后，再准备高质量样本和测试集。