微调相关术语速查

微调是让已有模型更适合特定任务、风格或领域的方法。它不是解决所有问题的第一选择，很多场景用提示词、RAG 或工具调用就足够。

基础术语

Fine-tuning，微调：在预训练模型基础上，用特定数据继续训练，使模型适应某类任务。

SFT，监督微调：使用输入和理想输出样本训练模型，让模型学习指定回答方式。

Instruction Tuning，指令微调：用大量指令式任务训练模型，提高指令遵循能力。

Domain Adaptation，领域适配：让模型更熟悉某个行业或专业领域语言。

参数高效方法

LoRA：低秩适配，只训练少量额外参数，成本低、易切换。

QLoRA：结合量化和 LoRA，进一步降低显存需求。

PEFT：参数高效微调的统称，包括 LoRA、Prefix Tuning 等方法。

数据相关

Training Dataset，训练集：用于微调的样本集合。质量比数量更关键。

Validation Dataset，验证集：用于观察微调效果，防止过拟合。

Data Cleaning，数据清洗：删除重复、错误、低质量或敏感样本。

风险术语

Catastrophic Forgetting，灾难性遗忘：模型学新任务时丢失原有能力。

Overfitting，过拟合：模型记住训练样本，泛化到新输入时表现差。

Style Lock-in，风格锁死：模型过度模仿训练格式，缺乏灵活性。

什么时候微调

适合：固定输出风格、大量相似任务、领域术语稳定、已有高质量样本。

不适合：需要最新知识、数据经常变化、只是想让模型知道几份文档。这类场景优先考虑 RAG。

建议

微调前先用提示词和 RAG 做基线。如果没有明确评估集，不要急着微调。否则你无法判断微调到底变好了还是只是看起来更像训练数据。