深度学习术语词典

深度学习是机器学习的一个分支，主要使用多层神经网络从数据中学习复杂模式。它在图像、语音、自然语言和生成式 AI 中非常重要。

核心概念

神经网络 Neural Network：由多层计算单元组成的模型。每一层接收输入、做变换，再传给下一层。

层 Layer：网络中的计算阶段。常见有全连接层、卷积层、循环层、注意力层。

参数 Parameters：模型内部可学习的权重和偏置。参数越多，表达能力通常越强，但训练和推理成本也越高。

激活函数 Activation：给网络加入非线性能力，例如 ReLU、Sigmoid、GELU。如果没有非线性，多层网络会退化成简单线性变换。

训练过程

前向传播 Forward：输入数据经过网络得到预测结果。

反向传播 Backpropagation：根据损失计算每个参数应该如何调整。

梯度 Gradient：损失对参数变化的方向和幅度提示。梯度告诉模型往哪里改能让错误变小。

优化器 Optimizer：根据梯度更新参数的算法，例如 SGD、Adam。

常见问题

梯度消失：深层网络中梯度变得很小，前面的层学不动。

梯度爆炸：梯度过大，训练不稳定，损失剧烈波动。

正则化 Regularization：防止过拟合的方法，例如 Dropout、权重衰减、数据增强。

模型类型

CNN 擅长图像局部特征，RNN 曾常用于序列数据，Transformer 通过注意力机制处理长距离依赖，是现代大语言模型的基础。

易混淆点

深度学习不是一定比传统机器学习好。数据少、特征清晰、解释性要求高时，树模型或线性模型可能更合适。深度模型强在大数据、复杂模式和端到端学习。

学习建议

先理解“数据进入网络、得到预测、计算损失、反向更新”这条主线，再学习具体架构。不要一开始就陷入各种模型名称，否则容易只记名词不懂过程。