神经网络术语词典

神经网络可以理解为一组可学习的数学变换。它把输入变成输出，中间通过层、权重、激活函数和损失函数不断调整。

网络结构术语

输入层 Input Layer：接收原始数据，例如图片像素、文本向量或表格特征。

隐藏层 Hidden Layer：位于输入和输出之间，负责学习中间表示。深度网络通常有很多隐藏层。

输出层 Output Layer：产生最终预测。例如分类概率、生成的下一个词、回归数值。

神经元 Neuron：接收多个输入，乘以权重，加上偏置，再通过激活函数输出。

参数术语

权重 Weight：控制某个输入对结果影响大小的参数。

偏置 Bias：让模型在没有输入强信号时也能调整输出基线。

初始化 Initialization：训练前给参数设置初始值。初始化不好可能导致训练困难。

训练术语

Epoch：完整遍历一遍训练集。

Batch Size：每次更新参数时使用的样本数量。

Learning Rate，学习率：每次更新参数的步子大小。太大可能震荡，太小训练很慢。

Loss，损失：模型预测与真实答案之间的差距。

常见层

全连接层适合处理固定长度向量；卷积层擅长提取局部空间特征；归一化层帮助训练稳定；Dropout训练时随机丢弃部分连接以减少过拟合；注意力层让模型关注输入中更相关的部分。

易混淆点

神经元不是生物神经元的真实复制，只是受到启发的计算单元。层数多不一定更好，过深可能训练困难，数据不足时还会过拟合。

排查建议

训练损失不下降，先检查学习率、数据标签和损失函数。训练集好但测试集差，考虑过拟合。结果全预测成一类，检查类别不平衡和标签编码。