ch6.9-exercises

[giscus[bot]]

ch6.9-exercises

6.9 Chapter 6 Exercises: Regularization and Normalization

https://datawhalechina.github.io/deep-learning-notes/zh/ch6-regularization-and-normalization/ch6.9-exercises.html

[01-yes]

My answer:置为 0 放大 不再生效 C batch 通道 通道 BatchNorm A
a.缺失 model.eval()。应加在验证循环开始前。
b.Dropout 在训练模式下仍然随机失活神经元，导致验证时前向传播具有随机性，每次运行验证精度波动大，且精度明显低于预期。
c.影响结果：验证时模型仍处于训练模式，BatchNorm 会使用当前验证批次的均值和方差进行归一化，而不是使用训练阶段积累的全局统计量。这导致验证结果依赖于当前 batch 的数据分布，产生噪声，使指标不稳定且失真。
副作用：在验证过程中，BatchNorm 仍然会更新全局统计量。由于验证集的数据分布可能与训练集不同，这会污染原本已经训练好的统计量，导致模型回到训练模式时性能下降。
d.验证结束后需要调用 model.train()，将模型切回训练模式，以保证下一个 epoch 训练时 Dropout 和 BatchNorm 按训练模式正常工作。

[ichbineinpreussen]

1.丢弃 放大 不再生效
2.C
3.batch 通道 通道 BatchNorm
4.A
5.
a.缺少model.eval()，加在correct = 0前面
b.缺少model.eval()，会使得在推理时没有关闭 dropout，因此，同一个输入会产生不同结果
c.由于没有model.eval()，推理的部分使用当前 batch statistics，验证的数据集小于训练的数据集，从而影响验证结果；
其他副作用：没有model.eval()， batch normalization会在推理部分继续更新running statistics，污染训练部分的统计量；
d. 调用model.train() ，切换回训练模式；

[acquae-x]

1,失活，放大，不再生效
2,C
3,batch；通道；通道；BatchNorm
4,A
5，model.eval()，验证循环开始之前
还在训练模式，预测结果每次都不一样，验证精度产生较大波动
在训练模式下使用当前mini-batch的均值和方差，验证数据会被持续污染
切回训练模式

[kerberosokhh]

置0；放大；不再生效
C
batchN通道 通道 BatchNorm
A
model.eval()，应该放在验证循环开始前，with torch.no_grad(): 的上方（第 13 行之前）。

[extremely563]

失活 放大 不再生效 C
batch 通道 通道 BatchNorm A
a.缺失 model.eval()。应加在验证循环开始前。
b.Dropout 在训练模式下仍然随机失活神经元，导致验证时前向传播具有随机性，每次运行验证精度波动大，且精度明显低于预期。
c.影响结果：验证时模型仍处于训练模式，BatchNorm 会使用当前验证批次的均值和方差进行归一化，而不是使用训练阶段积累的全局统计量。这导致验证结果依赖于当前 batch 的数据分布，产生噪声，使指标不稳定且失真。
副作用：在验证过程中，BatchNorm 仍然会更新全局统计量。由于验证集的数据分布可能与训练集不同，这会污染原本已经训练好的统计量，导致模型回到训练模式时性能下降。
d.验证结束后需要调用 model.train()，将模型切回训练模式，以保证下一个 epoch 训练时 Dropout 和 BatchNorm 按训练模式正常工作。

[ZhiBinWang25]

1.丢弃 放大 不再生效
2.C
3.batch 通道 通道 BatchNorm
4.A
5.缺少model.eval