iPAS AI 應用規劃師中級 115 年第一次 科三 第 8 題 詳解

115 年第一次 科三 機器學習技術與應用

某深度學習工程師訓練ResNet時，發現模型在前幾個Epoch驗證損失快速下降，但從第15個Epoch起驗證損失開始上升，而訓練損失持續下降。工程師將學習率調高後，訓練損失反而開始明顯震盪。學習率過大最直接導致下列哪種現象？

1. A梯度消失（Gradient Vanishing）：梯度在反向傳播中逐層縮小趨近於零，底層無法學習

   梯度消失源自深層連乘衰減，與步伐過大無關。

2. B損失函數震盪或發散（Oscillation / Divergence）：每次更新步伐過大，參數在最優點兩側反覆跳越，無法穩定收斂（正確答案）

   步伐過大在最優點兩側跳躍，損失震盪甚至發散。

3. C過擬合（Overfitting）：模型記憶訓練資料的雜訊，泛化能力下降

   過擬合來自第15輪後的驗證損失回升，非調高學習率所致。

4. D死亡ReLU（Dying ReLU）：大量神經元輸出永久為零，停止參與梯度更新

   死亡ReLU是負輸入致輸出恆零，屬激活函數特性。