iPAS AI 應用規劃師中級 115 年第一次 科三 第 43 題 詳解

115 年第一次 科三 機器學習技術與應用

點圖放大

在進行遷移學習微調（Fine-Tuning）時，通常會將優化器的學習率（Learning Rate）設得非常小（如1e-4），下列何者為主要的原因？

1. A為了避免記憶體耗盡（OOM）

   記憶體占用由批次大小與模型規模決定，與學習率無關。

2. B為了加速模型整體的收斂時間

   學習率調小通常拖慢收斂，不是為了加速。

3. C為了讓損失函數強制歸零

   損失不可能被強制歸零，歸零反而代表過擬合。

4. D為了避免更新步伐過大，破壞預訓練模型原本已學好的良好特徵表示（正確答案）

   小步更新才不會沖掉預訓練學到的通用特徵。