iPAS AI 應用規劃師中級 115 年第一次 科二 第 30 題 詳解

115 年第一次 科二 大數據處理分析與應用

訓練資料共5,000萬筆，工程師比較Batch Size=32與Batch Size = 4096的訓練表現，發現大批次（Large Batch）雖然訓練較快，但模型泛化能力較差。從最佳化理論角度，下列何者為此現象最合理的解釋？

1. A大批次（Large Batch）計算量過大，GPU無法有效處理

   大批次可切分累積計算，非GPU處理不了。

2. B大批次（Large Batch）梯度估計更穩定，但容易收斂至局部極小值（Local Minima），導致泛化能力較差（正確答案）

   大批次梯度雜訊少，易停在尖銳極小值。

3. C小批次（Small Batch）因隨機性高，更容易發生梯度爆炸（Gradient Explosion）

   小批次隨機性高，與梯度爆炸無因果關係。

4. D批次大小（Batch Size）與泛化能力無關，問題出在學習率（Learning Rate）設定

   批次大小確實影響泛化，說無關即錯。