iPAS AI 應用規劃師中級 115 年第一次 科三 第 11 題 詳解
115 年第一次 科三 機器學習技術與應用 · 考點:數據準備與特徵工程
某工程師在A100 GPU叢集上訓練大型語言模型,觀察到以下現象:全批次梯度下降時GPU利用率達100%,但每次更新耗時45秒;隨機梯度下降(SGD)每次更新僅需0.01秒,但梯度極不穩定、訓練曲線震盪劇烈。為兼顧梯度穩定性與GPU吞吐量(Throughput),應採用下列哪種策略?
- A全批次梯度下降(Full-batch GD):使用完整資料集計算梯度,更新穩定但每次更新耗時長
梯度最穩,但單次更新成本過高,收斂太慢。
- B隨機梯度下降(SGD):每次只用一個樣本,速度快但梯度雜訊大,收斂不穩定
單樣本更新雖快,梯度雜訊大且無法填滿GPU平行運算。
- C第二階梯度法(Newton's Method):利用Hessian矩陣精確估計曲率,大幅減少更新次數
需計算Hessian矩陣,參數量龐大時記憶體與運算不可行。
- D小批次梯度下降(Mini-batch GD):以適當批次大小(如256-2048)平衡梯度估計穩定性與GPU平行效率,是深度學習的業界標準(正確答案)
以256至2048批次兼顧梯度品質與平行效率,為正解。
正確答案:D
梯度下降三種批次策略在穩定性與運算效率之間的取捨。 看題目要同時滿足「梯度穩定」與「硬體吞吐」兩個條件時,答案通常落在折衷方案。
用刷8題準備 iPAS AI 應用規劃師中級
每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。
開始刷題同考點的題目
數據準備與特徵工程
- 115 年第一次 科三 第 17 題某醫療新創團隊將原有3層CNN升級為16層架構以提升CT影像腫瘤偵測率,但發現訓練損失反而高於3層版本且收斂困難。工程師…
- 115 年第一次 科三 第 19 題某團隊開發合約文件審查系統,需比對合約首頁的定義條款與第20頁的責任條款是否一致。工程師初版採用雙向長短期記憶(Bidi…
- 115 年第一次 科三 第 20 題工程師在PyTorch中建構貓、狗、鳥三分類CNN,並使用交叉熵損失函數(CrossEntropyLoss)作為訓練目標…
- 115 年第一次 科三 第 21 題某工程師將一個大型預訓練模型部署至資源受限的行動裝置,發現模型體積過大且推論效率不足。為降低模型大小並提升推論速度,他將…
- 115 年第一次 科三 第 23 題某團隊開發法律文件生成系統,需根據合約前半段內容自動生成後半段條款。工程師分別使用BERT與GPT-2進行微調,但發現B…