iPAS AI 應用規劃師中級 115 年第一次 科三 第 31 題 詳解

115 年第一次 科三 機器學習技術與應用 · 考點:數據隱私、安全與合規

某倉儲自動化公司以強化學習(Reinforcement Learning, RL)訓練機器手臂進行揀貨,獎勵函數設計為「每成功抓取一個貨品得+1分」。部署後發現機器手臂學會反覆放開再抓取同一物品,以累積分數,但實際完成任務的效率極低。請問此現象的核心問題為何?應如何修正獎勵設計?

  1. A獎勵塑形(Reward Shaping):將獎勵改為「成功完成一次揀貨任務」而非單次抓取行為(正確答案)

    獎勵綁定完整任務達成,切斷反覆抓放的刷分路徑。

  2. B策略退化(Policy Degradation):降低學習率以穩定訓練

    學習率是訓練穩定性參數,與獎勵定義錯誤無關。

  3. C信用分配問題(Credit Assignment Problem):引入優勢函數(Advantage Function)

    信用分配處理延遲回饋歸因,本題回饋即時且明確。

  4. D災難性遺忘(Catastrophic Forgetting):加入經驗回放(Replay Buffer)

    災難性遺忘指舊任務能力流失,此處能力並未退化。

正確答案:A

強化學習中獎勵函數設計不當導致的獎勵駭客行為與修正方式。 先看代理人是否「照獎勵拿分卻沒達成任務」,是就往獎勵訊號定義本身找問題。

用刷8題準備 iPAS AI 應用規劃師中級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

數據隱私、安全與合規

  1. 115 年第一次 科三 第 33 題某工程師的多元線性迴歸模型包含150個特徵,其中許多特徵高度相關(如「建坪」與「總面積」)。他同時希望控制過擬合且保留所…
  2. 115 年第一次 科三 第 34 題某工程師使用XGBoost模型進行調參,需對以下超參數進行網格搜尋(Grid Search):learning_rate…
  3. 115 年第一次 科三 第 43 題在進行遷移學習微調(Fine-Tuning)時,通常會將優化器的學習率(Learning Rate)設得非常小(如1e-…
  4. 115 年第一次 科三 第 48 題參考下圖繪圖結果,當Epochs=6時,訓練曲線值(0.81)明顯大於驗證曲線值(0.72),下列何者為最可能的原因?
  5. 114 年第二次 科三 第 19 題某醫療機構開發疾病早期偵測模型,正樣本(確診病例)僅佔3%。在模型訓練與評估過程中,下列哪一種作法最不適合用於提升對少數…