iPAS AI 應用規劃師中級 115 年第一次 科三 第 50 題 詳解

115 年第一次 科三 機器學習技術與應用 · 考點:數值優化技術與方法

某人工智慧團隊正在開發一套自動光學檢測(Automated Optical Inspection, AOI)系統,目標是透過機械手臂上的相機,自動辨識晶圓表面是否存在「劃傷(Scratch)」或「污點(Spot)」等瑕疵。目前系統開發面臨以下挑戰: ●資料極度不平衡,正常晶圓影像約佔99%,有瑕疵影像僅佔1%。 ●輸入影像品質不一致,包含不同解析度,且部分影像因機械手臂震動而出現模糊。 ●在使用深層卷積神經網路(CNN)訓練時,Loss曲線震盪劇烈,甚至偶爾出現數值溢出(NaN)情形。 請根據上述情境,回答第49~50題。

為了修復訓練過程中Loss突然變成NaN的問題,工程師考慮在PyTorch訓練迴圈中加入梯度裁剪(Gradient Clipping)機制,例如torch.nn.utils.clip_grad_norm_。若要正確加入梯度裁剪,最適合插入於哪個位置?其主要作用為何?

  1. A插入於位置3與位置4之間;用以限制Loss數值大小,避免梯度消失

    此時梯度尚未產生,且裁剪對象是梯度而非Loss,也非解決梯度消失。

  2. B插入於位置4與位置5之間;用以限制梯度範數過大,避免更新步幅失控導致數值不穩(正確答案)

    backward後梯度已算出、step前尚未更新,正是裁剪範數的時機。

  3. C插入於位置5之後;用以將更新後的權重強制壓縮回正常範圍

    step之後權重已更新,裁剪梯度已無意義。

  4. D插入於位置1與位置2之間;用以對輸入影像進行批次標準化

    批次標準化是網路層設計,與梯度裁剪無關。

正確答案:B

梯度裁剪在訓練迴圈中的插入時機與其防止梯度爆炸的作用。 先確認該操作作用在梯度或權重上,再回推它必須落在反向傳播與參數更新之間的哪一段。

用刷8題準備 iPAS AI 應用規劃師中級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

數值優化技術與方法

  1. 114 年第二次 科三 第 22 題某電商平台希望預測顧客是否會購買特定商品。系統蒐集顧客的瀏覽紀錄、停留時間、商品類別偏好與過去購買行為,並以此推估「在觀…
  2. 115 年第一次 科三 第 1 題某量化投資團隊需估算某投資組合未來30日的風險值。由於衍生性金融商品的定價模型過於複雜,無法以解析解直接求得,工程師因此…
  3. 114 年第二次 科三 第 3 題在訓練非線性模型時,若目標函數為非凸函數(Non-convex Function),演算法在參數更新過程中可能出現多個極…
  4. 114 年第二次 科三 第 9 題在建構以距離為基礎的機器學習模型(如KNN、SVM)時,下列哪一項資料前處理方式最為關鍵?
  5. 114 年第二次 科三 第 33 題某資料科學團隊正在開發一個客戶相似度比對系統,用於計算所有客戶之間的相似度分數。若系統需逐一比對每一位客戶與其他所有客戶…