iPAS AI 應用規劃師中級 115 年第一次 科三 第 19 題 詳解

115 年第一次 科三 機器學習技術與應用 · 考點:數據準備與特徵工程

某團隊開發合約文件審查系統,需比對合約首頁的定義條款與第20頁的責任條款是否一致。工程師初版採用雙向長短期記憶(Bidirectional LSTM),但發現長文件的跨段落語義關聯捕捉效果不佳,且訓練時間隨文件長度明顯增加。改用Transformer架構後問題獲得改善,下列何者為最主要的原因?

  1. ATransformer參數量比LSTM少,因此訓練速度更快、不易過擬合

    Transformer 參數量通常更大,非速度優勢來源。

  2. BTransformer內建位置編碼,使模型天生理解文件的章節結構與段落順序

    位置編碼只補序位資訊,不等於理解章節結構。

  3. CLSTM無法處理超過512個token的輸入,Transformer無此硬性限制

    512 是 BERT 實作上限,不是 LSTM 的硬性限制。

  4. DTransformer的Self-Attention可讓任意token直接建立關聯,不受距離限制,且運算可平行化(正確答案)

    自注意力讓任兩 token 直接連結且可平行,正解。

正確答案:D

比較 Transformer 與 LSTM 在長文本長距離依賴與平行運算上的差異。 看到「長距離關聯」「訓練慢」類問題,先想該架構是循序運算還是可一次看全序列。

用刷8題準備 iPAS AI 應用規劃師中級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

數據準備與特徵工程

  1. 115 年第一次 科三 第 21 題某工程師將一個大型預訓練模型部署至資源受限的行動裝置,發現模型體積過大且推論效率不足。為降低模型大小並提升推論速度,他將…
  2. 115 年第一次 科三 第 23 題某團隊開發法律文件生成系統,需根據合約前半段內容自動生成後半段條款。工程師分別使用BERT與GPT-2進行微調,但發現B…
  3. 115 年第一次 科三 第 30 題某信用風險模型:訓練AUC=0.97、驗證AUC=0.72、少數違約樣本預測波動極大及不同K-fold切分結果差異明顯。…
  4. 115 年第一次 科三 第 32 題某詐欺偵測模型需同時具備高精確率(Precision),以避免誤凍結正常帳號,並維持高召回率(Recall)表現,以確保…
  5. 115 年第一次 科三 第 44 題研究人員撰寫的程式中(下圖),先用整體資料進行LDA(Linear Discriminant Analysis)降維,接…