iPAS AI 應用規劃師中級 115 年第一次 科三 第 19 題 詳解

115 年第一次 科三 機器學習技術與應用

某團隊開發合約文件審查系統，需比對合約首頁的定義條款與第20頁的責任條款是否一致。工程師初版採用雙向長短期記憶（Bidirectional LSTM），但發現長文件的跨段落語義關聯捕捉效果不佳，且訓練時間隨文件長度明顯增加。改用Transformer架構後問題獲得改善，下列何者為最主要的原因？

1. ATransformer參數量比LSTM少，因此訓練速度更快、不易過擬合

   Transformer 參數量通常更大，非速度優勢來源。

2. BTransformer內建位置編碼，使模型天生理解文件的章節結構與段落順序

   位置編碼只補序位資訊，不等於理解章節結構。

3. CLSTM無法處理超過512個token的輸入，Transformer無此硬性限制

   512 是 BERT 實作上限，不是 LSTM 的硬性限制。

4. DTransformer的Self-Attention可讓任意token直接建立關聯，不受距離限制，且運算可平行化（正確答案）

   自注意力讓任兩 token 直接連結且可平行，正解。