iPAS AI 應用規劃師中級 115 年第一次 科二 第 35 題 詳解

115 年第一次 科二 大數據處理分析與應用

某工程師在開發一個以Transformer為基礎的文本分類模型時，發現模型對於詞語順序的變化不夠敏感，影響語意判斷效果。請問在Transformer架構中，位置編碼（Positional Encoding）的主要作用為何？

1. A在詞嵌入（Embedding）中加入隨機擾動，以提升模型對輸入變化的泛化能力

   加隨機擾動是正則化手法，與位置資訊無關。

2. B在注意力機制中加入遮罩（Mask），限制模型只能關注部分詞語

   遮罩控制可見範圍，屬注意力機制設計，非位置編碼。

3. C將輸入序列轉換為可同時運算的向量表示，以提升計算效率

   平行運算是自注意力的特性，也正是順序資訊遺失的原因。

4. D在詞的向量表示中加入位置資訊，使模型能區分序列中不同位置的詞語（正確答案）

   正解，把位置資訊疊加進詞向量，使同詞不同位可區分。