iPAS AI 應用規劃師中級 115 年第一次 科一 第 11 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

某工程師在分析Transformer架構時，發現自注意力機制（Self-Attention）能夠有效提升模型對序列中長距離依賴關係的建模能力。請問Self-Attention的核心功能為何？

1. A透過隱藏狀態的遞迴傳遞，逐步累積序列中的上下文資訊

   遞迴傳遞隱藏狀態是 RNN 的做法，非自注意力。

2. B讓序列中每個token能與其他所有token建立關聯，並根據重要性分配權重（正確答案）

   正解：全序列兩兩關聯並依重要性加權。

3. C對輸入序列進行局部運算，以捕捉相鄰詞之間的關係

   局部感受野是 CNN 的卷積特性。

4. D將整個序列壓縮為固定長度表示，以提供後續任務使用

   壓縮成固定長度是傳統 Encoder 的瓶頸缺點。