iPAS AI 應用規劃師中級 114 年第二次 科三 第 21 題 詳解

114 年第二次 科三 機器學習技術與應用

某語音辨識系統開發團隊採用Transformer架構，為了讓模型能同時理解語音片段中的發音特徵、語速變化與語意脈絡等多層次資訊，團隊在設計中導入了多頭注意力（Multi-head Attention）機制。請問下列何者為此機制的主要優點？

1. A減少模型參數量以降低訓練成本

   多頭是把維度切分後平行運算，參數量並未減少。

2. B加速整體注意力計算過程

   速度來自平行化設計，不是多頭本身的目的。

3. C從不同表示子空間（Representation Subspaces）同時捕捉多樣化關聯資訊（正確答案）

   多組投影對應不同表示子空間，能同時捕捉多樣關聯。

4. D避免梯度消失（Gradient Vanishing）問題

   梯度消失靠殘差連接與層正規化處理。