iPAS AI 應用規劃師中級 114 年第二次 科一 第 18 題 詳解

114 年第二次 科一 人工智慧技術應用與規劃

當Transformer模型發生「注意力分布過於平均（Attention Collapse）」的情形時，導致模型無法有效聚焦於關鍵資訊，下列哪一項策略可有效改善此問題？

1. A提高Query-Key點積（Dot Product）的縮放常數

   放大縮放常數會讓點積更小，分布反而更平坦。

2. B在Softmax前加入高斯雜訊（Gaussian Noise）

   加雜訊只增加隨機性，無助於聚焦關鍵位置。

3. C使用ReLU函數取代Softmax

   ReLU 不做正規化，權重失去機率意義且可能全零。

4. D對注意力權重施加稀疏化約束（Sparsity Constraint）（正確答案）

   稀疏化約束迫使權重集中於少數關鍵 token。