iPAS AI 應用規劃師中級 114 年第二次 科一 第 18 題 詳解
114 年第二次 科一 人工智慧技術應用與規劃 · 考點:AI 導入規劃
當Transformer模型發生「注意力分布過於平均(Attention Collapse)」的情形時,導致模型無法有效聚焦於關鍵資訊,下列哪一項策略可有效改善此問題?
- A提高Query-Key點積(Dot Product)的縮放常數
放大縮放常數會讓點積更小,分布反而更平坦。
- B在Softmax前加入高斯雜訊(Gaussian Noise)
加雜訊只增加隨機性,無助於聚焦關鍵位置。
- C使用ReLU函數取代Softmax
ReLU 不做正規化,權重失去機率意義且可能全零。
- D對注意力權重施加稀疏化約束(Sparsity Constraint)(正確答案)
稀疏化約束迫使權重集中於少數關鍵 token。
正確答案:D
考 Transformer 注意力機制失焦時的改善策略。 先判斷問題出在「權重分布太平均」,再選能讓分布更集中、對比更明顯的機制。
用刷8題準備 iPAS AI 應用規劃師中級
每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。
開始刷題同考點的題目
AI 導入規劃
- 114 年第二次 科一 第 20 題在使用生成對抗網路(GAN)進行人臉影像生成時,若出現「模式崩潰」(Mode Collapse)現象,下列哪一種方法最常…
- 114 年第二次 科一 第 33 題企業團隊在使用Word2Vec模型訓練客服文本語料時,若訓練資料量龐大且希望模型能更有效捕捉罕見詞的語意關聯,下列哪一種…
- 114 年第二次 科一 第 36 題某資料科學團隊在開發預測模型時,針對多種模型設定(如學習率、樹深度、正則化係數等)進行系統化測試,希望找出在驗證資料上表…
- 114 年第二次 科一 第 37 題某公司正在訓練一個大型語音合成模型,開發團隊使用多台GPU進行訓練,但經常出現GPU記憶體不足問題。由於模型架構已固定且…
- 114 年第二次 科一 第 45 題進行影像分類任務時,研究團隊嘗試利用主成分分析(Principal Component Analysis, PCA)將輸…