iPAS AI 應用規劃師中級 114 年第二次 科一 第 19 題 詳解

114 年第二次 科一 人工智慧技術應用與規劃 · 考點:AI 導入規劃

某研究團隊正在訓練一個針對低資源語言(如少數民族語言)的語言模型,但該語言僅有約1萬筆語料可用。在訓練過程中出現明顯的過擬合現象,若希望在不新增真實語料的前提下提升模型的泛化能力,採用下列哪一種方法最為適合?

  1. A將Transformer的隱藏層維度擴增至1024,以提升表徵能力

    擴大隱藏層維度只會讓參數更多,過擬合更嚴重。

  2. B採用反向翻譯(Back-Translation)技術,以生成額外目標語句的偽平行語料(Pseudo‑Parallel Corpus)(正確答案)

    反向翻譯自動生成偽平行語料,等於在資料面擴增。

  3. C對詞嵌入矩陣(Embedding Matrix),施加L1正則化以壓縮模型參數

    L1 稀疏化詞嵌入會傷害語意表徵,非首選。

  4. D將多語言BERT(mBERT)中所有Transformer層全部凍結以保留預訓練知識

    全層凍結等於放棄適應目標語言,泛化不會變好。

正確答案:B

低資源情境下以資料增強緩解過擬合的作法判斷。 先看限制條件是「不能增加真實資料」還是「模型太小」,再選對應的資料面或模型面手段。

用刷8題準備 iPAS AI 應用規劃師中級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

AI 導入規劃

  1. 114 年第二次 科一 第 33 題企業團隊在使用Word2Vec模型訓練客服文本語料時,若訓練資料量龐大且希望模型能更有效捕捉罕見詞的語意關聯,下列哪一種…
  2. 114 年第二次 科一 第 36 題某資料科學團隊在開發預測模型時,針對多種模型設定(如學習率、樹深度、正則化係數等)進行系統化測試,希望找出在驗證資料上表…
  3. 114 年第二次 科一 第 37 題某公司正在訓練一個大型語音合成模型,開發團隊使用多台GPU進行訓練,但經常出現GPU記憶體不足問題。由於模型架構已固定且…
  4. 114 年第二次 科一 第 45 題進行影像分類任務時,研究團隊嘗試利用主成分分析(Principal Component Analysis, PCA)將輸…
  5. 114 年第二次 科一 第 47 題某金融科技公司導入多任務學習架構,讓單一Transformer模型同時執行OCR(Optical Character R…