iPAS AI 應用規劃師中級 114 年第二次 科一 第 19 題 詳解

114 年第二次 科一 人工智慧技術應用與規劃

某研究團隊正在訓練一個針對低資源語言（如少數民族語言）的語言模型，但該語言僅有約1萬筆語料可用。在訓練過程中出現明顯的過擬合現象，若希望在不新增真實語料的前提下提升模型的泛化能力，採用下列哪一種方法最為適合？

1. A將Transformer的隱藏層維度擴增至1024，以提升表徵能力

   擴大隱藏層維度只會讓參數更多，過擬合更嚴重。

2. B採用反向翻譯（Back-Translation）技術，以生成額外目標語句的偽平行語料（Pseudo‑Parallel Corpus）（正確答案）

   反向翻譯自動生成偽平行語料，等於在資料面擴增。

3. C對詞嵌入矩陣（Embedding Matrix），施加L1正則化以壓縮模型參數

   L1 稀疏化詞嵌入會傷害語意表徵，非首選。

4. D將多語言BERT（mBERT）中所有Transformer層全部凍結以保留預訓練知識

   全層凍結等於放棄適應目標語言，泛化不會變好。