iPAS AI 應用規劃師中級 114 年第二次 科一 第 19 題 詳解
114 年第二次 科一 人工智慧技術應用與規劃 · 考點:AI 導入規劃
某研究團隊正在訓練一個針對低資源語言(如少數民族語言)的語言模型,但該語言僅有約1萬筆語料可用。在訓練過程中出現明顯的過擬合現象,若希望在不新增真實語料的前提下提升模型的泛化能力,採用下列哪一種方法最為適合?
- A將Transformer的隱藏層維度擴增至1024,以提升表徵能力
擴大隱藏層維度只會讓參數更多,過擬合更嚴重。
- B採用反向翻譯(Back-Translation)技術,以生成額外目標語句的偽平行語料(Pseudo‑Parallel Corpus)(正確答案)
反向翻譯自動生成偽平行語料,等於在資料面擴增。
- C對詞嵌入矩陣(Embedding Matrix),施加L1正則化以壓縮模型參數
L1 稀疏化詞嵌入會傷害語意表徵,非首選。
- D將多語言BERT(mBERT)中所有Transformer層全部凍結以保留預訓練知識
全層凍結等於放棄適應目標語言,泛化不會變好。
正確答案:B
低資源情境下以資料增強緩解過擬合的作法判斷。 先看限制條件是「不能增加真實資料」還是「模型太小」,再選對應的資料面或模型面手段。
用刷8題準備 iPAS AI 應用規劃師中級
每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。
開始刷題同考點的題目
AI 導入規劃
- 114 年第二次 科一 第 33 題企業團隊在使用Word2Vec模型訓練客服文本語料時,若訓練資料量龐大且希望模型能更有效捕捉罕見詞的語意關聯,下列哪一種…
- 114 年第二次 科一 第 36 題某資料科學團隊在開發預測模型時,針對多種模型設定(如學習率、樹深度、正則化係數等)進行系統化測試,希望找出在驗證資料上表…
- 114 年第二次 科一 第 37 題某公司正在訓練一個大型語音合成模型,開發團隊使用多台GPU進行訓練,但經常出現GPU記憶體不足問題。由於模型架構已固定且…
- 114 年第二次 科一 第 45 題進行影像分類任務時,研究團隊嘗試利用主成分分析(Principal Component Analysis, PCA)將輸…
- 114 年第二次 科一 第 47 題某金融科技公司導入多任務學習架構,讓單一Transformer模型同時執行OCR(Optical Character R…