iPAS AI 應用規劃師中級 114 年第二次 科一 第 3 題 詳解

114 年第二次 科一 人工智慧技術應用與規劃

某企業計畫應用BERT（Bidirectional Encoder Representations from Transformers）模型分析大量顧客意見，以強化客服自動回覆系統。在BERT的預訓練過程中，「遮罩語言模型（Masked Language Model, MLM）」的主要訓練策略為何？

1. A依序遮罩句尾詞語，讓模型從左到右逐步生成完整句子

   由左至右逐步生成是 GPT 類自迴歸語言模型的做法。

2. B隨機遮罩部分詞語，並讓模型根據雙向上下文（Bidirectional Context）預測被遮罩的詞（正確答案）

   隨機遮罩並用左右兩側上下文還原，正是 MLM 定義。

3. C透過對抗訓練（Adversarial Training）生成語意相似的擾動樣本以提升泛化性

   對抗訓練屬強健性微調技巧，不是 BERT 預訓練目標。

4. D以未遮罩的詞為條件，使用解碼器（Decoder）結構重建整句內容

   BERT 只用編碼器堆疊，沒有解碼器重建整句。