iPAS AI 應用規劃師中級 115 年第一次 科一 第 4 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

某金融科技公司的工程師正在準備內部客服對話與交易紀錄文本，進行BERT模型的預訓練，以提升模型對金融語境的理解能力，並採用遮蔽語言建模（Masked Language Model, MLM）作為訓練任務。請問MLM的核心訓練目標為何？

1. A讓模型自左至右逐token生成句子，學習自迴歸語言模型（Autoregressive LM）能力

   自左至右逐 token 生成是 GPT 類自迴歸模型的做法。

2. B透過對抗訓練（Adversarial Training）縮小真實句與生成句之間的語意差異

   對抗訓練屬 GAN 思路，非 BERT 預訓練目標。

3. C隨機遮蔽輸入序列中部分token，訓練模型根據雙向上下文預測被遮蔽的原始內容（正確答案）

   隨機遮蔽並用雙向上下文還原，正是 MLM 定義。

4. D透過遮蔽低頻詞來減少詞彙表大小，降低Embedding的記憶體使用

   MLM 不是為壓縮詞彙表或省記憶體而遮蔽。