iPAS AI 應用規劃師中級 115 年第一次 科一 第 4 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃 · 考點:數據準備與模型選擇

某金融科技公司的工程師正在準備內部客服對話與交易紀錄文本,進行BERT模型的預訓練,以提升模型對金融語境的理解能力,並採用遮蔽語言建模(Masked Language Model, MLM)作為訓練任務。請問MLM的核心訓練目標為何?

  1. A讓模型自左至右逐token生成句子,學習自迴歸語言模型(Autoregressive LM)能力

    自左至右逐 token 生成是 GPT 類自迴歸模型的做法。

  2. B透過對抗訓練(Adversarial Training)縮小真實句與生成句之間的語意差異

    對抗訓練屬 GAN 思路,非 BERT 預訓練目標。

  3. C隨機遮蔽輸入序列中部分token,訓練模型根據雙向上下文預測被遮蔽的原始內容(正確答案)

    隨機遮蔽並用雙向上下文還原,正是 MLM 定義。

  4. D透過遮蔽低頻詞來減少詞彙表大小,降低Embedding的記憶體使用

    MLM 不是為壓縮詞彙表或省記憶體而遮蔽。

正確答案:C

BERT 預訓練中遮蔽語言建模(MLM)的訓練目標與運作方式。 看到預訓練任務題,先辨認它是「雙向填空」還是「單向接龍」,再對應模型架構。

用刷8題準備 iPAS AI 應用規劃師中級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

數據準備與模型選擇

  1. 115 年第一次 科一 第 8 題某工程師訓練了一個皮膚病變二元分類模型(惡性/良性),在向臨床醫師報告模型效能時,使用ROC曲線(Receiver Op…
  2. 115 年第一次 科一 第 15 題某企業建置一套多代理人(Multi-Agent)系統,由一個Orchestrator Agent負責任務分配,多個Wor…
  3. 115 年第一次 科一 第 19 題一家電商公司已將推薦系統AI模型上線三個月,業務主管要求專案團隊評估導入成效。團隊根據下圖數據得出結論:「因為AUC高達…
  4. 115 年第一次 科一 第 22 題某金融科技公司計劃建立完整的AI開發到維運流程,希望實現「模型訓練→測試→部署→監控→再訓練」的自動化流程串接,並確保線…
  5. 115 年第一次 科一 第 23 題某製造業公司計劃將AI導入生產線瑕疵檢測流程,目前瑕疵樣本約800張(含各類瑕疵類型)、正常樣本約15,000張,現有I…