iPAS AI 應用規劃師中級 114 年第二次 科一 第 3 題 詳解

114 年第二次 科一 人工智慧技術應用與規劃 · 考點:AI 風險管理

某企業計畫應用BERT(Bidirectional Encoder Representations from Transformers)模型分析大量顧客意見,以強化客服自動回覆系統。在BERT的預訓練過程中,「遮罩語言模型(Masked Language Model, MLM)」的主要訓練策略為何?

  1. A依序遮罩句尾詞語,讓模型從左到右逐步生成完整句子

    由左至右逐步生成是 GPT 類自迴歸語言模型的做法。

  2. B隨機遮罩部分詞語,並讓模型根據雙向上下文(Bidirectional Context)預測被遮罩的詞(正確答案)

    隨機遮罩並用左右兩側上下文還原,正是 MLM 定義。

  3. C透過對抗訓練(Adversarial Training)生成語意相似的擾動樣本以提升泛化性

    對抗訓練屬強健性微調技巧,不是 BERT 預訓練目標。

  4. D以未遮罩的詞為條件,使用解碼器(Decoder)結構重建整句內容

    BERT 只用編碼器堆疊,沒有解碼器重建整句。

正確答案:B

BERT 預訓練中遮罩語言模型的運作方式與雙向上下文特性。 看到預訓練任務題,先辨認該模型是編碼器雙向理解型還是解碼器單向生成型。

用刷8題準備 iPAS AI 應用規劃師中級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

AI 風險管理

  1. 114 年第二次 科一 第 35 題某媒體公司計畫導入CLIP(Contrastive Language–Image Pre-training)模型,以協助…
  2. 115 年第一次 科一 第 11 題某工程師在分析Transformer架構時,發現自注意力機制(Self-Attention)能夠有效提升模型對序列中長距…
  3. 114 年第二次 科一 第 8 題關於Softmax與Max-Pooling,下列敘述何者正確?
  4. 114 年第二次 科一 第 11 題企業資料分析團隊使用DBSCAN(Density-Based Spatial Clustering of Applica…
  5. 114 年第二次 科一 第 14 題在調整模型超參數(Hyperparameters)時,若希望避免因過度調整參數而導致過擬合,下列哪一種做法最有效提升模型…