iPAS AI 應用規劃師中級 115 年第一次 科一 第 3 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

某工程師在建構搜尋引擎的詞向量模型時，語料庫規模達數十億token，且包含大量長尾詞彙（Long-tail Terms）。他在Word2Vec的CBOW與Skip-gram兩種訓練策略之間進行選擇，需考量訓練效率與低頻詞表示品質之差異。下列何者最能準確地反映兩者在此情境下的取捨？

1. ACBOW對長尾詞表現更好，因為它透過多個上下文詞的平均來強化稀疏詞的訓練訊號

   上下文平均會稀釋稀疏詞訊號，不是強化。

2. BCBOW訓練速度較快、整體語意平滑，但對低頻詞的向量品質較差；Skip-gram以中心詞預測周圍詞，對長尾詞累積更多訓練樣本，向量品質較優（正確答案）

   正確描述兩者在速度與長尾詞品質上的反向取捨。

3. CSkip-gram訓練速度更快，因為每次只需預測單一目標詞，計算量低於CBOW

   速度方向顛倒，CBOW 才是較快者。

4. D兩者對低頻詞的表現完全相同，差異僅在於訓練時的Batch組織方式

   兩者更新機制不同，低頻詞表現不可能相同。