iPAS AI 應用規劃師中級 114 年第二次 科一 第 5 題 詳解

114 年第二次 科一 人工智慧技術應用與規劃

某企業以詞頻–逆文件頻率（Term Frequency–Inverse Document Frequency, TF-IDF）方法分析顧客意見內容，但發現模型在處理篇幅較長的回饋文本時，無法準確反映關鍵詞的重要性。下列何者為造成此現象的主要原因？

1. A長文本中的詞頻偏高，導致常見詞權重被過度放大（正確答案）

   長文詞頻絕對值被放大，常見詞權重因而虛高。

2. B長文本中缺乏明確句子邊界，造成TF-IDF無法計算詞頻

   TF 以詞為單位統計，不需要句子邊界。

3. CTF-IDF無法同時處理多份文件

   IDF 本就跨多份文件計算，敘述與定義矛盾。

4. D長文本會改變IDF（Inverse Document Frequency）的計算，使所有詞權重趨於相近

   IDF 由文件數決定，不隨單篇長度改變。