iPAS AI 應用規劃師中級 115 年第一次 科一 第 19 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

一家電商公司已將推薦系統AI模型上線三個月，業務主管要求專案團隊評估導入成效。團隊根據下圖數據得出結論：「因為AUC高達0.91，模型表現優異，AI導入成效良好。」請問此評估結論存在什麼根本問題？

點圖放大

1. A僅依賴離線指標AUC判斷模型成效，忽略線上業務指標（如CTR與營收）的變化，可能導致錯誤結論（正確答案）

   點出只看離線 AUC、忽略 CTR 與營收的根本盲點。

2. BAUC已達0.91，代表模型排序能力優異，即使CTR略為下降，仍可視為推薦品質提升

   用離線排序能力去合理化線上指標下滑，因果顛倒。

3. CCTR從3.2%降至3.1%，顯示模型效果變差，應立即還原（Rollback）至舊模型

   0.1 個百分點未驗證顯著性，直接回滾過度反應。

4. D平均訂單金額提升至$1,020，代表模型已成功優化營收，因此無需考慮其他指標

   客單價上升可能來自其他因素，單一指標不足以定論。