iPAS AI 應用規劃師中級 115 年第一次 科一 第 19 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃 · 考點:數據準備與模型選擇

一家電商公司已將推薦系統AI模型上線三個月,業務主管要求專案團隊評估導入成效。團隊根據下圖數據得出結論:「因為AUC高達0.91,模型表現優異,AI導入成效良好。」請問此評估結論存在什麼根本問題?

  1. A僅依賴離線指標AUC判斷模型成效,忽略線上業務指標(如CTR與營收)的變化,可能導致錯誤結論(正確答案)

    點出只看離線 AUC、忽略 CTR 與營收的根本盲點。

  2. BAUC已達0.91,代表模型排序能力優異,即使CTR略為下降,仍可視為推薦品質提升

    用離線排序能力去合理化線上指標下滑,因果顛倒。

  3. CCTR從3.2%降至3.1%,顯示模型效果變差,應立即還原(Rollback)至舊模型

    0.1 個百分點未驗證顯著性,直接回滾過度反應。

  4. D平均訂單金額提升至$1,020,代表模型已成功優化營收,因此無需考慮其他指標

    客單價上升可能來自其他因素,單一指標不足以定論。

正確答案:A

AI 導入成效須用線上業務指標驗證,不能只看離線模型指標。 看到用單一模型分數宣告成效時,先問這個指標是離線的還是線上業務的。

用刷8題準備 iPAS AI 應用規劃師中級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

數據準備與模型選擇

  1. 115 年第一次 科一 第 22 題某金融科技公司計劃建立完整的AI開發到維運流程,希望實現「模型訓練→測試→部署→監控→再訓練」的自動化流程串接,並確保線…
  2. 115 年第一次 科一 第 23 題某製造業公司計劃將AI導入生產線瑕疵檢測流程,目前瑕疵樣本約800張(含各類瑕疵類型)、正常樣本約15,000張,現有I…
  3. 115 年第一次 科一 第 28 題一位資料科學家使用XGBoost建立信用風險評分模型,並使用SHAP解釋模型對某申請人的預測結果。SHAP summar…
  4. 115 年第一次 科一 第 29 題某工程師為一套卷積神經網路(CNN)的醫療影像輔助診斷系統設計模型可解釋性機制。該系統需滿足下列需求:1.能向醫師說明影…
  5. 115 年第一次 科一 第 31 題某資料工程師嘗試對包含300個特徵的使用者行為資料集使用DBSCAN進行群集分析,但發現幾乎所有資料點都被判定為雜訊點(…