iPAS AI 應用規劃師中級 115 年第一次 科一 第 42 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

某保險公司將理賠金額預測模型正式部署上線，MLOps團隊設計監控機制。三個月後模型整體均方根誤差（RMSE）無明顯變化，但業務單位反映高額理賠案件的預測誤差明顯增加。經分析，高額理賠案件僅佔約5%的樣本比例，且未被監控機制及時發現。請問最可能的設計缺陷為何？

1. A監控頻率不足，應由每日批次監控改為即時串流監控

   誤差被整體平均掩蓋，監控再即時也照樣看不出來。

2. B高額理賠案件屬於長尾分布，難以透過監控指標偵測，因此無法透過監控機制發現問題

   長尾可用分群或加權指標監控，說偵測不到是放棄設計。

3. CRMSE無法有效反映高額誤差，應改以平均絕對誤差（MAE）作為主要監控指標

   MAE對大誤差比RMSE更不敏感，換了只會更難發現。

4. D僅監控整體RMSE，未針對不同理賠金額區間進行分群監控（正確答案）

   整體RMSE被95%一般案件稀釋，須依理賠金額分群監控。