iPAS AI 應用規劃師中級 115 年第一次 科一 第 43 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

某電商平台的演算法工程師開發了一個新版商品推薦模型，在離線A/B測試中，新模型的各項評估指標（AUC、NDCG@10）均顯著優於現行線上模型。然而，離線測試無法完全反映真實使用者的互動行為（點擊、購買、停留時間）。在正式全面上線前，若希望在可控制風險下量化真實業務指標，應採用下列何種線上驗證策略？

1. A影子模式（Shadow Mode）：新舊模型同時產生預測，但僅顯示舊模型結果，於後端比較輸出差異

   影子模式不曝光給使用者，拿不到真實CTR、CVR。

2. B回測（Backtesting）：使用歷史日誌模擬模型表現作為上線依據

   回測仍是離線歷史資料，無法反映真實互動。

3. C金絲雀發布（Canary Release）：將1–5%使用者流量導向新模型，量測CTR、CVR等指標並逐步擴量（正確答案）

   小流量導入並量測業務指標後逐步擴量，風險可控。

4. D負載測試（Load Testing）：於測試環境進行高流量壓力測試後直接全面上線

   負載測試只驗證效能承載，與推薦成效無關。