iPAS AI 應用規劃師中級 115 年第一次 科一 第 43 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃 · 考點:數據準備與模型選擇

某電商平台的演算法工程師開發了一個新版商品推薦模型,在離線A/B測試中,新模型的各項評估指標(AUC、NDCG@10)均顯著優於現行線上模型。然而,離線測試無法完全反映真實使用者的互動行為(點擊、購買、停留時間)。在正式全面上線前,若希望在可控制風險下量化真實業務指標,應採用下列何種線上驗證策略?

  1. A影子模式(Shadow Mode):新舊模型同時產生預測,但僅顯示舊模型結果,於後端比較輸出差異

    影子模式不曝光給使用者,拿不到真實CTR、CVR。

  2. B回測(Backtesting):使用歷史日誌模擬模型表現作為上線依據

    回測仍是離線歷史資料,無法反映真實互動。

  3. C金絲雀發布(Canary Release):將1–5%使用者流量導向新模型,量測CTR、CVR等指標並逐步擴量(正確答案)

    小流量導入並量測業務指標後逐步擴量,風險可控。

  4. D負載測試(Load Testing):於測試環境進行高流量壓力測試後直接全面上線

    負載測試只驗證效能承載,與推薦成效無關。

正確答案:C

考模型上線前的線上驗證策略:如何在可控風險下量測真實業務指標。 先問「要不要讓真實使用者接觸新模型並產生業務數據」,再選對應的發布策略。

用刷8題準備 iPAS AI 應用規劃師中級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

數據準備與模型選擇

  1. 115 年第一次 科一 第 49 題某零售電商平台已建立模型監控儀表板,用於追蹤線上推薦模型的運作狀態與效能表現。維運工程師需判斷哪些指標屬於「線上持續監控…
  2. 115 年第一次 科一 第 50 題某醫療團隊建立肺炎診斷系統,採用晚期融合(Late Fusion)策略,將胸腔X光影像與病患問診文字分別進行預測後再整合…
  3. 114 年第二次 科一 第 7 題在企業導入的智慧監控系統中,模型以物件偵測(Object Detection)方式自動辨識影像中的人物與車輛。若評估指標…
  4. 114 年第二次 科一 第 10 題如果希望同時兼顧「精確率(Precision)」和「召回率(Recall)」,下列哪一個指標可以作為綜合評估的標準?
  5. 114 年第二次 科一 第 12 題某金融科技公司建立房價預測模型,使用多項特徵(如建坪、房齡、樓層、總價等)進行線性迴歸分析(Linear Regress…