iPAS AI 應用規劃師中級 115 年第一次 科一 第 41 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

某AI影像辨識平台以單一GPU伺服器提供多租戶推論服務，系統長期觀察到GPU使用率約維持在60%左右，且在執行過程中可觀察到GPU kernel之間存在明顯閒置間隔，單次推論多以小批次方式執行。然而，在尖峰時段時，請求延遲會出現明顯波動甚至突增。同時，CPU與記憶體資源使用率均未達瓶頸，且系統團隊已排除硬體、網路與請求併發控制異常。在此情境下，請判斷最可能造成問題的原因為何？

1. AGPU排程策略與批次大小設定不當，導致GPU運算單元未被有效利用（正確答案）

   小批次加kernel間隙，正是排程與批次設定造成的算力空轉。

2. B請求併發控制機制不佳，導致多個請求同時搶占GPU Context資源造成延遲

   題目已明講併發控制異常被排除，不能再當原因。

3. CGPU硬體效能不足，無法支撐推論負載

   硬體不足時使用率會逼近滿載，而非停在六成。

4. D模型未進行量化優化，導致推論計算成本過高

   量化不足會讓GPU持續忙碌，無法解釋kernel之間的閒置。