iPAS AI 應用規劃師中級 115 年第一次 科一 第 21 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

一位機器學習工程師正在優化公司內部的RAG法律文件問答系統。近期因營運成本壓力，公司要求在不更換模型且不影響回答品質的前提下，將整體token成本降低至目前的60%，且目前成本主要集中於輸入tokens。工程師在檢查系統後，盤點出目前的使用情況如下： ◆使用模型：GPT-4o（輸入$5／1M tokens、輸出$15／1M tokens） ◆每次查詢：將前10筆檢索文件區塊全部加入Prompt（每塊約600 tokens） ◆System Prompt：每次請求均包含約500tokens的公司背景說明 ◆對話機制：保留完整對話歷史，平均累積約8,000tokens ◆每日查詢量：約5,000次 ◆平均輸出：約300tokens／次 在上述限制與系統現況下，請問下列哪一項優化組合，最能在維持回答品質的前提下有效降低token成本？

1. A將輸出max_tokens從1,000壓縮至200，強制模型給出更短的回答，以降低輸出費用

   壓縮輸出上限只動輸出端，且可能截斷答案。

2. B將System Prompt改為Prompt Caching或靜態前綴重用，並對對話歷史實作摘要壓縮，以保留語意而非完整對話（正確答案）

   快取靜態前綴加歷史摘要，直擊輸入端重複成本。

3. C將所有查詢改為Batch API模式送出，透過非同步處理降低單次費用

   批次 API 降的是單價與時效，非 token 用量。

4. D在Prompt中明確要求模型「回答時盡量簡短」，透過指令引導模型自行縮減輸出長度

   指令引導同樣只影響輸出，效果還不穩定。