iPAS AI 應用規劃師中級 115 年第一次 科一 第 14 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

某工程師計劃將通用LLM在醫療問答語料上進行監督微調（Supervised Fine-Tuning, SFT），但發生了災難性遺忘（Catastrophic Forgetting）問題。在計算資源有限的情況下，工程師希望透過調整微調策略來緩解此問題。下列哪一種訓練設計最能有效率地學習新任務的同時保留原有能力？

1. A凍結大部分預訓練參數，僅對少量新增模組（如LoRA層）進行微調，並控制更新範圍以減少對原有知識的干擾（正確答案）

   凍結預訓練權重、只訓練LoRA等少量參數，干擾最小。

2. B提高學習率（Learning Rate）並縮短訓練步數，使模型快速收斂至新任務，避免長時間訓練造成遺忘

   高學習率反而更猛烈覆寫原有權重，加劇遺忘。

3. C僅使用醫療語料進行多輪訓練，強化模型對新任務的專注程度

   單一領域語料反覆訓練是造成遺忘的原因，不是解法。

4. D增加批次大小（Batch Size）以穩定梯度更新，使模型同時保留舊知識與學習新知識

   批次大小只影響梯度穩定度，不保護舊知識。