iPAS AI 應用規劃師中級 115 年第一次 科一 第 2 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

一家新創公司希望對Llama3 70B模型進行領域微調（Domain Fine-Tuning）以建立企業專用助理，但GPU記憶體有限，無法支撐完整模型的反向傳播梯度計算。工程師希望凍結（freeze）原模型權重、僅訓練少量額外參數的前提下，評估採用LoRA（Low-Rank Adaptation）方案。請問LoRA在此場景下的主要優勢為何？

1. A透過知識蒸餾（Knowledge Distillation）將70B模型壓縮為較小的學生模型

   知識蒸餾是另訓小模型，不符凍結原模型微調。

2. B對原始模型各層權重進行剪枝（Pruning），移除低重要性參數後再進行微調

   剪枝是移除參數做壓縮，仍需改動原始權重。

3. C凍結原始預訓練權重，僅在各層加入低秩分解的可訓練矩陣，大幅降低可訓練參數量與GPU記憶體需求（正確答案）

   凍結預訓練權重、加低秩可訓練矩陣，正解。

4. D將模型中的注意力機制改為稀疏注意力（Sparse Attention），以降低長序列計算成本

   稀疏注意力降的是長序列運算成本，非微調手段。