iPAS AI 應用規劃師中級 115 年第一次 科一 第 2 題 詳解
115 年第一次 科一 人工智慧技術應用與規劃 · 考點:AI 導入規劃
一家新創公司希望對Llama3 70B模型進行領域微調(Domain Fine-Tuning)以建立企業專用助理,但GPU記憶體有限,無法支撐完整模型的反向傳播梯度計算。工程師希望凍結(freeze)原模型權重、僅訓練少量額外參數的前提下,評估採用LoRA(Low-Rank Adaptation)方案。請問LoRA在此場景下的主要優勢為何?
- A透過知識蒸餾(Knowledge Distillation)將70B模型壓縮為較小的學生模型
知識蒸餾是另訓小模型,不符凍結原模型微調。
- B對原始模型各層權重進行剪枝(Pruning),移除低重要性參數後再進行微調
剪枝是移除參數做壓縮,仍需改動原始權重。
- C凍結原始預訓練權重,僅在各層加入低秩分解的可訓練矩陣,大幅降低可訓練參數量與GPU記憶體需求(正確答案)
凍結預訓練權重、加低秩可訓練矩陣,正解。
- D將模型中的注意力機制改為稀疏注意力(Sparse Attention),以降低長序列計算成本
稀疏注意力降的是長序列運算成本,非微調手段。
正確答案:C
LoRA 屬於參數高效微調,凍結原權重只訓練低秩矩陣。 看題目限制條件,凍結權重、省記憶體就往參數高效微調方向找,不要跳到壓縮或推論加速。
用刷8題準備 iPAS AI 應用規劃師中級
每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。
開始刷題同考點的題目
AI 導入規劃
- 115 年第一次 科一 第 9 題某團隊在監控影像分類模型的線上效能時,透過儀表板呈現混淆矩陣(Confusion Matrix),以觀察模型預測結果與實…
- 115 年第一次 科一 第 13 題某公司評估兩種方案,將大型語言模型客製化為內部客服助理:方案A為提示微調(Prompt Tuning),在輸入端加入可學…
- 115 年第一次 科一 第 14 題某工程師計劃將通用LLM在醫療問答語料上進行監督微調(Supervised Fine-Tuning, SFT),但發生了…
- 115 年第一次 科一 第 16 題一位工程師正在實作一個ReAct框架的AI Agent,該Agent需要回答「台灣目前最大的電動車充電站營運商是哪間公司…
- 115 年第一次 科一 第 17 題某醫療新創公司正在開發一套「多模態患者風險評估系統」,需同時處理三種異質資料來源:胸腔X光影像(影像模態)、臨床診斷筆記…