iPAS AI 應用規劃師中級 115 年第一次 科二 第 35 題 詳解
115 年第一次 科二 大數據處理分析與應用 · 考點:統計學在大數據中的應用
某工程師在開發一個以Transformer為基礎的文本分類模型時,發現模型對於詞語順序的變化不夠敏感,影響語意判斷效果。請問在Transformer架構中,位置編碼(Positional Encoding)的主要作用為何?
- A在詞嵌入(Embedding)中加入隨機擾動,以提升模型對輸入變化的泛化能力
加隨機擾動是正則化手法,與位置資訊無關。
- B在注意力機制中加入遮罩(Mask),限制模型只能關注部分詞語
遮罩控制可見範圍,屬注意力機制設計,非位置編碼。
- C將輸入序列轉換為可同時運算的向量表示,以提升計算效率
平行運算是自注意力的特性,也正是順序資訊遺失的原因。
- D在詞的向量表示中加入位置資訊,使模型能區分序列中不同位置的詞語(正確答案)
正解,把位置資訊疊加進詞向量,使同詞不同位可區分。
正確答案:D
考位置編碼在 Transformer 架構中補足序列順序資訊的作用。 先問這個元件補的是模型天生缺什麼,再對照選項描述的功能是否一致。
用刷8題準備 iPAS AI 應用規劃師中級
每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。
開始刷題同考點的題目
統計學在大數據中的應用
- 115 年第一次 科二 第 37 題某金融機構將訓練好的信用評分模型開放API供合作夥伴查詢。資安團隊警告此設計可能遭受成員推斷攻擊(Membership …
- 115 年第一次 科二 第 38 題某AI平台的資料治理工程師正在評估三種去識別化技術的適用場景與強度:K匿名(K-anonymity)、差分隱私合成資料(…
- 114 年第二次 科二 第 11 題若一家公司需即時監控大量物聯網裝置的異常行為,下列哪一種組合最適合此應用?
- 114 年第二次 科二 第 21 題某資料分析師設計在業務績效報告時,希望單一頁面中同時呈現多區域、不同產品線的銷售趨勢變化,並確保主管能在短時間內掌握整體…
- 114 年第二次 科二 第 24 題某企業建置生成式AI系統,利用大量客服紀錄與產品評論資料訓練語言模型,以自動生成客服回覆與知識摘要。由於資料來源多樣,且…