iPAS AI 應用規劃師中級 115 年第一次 科一 第 17 題 詳解

115 年第一次 科一 人工智慧技術應用與規劃

某醫療新創公司正在開發一套「多模態患者風險評估系統」，需同時處理三種異質資料來源：胸腔X光影像（影像模態）、臨床診斷筆記（文字模態），以及心率與血氧的時序感測資料（數值時序模態）。工程師在進行各模態的特徵擷取模型選擇時，需為每種模態挑選最適合的模型架構。下列哪一組模型配置最符合三種模態各自的資料特性？

1. A影像模態用LSTM、文字模態用CNN、時序模態用BERT

   把影像與文字的架構對調，完全違反各模型設計目的。

2. B影像模態用TF-IDF、文字模態用ResNet、時序模態用Word2Vec

   TF-IDF與Word2Vec是文字方法，卻用於影像與時序。

3. C三種模態統一使用BERT，因為Transformer架構具備通用性，可處理任意形式的輸入資料

   Transformer雖通用，仍需模態專屬前處理與嵌入層。

4. D影像模態用CNN、文字模態用Transformer、時序模態用LSTM或Temporal CNN（正確答案）

   正解：空間用CNN、語意用Transformer、時序用LSTM。