iPAS AI 應用規劃師中級 115 年第一次 科二 第 12 題 詳解
115 年第一次 科二 大數據處理分析與應用 · 考點:敘述性統計與資料摘要技術
某資料工程師在建構AI訓練資料處理流程時,需要處理一個50GB的CSV檔案,其大小遠超過系統可用記憶體。他使用Python的Pandas進行資料前處理,但直接呼叫pd.read_csv()時出現記憶體溢位(Out of Memory, OOM)錯誤。在不改用其他分散式框架的前提下,下列哪個參數最能有效解決此問題?
- Anrows=10000:限制僅讀取前N筆資料以避免記憶體溢位
只讀前N筆會丟失其餘資料,不是完整處理。
- Busecols=0.5:隨機載入50%的資料欄位,以減半記憶體使用量
usecols是指定欄位名稱或索引,不能給比例值。
- Cchunksize=10000:分批讀取資料並逐批處理,避免一次載入整個檔案(正確答案)
分批串流讀取並逐批處理,完整走完50GB。
- Ddtype:指定欄位資料型別以降低記憶體使用量
能壓縮記憶體,但整檔仍一次載入,救不了50GB。
正確答案:C
考大型資料檔案在記憶體不足時的分批讀取(chunking)處理方式。 先判斷瓶頸是「資料總量塞不進記憶體」還是「單筆欄位佔用過大」,再選對應參數。
用刷8題準備 iPAS AI 應用規劃師中級
每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。
開始刷題同考點的題目
敘述性統計與資料摘要技術
- 115 年第一次 科二 第 14 題某AI平台的資料量已達PB級,單一資料庫節點已無法負荷,決定採用分片(Sharding)策略。下列何者為Sharding…
- 115 年第一次 科二 第 16 題某工程師在建立推薦系統時,評估使用奇異值分解(Singular Value Decomposition, SVD)對使用…
- 115 年第一次 科二 第 33 題某線上書店希望建立一個多類別書籍推薦模型,根據讀者的「年齡、性別、過去購書類別偏好評分」等特徵,預測讀者下次最可能購買的…
- 115 年第一次 科二 第 34 題某電商平台希望建立二元分類模型,根據商品的「價格區間、品牌、顏色、材質」等特徵,將商品分類為「高銷量(1)」或「低銷量(…
- 115 年第一次 科二 第 39 題在建構自動化資料清洗管線時,工程師撰寫一個用於補齊缺失欄位的Python函式,如下圖所示。當此函式連續處理兩筆獨立的資料…