iPAS AI 應用規劃師中級 115 年第一次 科二 第 12 題 詳解

115 年第一次 科二 大數據處理分析與應用

某資料工程師在建構AI訓練資料處理流程時，需要處理一個50GB的CSV檔案，其大小遠超過系統可用記憶體。他使用Python的Pandas進行資料前處理，但直接呼叫pd.read_csv()時出現記憶體溢位（Out of Memory, OOM）錯誤。在不改用其他分散式框架的前提下，下列哪個參數最能有效解決此問題？

1. Anrows=10000：限制僅讀取前N筆資料以避免記憶體溢位

   只讀前N筆會丟失其餘資料，不是完整處理。

2. Busecols=0.5：隨機載入50%的資料欄位，以減半記憶體使用量

   usecols是指定欄位名稱或索引，不能給比例值。

3. Cchunksize=10000：分批讀取資料並逐批處理，避免一次載入整個檔案（正確答案）

   分批串流讀取並逐批處理，完整走完50GB。

4. Ddtype：指定欄位資料型別以降低記憶體使用量

   能壓縮記憶體，但整檔仍一次載入，救不了50GB。