iPAS AI 應用規劃師中級 115 年第一次 科二 第 21 題 詳解
115 年第一次 科二 大數據處理分析與應用 · 考點:數據儲存與管理
某AI平台的資料工程師需要在Apache Spark叢集上,對包含10億筆使用者行為紀錄的RDD/DataFrame計算整體標準差(Standard Deviation)。請問下列哪種策略在分散式環境中最正確且有效率?
- A呼叫collect()將所有資料傳回Driver節點的本機記憶體後,再使用Python的statistics.stdev()計算
collect() 把十億筆拉回 Driver 本機,記憶體必爆,等於放棄分散式。
- B先對資料進行全域排序(sortBy),再取中間值計算變異數
全域排序(sortBy)成本極高,且中位數本來就推不出變異數。
- C將資料輸出為CSV,再以Excel的STDEV函數計算
匯出 CSV 再用 Excel 完全不具擴充性,十億筆開不了。
- D使用DataFrame.agg({'col': 'stddev'})或RDD.aggregate()等分散式統計方法,由各Executor計算局部統計量後再進行彙總(正確答案)
各 Executor 算出筆數、總和、平方和,彙總即得標準差。
正確答案:D
這題考分散式運算中統計量的可結合彙總:先算局部、再合併全域。 遇到巨量資料的統計題,先判斷該統計量能否拆成局部彙總,能拆就交給叢集平行處理。
用刷8題準備 iPAS AI 應用規劃師中級
每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。
開始刷題同考點的題目
數據儲存與管理
- 115 年第一次 科二 第 30 題訓練資料共5,000萬筆,工程師比較Batch Size=32與Batch Size = 4096的訓練表現,發現大批次…
- 115 年第一次 科二 第 31 題某公司中,A團隊負責信用評分模型,B團隊負責詐欺偵測模型,兩團隊皆需要「使用者過去30天交易行為」資料,但各自會進行特徵…
- 115 年第一次 科二 第 47 題分析師想將customers表中的Region欄位加入到df交易紀錄中,且「只保留那些在customers表中有對應資料…
- 114 年第二次 科二 第 8 題資料科學家為分析顧客行為,利用現有欄位「銷售金額」與「瀏覽次數」,計算出新變數「銷售金額/瀏覽次數」。此動作屬於下列哪一…
- 114 年第二次 科二 第 14 題某組資料共10項標籤如下:A, A, A, A, A, B, B, B, B, B若該標籤僅有A、B兩種,請問這組資料的…