spark-optimization

此技能為生產環境中的 Apache Spark 效能優化提供了全面的工具包。專為數據工程師、大數據開發人員與系統架構師設計，用於調試執行緩慢的作業、改善資源利用率並擴展管道以處理龐大的數據集。本技能涵蓋了從底層集群配置到高層次查詢調整與數據組織的整個 Spark 優化生命週期。

• 進階分區：實作有效的分區重組 (repartitioning) 與合併策略，利用分區修剪 (partition pruning)，並優化數據分佈以最小化任務調度開銷並避免資源利用不足。

• Shuffle 與 Join 優化：透過實作廣播連接 (broadcast joins)、分桶連接 (bucketed joins)，以及配置自適應查詢執行 (AQE) 來處理數據傾斜 (salting)，從而減少昂貴的網路與磁碟 I/O。

• 記憶體管理與調整：透過配置執行器 (executor) 記憶體、選擇 Kryo 等高效序列化格式，以及管理儲存級別 (MEMORY_AND_DISK, OFF_HEAP) 來減少記憶體回收 (GC) 壓力與記憶體溢出。

• 效能調試：分析 Spark 執行模型以識別階段與任務中的瓶頸，解決數據分佈不均的問題，並優化廣泛轉換 (wide transformations)。

• 高效數據格式：利用 Parquet 等列式儲存格式，應用合併架構控制，並利用謂詞下推 (predicate pushdown) 來減少從 S3 或 HDFS 等儲存系統讀取的數據量。

• 輸入/輸出：預期處理 PySpark DataFrames 與 SparkSession 設定。典型輸入為數據處理邏輯，輸出則為優化後的作業配置、分區後的數據集與改良後的執行計畫。

• 最佳實踐：務必啟用自適應查詢執行 (AQE) 以進行動態優化。對小型資料表連接使用廣播提示 (broadcast hints)，並對大規模連接實作分桶 (bucketing) 以避免昂貴的 Shuffle 操作。

• 限制：效能提升取決於集群資源。確保執行器記憶體與 CPU 核心數與工作負載特性相匹配。

• 使用時機：當遇到作業執行時間過長、記憶體不足 (OutOfMemory) 錯誤，或是數據處理管道無法如預期擴展時，請使用此技能。