spark-optimization

Spark 优化技能为诊断、调整与扩展 Apache Spark 工作负载提供了全面的框架。该技能专为数据工程师与系统架构师设计，封装了生产级的最佳实践模式，以解决数据倾斜 (Data Skew)、过度 Shuffle、内存压力与任务分配不均等常见性能瓶颈。它将原始的 Spark 配置与可执行的调优策略紧密结合，确保您的数据管道具有弹性且具备成本效益。

• 进阶分区策略：实作分区大小调整，利用 coalesce 避免不必要的 Shuffle，并优化分区剪枝 (Partition Pruning) 以提高检索效率。
• 内存管理与执行器调优：通过适当配置 Executor 内存、序列化 (Kryo) 与堆栈开销 (Heap Overhead) 设置，减少垃圾回收 (GC) 压力与磁盘溢出 (Spills)。
• Shuffle 与 Join 优化：应用广播连接 (Broadcast Join)、基于盐值 (Salting) 的倾斜解决方案、桶连接 (Bucket Join) 以消除执行期 Shuffle，并启用自适应查询执行 (AQE) 配置。
• 性能诊断：分析 Spark 执行模型 (Driver、Job Stages、Tasks)，识别并解决网络 I/O、磁盘 I/O 与 CPU 密集操作中的瓶颈。
• 快取与持久化：策略性使用存储等级 (MEMORY_AND_DISK, MEMORY_ONLY_SER) 与检查点 (Checkpointing)，在复杂的多阶段转换中维持性能。

使用注意事项：

• 设置 SparkSession 时建议开启自适应查询执行 (例如 spark.sql.adaptive.enabled)，以便在执行期进行动态最优化。
• 使用提供的辅助函数，根据数据量计算最佳分区数量 (每个分区目标大小为 128MB-256MB)。
• 务必优先减少宽转换 (Wide Transformations)；若无法避免 Shuffle，请使用 Salting 或相关策略确保键值分布均匀。
• 在开发生命周期早期监控执行器性能与任务持续时间指标，及早发现倾斜的键值。
• 此技能假设使用者熟悉 PySpark 以及常见的大数据存储格式，如 Parquet、ORC 及云端对象存储模式。