pytorch-lightning

此 PyTorch Lightning 技能为 AI 工程师和研究人员提供了一套完整的工具组，以简化神经网络开发流程。它将 PyTorch 实作标准化为 LightningModules，消除了重复性的样板代码，确保复杂深度学习实验的一致性。该技能旨在帮助用户将模型从本地端轻松扩展到高性能运算集群，而无需手动修改代码。

• 完整支持 LightningModule 架构，包含训练、验证、测试及预测循环。

• 自动化 Trainer 配置，适用于多 GPU、TPU 及多节点硬件加速。

• 内置分布式训练策略，包含 DDP、FSDP 及 DeepSpeed，专为大规模模型设计。

• 使用 LightningDataModule 进行数据管道管理，实现可重复利用且高效的数据集处理。

• 可扩展的回调系统 (Callback System)，用于 ModelCheckpoint、EarlyStopping 及自定义训练指标。

• 无缝整合 W&B、TensorBoard、MLflow、Neptune 及 Comet，用于实时实验追踪。

• 用户应通过覆写 training_step 和 configure_optimizers 等核心方法来定义模型，以确保与 Trainer 的兼容性。

• 在类中使用 self.log() 工具，可自动跨所有设备追踪指标。

• 处理超过 5 亿参数的模型时，建议使用 FSDP 或 DeepSpeed 策略。

• 请将 scripts/template_lightning_module.py 和 scripts/template_datamodule.py 作为新项目的主要启动模板。

• 此技能假设环境中已安装 PyTorch，并专注于管理训练生命周期，而非模型架构定义本身。