ab-test-analysis

此技能作为产品经理与分析师评估实验成果的数据驱动伙伴。它为解读 A/B 测试数据提供了结构化工作流程，超越表层指标，判断变体表现是否具有统计显著性、实际商业意义以及发布安全性。此技能专为需要从原始数据转化为明确的「发布」、「延长」或「停止」决策而设计，并遵循严格的统计标准。

• 使用双尾 Z 检验或卡方检验进行统计显著性检验，计算 p 值与置信区间。

• 运用效能分析公式进行样本量验证，确保实验具备足够的统计检验力。

• 监控如营收、互动率或页面加载时间等防护指标，确保主要指标的提升不会损害整体系统健康。

• 计算相对提升幅度，并评估观察到的趋势是暂时性的还是持续性的。

• 自动生成并执行 Python 脚本，直接处理 CSV、Excel 或分析导出的原始文件，进行精确的数据分析。

• 侦测样本比例不匹配 (SRM)，并考量可能扭曲解读的新奇效应或首因效应。

• 输入：实验假设、主要指标与防护指标、流量分割比例、实验持续时间，以及选填的原始数据文件 (CSV/Excel)。

• 输出：结构化的分析报告，包含指标对照表、统计验证结果，以及针对实验后续步骤的实证建议。

• 目标用户：产品经理、数据分析师与增长负责人。

• 限制：分析前需明确定义指标与假设以确保有效性；需具备适当的数据权限以执行自动化 Python 处理；结果受限于输入数据质量与实验设计完整性。

• 整合：此技能隶属于 pm-data-analytics 插件，常与北极星指标定义及同期群分析工作流程搭配使用，以确保产品策略的全面性。