ab-test-analysis

此技能作為產品經理與分析師評估實驗成果的數據驅動夥伴。它為解讀 A/B 測試數據提供了結構化工作流程，超越表層指標，判斷變體表現是否具有統計顯著性、實際商業意義以及發布安全性。此技能專為需要從原始數據轉化為明確的「發布」、「延長」或「停止」決策而設計，並遵循嚴格的統計標準。

• 使用雙尾 Z 檢定或卡方檢定進行統計顯著性檢定，計算 p 值與信賴區間。

• 運用效能分析公式進行樣本量驗證，確保實驗具備足夠的統計檢定力。

• 監控如營收、互動率或頁面載入時間等防護指標，確保主要指標的提升不會損害整體系統健康。

• 計算相對提升幅度，並評估觀察到的趨勢是暫時性還是持續性的。

• 自動生成並執行 Python 腳本，直接處理 CSV、Excel 或分析導出的原始檔案，進行精確的數據分析。

• 偵測樣本比例不匹配 (SRM)，並考量可能扭曲解讀的新奇效應或首因效應。

• 輸入：實驗假設、主要指標與防護指標、流量分割比例、實驗持續時間，以及選填的原始數據檔案 (CSV/Excel)。

• 輸出：結構化的分析報告，包含指標對照表、統計驗證結果，以及針對實驗後續步驟的實證建議。

• 目標用戶：產品經理、數據分析師與成長負責人。

• 限制：分析前需明確定義指標與假設以確保有效性；需具備適當的數據權限以執行自動化 Python 處理；結果受限於輸入數據質量與實驗設計完整性。

• 整合：此技能隸屬於 pm-data-analytics 插件，常與北極星指標定義及同期群分析工作流程搭配使用，以確保產品策略的全面性。