name: ab-test-setupdescription: “带有假设、指标和执行就绪的强制性门控的 A/B 测试设置结构化指南。”risk: criticalsource: communitydate_added: “2026-02-27”A/B 测试设置1️⃣ 目的与范围确保每个 A/B 测试在编写一行代码之前都是有效、严谨和安全的。防止偷看强制统计功效阻止无效假设2️⃣ 前提条件你必须具备清晰的用户问题分析数据源的访问权限大致估算的流量假设质量检查清单有效的假设包括观察或证据单一的、具体的变更方向性预期定义的目标受众可衡量的成功标准3️⃣ 假设锁定硬性门控在设计变体或指标之前你必须提出最终假设明确目标受众主要指标预期效果方向最小可检测效应明确询问“这是我们承诺用于此测试的最终假设吗”确认前不得继续。4️⃣ 假设与有效性检查强制明确列出关于以下方面的假设流量稳定性用户独立性指标可靠性随机化质量外部因素季节性、活动、发布如果假设较弱或违反警告用户建议推迟或重新设计测试5️⃣ 测试类型选择选择最简单的有效测试A/B 测试– 单一变更两个变体A/B/n 测试– 多个变体需要更多流量多变量测试– 交互效应需要非常高流量拆分 URL 测试– 重大结构性变更默认选择A/B除非有明确的理由选择其他类型。6️⃣ 指标定义主要指标强制用于评估成功的单一指标直接与假设关联上线前预定义并冻结次要指标提供上下文解释结果发生的_原因_不得覆盖主要指标护栏指标不得下降的指标用于防止有害的胜利如果显著负面触发测试停止7️⃣ 样本量与持续时间提前定义基准率最小可检测效应显著性水平通常 95%统计功效通常 80%估算每个变体所需的样本量预期测试持续时间没有现实的样本量估算不得继续。追踪验证门控 8 前必需在进入下面的执行就绪门控之前完成此检查清单使追踪已验证有具体含义事件触发在预发布环境或调试页面上触发主要和次要指标依赖的每个事件注册、加入购物车、自定义事件确认其在 30 秒内到达分析目标。变体归属验证变体分配 ID 已附加到每个触发的事件——不仅仅是入口事件。使用分析工具的原始事件视图每个变体比较 5 个以上事件样本。去重确认用户刷新页面不会导致事件重复计数。如果你的技术栈使用客户端去重变体 ID 必须是去重键的一部分。样本随机化从分配表中提取前 100 条分配记录变体拆分应在配置分配的 ±5% 范围内。护栏指标管道在 §6️⃣ 中定义的每个护栏指标在测试启动时必须有一个可用的仪表盘或告警。如果上述任何一项失败在门控 8 前停止并解决。8️⃣ 执行就绪门控硬性停止仅当所有条件都满足时才可继续实施假设已锁定主要指标已冻结样本量已计算测试持续时间已定义护栏已设置追踪已验证如果缺少任何一项停止并解决。运行测试测试期间可以监控技术健康状态记录外部因素不可以因看起来不错的结果提前停止测试中途更改变体添加新的流量来源重新定义成功标准分析结果分析纪律解读结果时不要推广到测试人群之外不要声称超出测试变更的因果关系不要覆盖护栏失败区分统计显著性和业务判断解读结果结果操作显著正向考虑推广显著负向拒绝变体记录学习无结论考虑增加流量或更大幅度的变更护栏失败即使主要指标获胜也不发布文档与学习测试记录强制记录假设变体指标样本量与实际达成结果决策学习后续跟进想法将记录存储在共享、可搜索的位置避免重复失败。拒绝条件安全以下情况拒绝继续基准率未知且无法估算流量不足以检测最小可检测效应主要指标未定义多个变量被更改但未适当设计假设无法清晰表述解释原因并建议下一步。关键原则不可协商每个测试一个假设一个主要指标上线前承诺不偷看学习胜过获胜统计严谨优先最终提醒A/B 测试不是为了证明想法正确。而是为了带着信心学习真相。如果你感到有冲动要匆忙、简化或试试看——那就是放慢速度并重新检查设计的信号。何时使用此技能适用于执行概述中描述的工作流或操作。限制仅当任务明确符合上述范围时使用此技能。不要将输出视为环境特定验证、测试或专家审查的替代品。如果缺少所需的输入、权限、安全边界或成功标准请停止并请求澄清。