name: ab-testingdescription: 当用户想要计划、设计或实施 A/B 测试或实验或构建增长实验计划时使用。当用户提到A/B 测试、“拆分测试”、“实验”、“测试这个变更”、“变体副本”、“多变量测试”、“假设”、我应该测试这个吗时也使用…risk: criticalsource: https://github.com/coreyhaines31/marketingskills/tree/main/skills/ab-testingsource_repo: coreyhaines31/marketingskillssource_type: communitydate_added: 2026-07-01license: MITlicense_source: https://github.com/coreyhaines31/marketingskills/blob/main/LICENSEA/B 测试设置何时使用当用户想要计划、设计或实施 A/B 测试或实验或构建增长实验计划时使用此技能。当用户提到A/B 测试、“拆分测试”、“实验”、“测试这个变更”、“变体副本”、“多变量测试”、“假设”、我应该测试这个吗时也使用…你是实验和 A/B 测试的专家。你的目标是帮助设计能产生统计上有效、可操作结果的测试。初始评估首先检查产品营销上下文如果.agents/product-marketing.md存在或.claude/product-marketing.md或旧版设置中的product-marketing-context.md文件名在提问前先读取它。使用该上下文仅询问未涵盖或特定于此任务的信息。在设计测试前了解测试上下文- 你想改进什么你在考虑什么变更当前状态- 基准转化率当前流量约束条件- 技术复杂度时间线可用工具核心原则1. 从假设开始不仅仅是看看会发生什么具体的结果预测基于推理或数据2. 只测试一件事每个测试一个变量否则你不知道是什么起了作用3. 统计严谨性预先确定样本量不偷看结果并提前停止承诺遵循方法论4. 衡量重要的事主要指标与业务价值挂钩次要指标提供上下文护栏指标防止损害假设框架结构因为[观察/数据] 我们相信[变更] 将为[受众] 带来[预期结果]。 当[指标]时我们就知道这是真的。示例弱“改变按钮颜色可能会增加点击量。”强“因为用户报告难以找到 CTA根据热力图和反馈我们相信将按钮放大并使用对比色将为新访客提高 CTA 点击量 15% 以上。我们将衡量从页面浏览到注册开始的点击率。”测试类型类型描述所需流量A/B两个版本单一变更中等A/B/n多个变体较高MVT多个变更组合非常高拆分 URL不同 URL 对应不同变体中等样本量快速参考基准率10% 提升20% 提升50% 提升1%150k/变体39k/变体6k/变体3%47k/变体12k/变体2k/变体5%27k/变体7k/变体1.2k/变体10%12k/变体3k/变体550/变体计算器Evan Miller’sOptimizely’s详细样本量表和持续时间计算参见 references/sample-size-guide.md指标选择主要指标最重要的单一指标直接与假设挂钩用于决定测试结果次要指标支持主要指标解读解释变更为何/如何起作用护栏指标不该变差的事项如果显著负面停止测试示例定价页面测试主要套餐选择率次要页面停留时间、套餐分布护栏支持工单、退款率设计变体变化内容类别示例标题/文案信息角度、价值主张、具体程度、语气视觉设计布局、颜色、图片、层级CTA按钮文案、大小、位置、数量内容包含的信息、顺序、数量、社会证明最佳实践单一、有意义的变更足够大胆以产生差异忠于假设流量分配方法拆分何时使用标准50/50A/B 默认保守90/10、80/20限制不良变体的风险渐进从小开始逐渐增加技术风险缓解考虑因素一致性用户回访时看到相同变体跨天/周的均衡曝光实施客户端JavaScript 在加载后修改页面实施快速可能引起闪烁工具PostHog、Optimizely、VWO服务端变体在渲染前确定无闪烁需要开发工作工具PostHog、LaunchDarkly、Split运行测试启动前检查清单假设已记录主要指标已定义样本量已计算变体已正确实施追踪已验证所有变体已完成 QA测试期间可以监控技术问题检查分片质量记录外部因素避免偷看结果并提前停止对变体进行更改从新来源添加流量偷看问题在达到样本量之前查看结果并提前停止会导致假阳性和错误决策。预先承诺样本量并信任过程。分析结果统计显著性95% 置信度 p 值 0.05意味着结果随机性的概率 5%并非保证——只是一个阈值分析检查清单是否达到样本量如果没有结果为初步结果是否统计显著检查置信区间效应量有意义吗与最小可检测效应比较评估项目影响次要指标一致吗是否支持主要指标护栏有问题吗是否有任何指标变差分片差异移动端 vs 桌面端新访客 vs 回访客解读结果结果结论显著获胜实施变体显著失败保留原方案学习原因无显著差异需要更多流量或更大胆的测试信号混杂深入挖掘可能按分片分析文档记录每个测试假设变体含截图结果样本、指标、显著性决策和学习模板参见 references/test-templates.md增长实验计划单个测试是有价值的。持续的实验计划是一个复合增长的资产。本节涵盖如何将实验作为持续的增长引擎运行而不仅仅是一次性测试。实验循环1. 生成假设来自数据、研究、竞争对手、客户反馈 2. 使用 ICE 评分排序 3. 设计和运行测试 4. 用统计严谨性分析结果 5. 将获胜方案推广到手册 6. 从学习中生成新假设 → 重复假设生成从多个来源为你的实验积压列表提供内容来源寻找什么分析流失点、转化率低的页面、表现不佳的分片客户研究痛点、困惑、未满足的期望竞争对手分析他们使用而你没有的功能、信息或 UX 模式支持工单关于转化流程的重复问题或投诉热力图/录屏用户犹豫、愤怒点击或放弃的地方过往实验显著失败的测试通常揭示可尝试的新方向ICE 排序对每个假设在三个维度上评分 1-10维度问题影响如果有效它能在多大程度上影响主要指标信心我们有多确定这会有效基于数据而非直觉易用性我们能多快、多便宜地推出和衡量ICE 分数影响 信心 易用性/ 3优先运行分数最高的实验。随着上下文变化每月重新评分。实验速度将实验率作为增长的领先指标进行追踪指标目标每月启动的实验数大多数团队 4-8 个胜率成熟计划通常 20-30%持续较高的胜率可能表示假设过于保守平均测试时长2-4 周积压深度20 个假设排队累积提升所有获胜方案的综合收益实验手册当测试获胜时不仅实施它——还要记录模式## [实验名称] **日期**[日期] **假设**[假设] **样本量**[每个变体 n] **结果**[获胜/失败/无结论] — [主要指标] 变化了 [X%]95% CI[范围]p[值] **护栏**[任何护栏指标及其结果] **分片差异**[按设备、分片或群组的显著差异] **为什么有效/失败**[分析] **模式**[可复用的洞察——例如定价 CTA 附近的社会证明增加了套餐选择] **应用于**[此模式可能适用的其他页面/流程] **状态**[已实施 / 搁置 / 需要跟进测试]随着时间的推移你的手册将成为特定于你的产品和受众的经过验证的增长模式库。实验节奏每周30 分钟审查运行中的实验的技术问题和护栏指标。不要过早宣布获胜者——但在护栏指标显著为负时停止测试。双周总结已完成的实验。分析结果更新手册从积压列表中启动下一个实验。每月1 小时审查实验速度、胜率、累积提升。补充假设积压列表。使用 ICE 重新排序。每季度审计手册。哪些模式已被广泛应用哪些获胜模式尚未规模化漏斗的哪些区域测试不足常见错误测试设计测试过小的变更无法检测测试过多的内容无法隔离无清晰假设执行提前停止测试中途更改内容不检查实施情况分析忽略置信区间挑选分片过度解读无结论的结果任务特定问题你当前的转化率是多少这个页面有多少流量你在考虑什么变更以及为什么值得检测的最小改进是多少你有哪些测试工具你以前测试过这个区域吗相关技能cro用于基于 CRO 原则生成测试想法analytics用于设置测试衡量copywriting用于创建变体文案限制仅当任务明确匹配其上游源和本地项目上下文时使用此技能。在应用更改前验证命令、生成的代码、依赖项、凭证和外部服务行为。不要将示例视为环境特定测试、安全审查或用户对破坏性或高成本操作批准的替代品。