这场景要解决什么

落地页一版同时改标题、图、按钮，跑完不知是谁起作用。正确做法是一次只动一个变量，定清转化目标和最小样本，两组隔离投放，结论才分得清。一次动多个变量，跑完不知谁起作用，测试等于白做。

多数 AB 测试出不了结论，问题不在没测，而在于样本还没够就看了结果。一个每天三百访问量的落地页，两组各占一半，转化差一个百分点在统计上基本是噪声。所以开测之前要先算清楚：按现有流量和基线转化，跑到能下结论需要多少天。

该这么问 AI

坏问法：“落地页 AB 怎么测。”

改成这样：“请给我执行清单：一次改什么变量、指标定哪个、样本多大、怎么判胜负。”

坏问法：“怎么不乱归因。”

改成这样：“说明多变量同时改为什么无效，以及显著性怎么看。”

坏问法：“帮我做一个 AB 测试。”

改成这样：“我的落地页现在转化率 2.4%，每天约 400 个访客，想测主标题。请帮我算：要检出相对提升 15%（显著性 0.05、统计功效 0.8）两组各需要多少样本、大概几天；再给如果发现十天还不够时的替代方案。”

拿到答案后要核对这几处

  1. 是不是强调一次只改一个变量。
  2. 指标和样本是不是被先定。
  3. 多变量乱归因是不是被点破。
  4. 样本量是不是开测前就算过了，而不是跑到哪算哪。
  5. 有没有写清楚提前偷看结论会带来什么问题。

相关词