这场景要解决什么

增长靠拍脑袋改按钮，跑两天看涨跌就下结论，结果全是噪声。实验要先写清假设和核心指标，定样本量和周期，对照组隔离，结论才靠得住。样本太小周期太短，看到的涨跌全是噪声，别被忽悠。

实验最容易糊掉的地方是对照组没隔离。同一批用户同时看到新旧两个版本，或者灰度期间又上线了别的活动，最后数据怎么变都解释不清。所以实验设计里得先写死流量怎么切、切多久、这段时间里还允不允许别的动作同时发生。

该这么问 AI

坏问法：“增长实验怎么设计。”

改成这样：“我想测新首页转化。请给我模板：假设、指标、样本量、周期、对照组各怎么定。”

坏问法：“怎么不误判。”

改成这样：“说明样本太小或周期太短会怎么误导，以及怎么判断显著性。”

坏问法：“帮我设计一个增长实验。”

改成这样：“客户端首页想把「立即下单」往上移，基线转化 6.2%，日活 1.2 万。请给一份实验设计：说明流量怎么分组、跑够多少天才给结论、实验期内禁止做哪些干扰动作，最后列出提前判定胜负的风险提示。”

拿到答案后要核对这几处

  1. 模板是不是含假设指标样本周期。
  2. 对照组隔离是不是被强调。
  3. 误判风险是不是提醒看显著性。
  4. 流量分组是不是做到了互斥，且同一批用户在实验期内固定。
  5. 有没有注明实验期间禁止其他并行改动。

相关词