
一张活动报表可以显示变化,却不能自动告诉你变化是谁带来的。
活动结束后,报名增加,报告很容易写成“活动有效”。问题在于,同一时期可能换了入口、增加曝光、赶上自然需求变化。让AI复盘时,要先把比较对象、观察窗口和混杂条件交代完整,再限定结论能说到哪一层。
下面是一组作者完整虚构的教学数据,用于练习推理,不是真实经营记录,也不是模型实测。虚构的纸艺体验馆有甲、乙两个报名入口;甲入口投放活动介绍,乙入口不投放。前期连续七天,甲有二百名独立访问者、二十人完成报名,乙有二百名独立访问者、十六人完成报名;后期同样七天,甲有三百名独立访问者、四十二人完成报名,乙有二百五十名独立访问者、三十人完成报名。同一入口、同一窗口内每人只计一次,窗口之间可能有重复访客。
报名只统计窗口结束前提交完成的人,不含稍后补填。后期甲入口同时被放到页面更醒目的位置,乙没有;两个入口也不是随机分配,访客可以自行选择。没有更早的历史走势,也没有访客构成明细。这几句话和数字一样重要,不能在压缩材料时删掉。
先自己算一遍:甲报名率从百分之十变为百分之十四,上升四个百分点;乙从百分之八变为百分之十二,也上升四个百分点。甲报名人数增加二十二,乙增加十四。人数增量、比例变化和两组变化之差,是三个不同问题。
可复制下面的任务指令:
请只依据下列虚构教学数据评估活动前后的变化。先逐项算出甲乙前后报名率、人数增量和百分点变化,再计算两组百分点变化之差。明确分子、分母和七天观察窗口。随后审查比较对象是否可比,列出入口位置、非随机选择、历史走势缺失对归因的影响。输出“能描述的变化、不能推出的因果、下一轮怎样改善比较”三段。不得把变化之差当成已证实活动效果,不得预测真实收益。数据与限制:粘贴以上完整材料。

作者推演的错误候选是:“甲报名增长百分之一百一十,证明活动令报名翻倍,应全面推广。”二十二除以前期二十,确实是百分之一百一十的报名人数增幅,但算对一个数并不等于因果成立。甲访问人数本来就从二百变为三百;乙没有投放,报名率也提高了;甲的入口位置又同时变化。三种解释都不能被一句“证明”越过。
另一种看似谨慎的错误是:“两组都增加四个百分点,所以活动完全无效。”两组变化之差为零,只能描述这份表的一个比较结果。没有随机分配,没有足够的前期走势,不能确认乙就是甲不投放时的样子;位置变化也与活动重叠。这里既不能证明有效,也不能证明效果必然为零。
更稳妥的修订是:“后期甲报名人数与报名率均高于前期;乙同期报名率同幅上升。本教学表中两组报名率变化之差为零。由于入口位置同步调整、访客自选且缺少历史走势,现有数据不足以把甲的变化单独归因于活动介绍。”这段保留了值得观察的变化,同时给结论划出边界。
观察窗口还要统一。若甲算活动后七天、乙只算三天,或者甲包括延迟报名、乙不包括,比较就已经换了口径。若想观察活动结束后的延迟效果,可以另设双方相同的补充窗口,单独报告,不能把新窗口悄悄拼进原结果。访问人数也不能拿曝光次数替代,否则报名率的分母已经变了。
人工审核时,先用原表逐行复算,再找每个“因为、带来、导致”。要求作者指出支持该因果词的比较设计;没有就改成“同期观察到”。接着确认未报名者也在分母中,不能只问报名者从哪里知道活动。最后保留缺失信息,不允许AI用“用户热情高涨”替代访客构成。
下一轮若条件允许,可在活动前规定一致的观察窗口、报名定义与入口位置,安排更可比的对象,并保留更早走势;是否随机分配和怎样实施,需要按实际条件另行设计。补数据的目的,是缩小解释空间,不是找到一个更漂亮的增长数字。
你复盘过的活动里,最容易被一起改掉的条件,是流量入口、价格,还是统计窗口?