抖音广告投放 | 有关 AB 实验工具常见问题的解答

Q1：配置实验时所提及的预估实验样本充足度指的是什么？

A1：预估实验样本充足度意味着在实验对象数量上升后，对其样本充足程度的预测。

Q2：当实验的预估实验样本充足度小于 80%时，能否开展实验？

A2：能够开展实验，不过建议要保证实验中的“抖音广告投放”计划/组具备充足预算，出价合理，同时实验与广告投放存在足够的重叠时间。

Q3：实验报告中的获胜概率代表什么？

A3：获胜概率指的是如果再次进行完全相同的实验，获取相同实验结论的可能性大小。

Q4：为何实验对象的获胜概率偏低？

A4：实验的可信度会受到实验对象的数据量、实验对象间的差异程度以及实验对象数据的波动（方差）影响。获胜概率低或许是因为：1.实验的曝光、点击、转化数量不足；2.各个实验对象间的数据差异不大；3.实验对象的实验指标波动剧烈且不稳定。

Q5：为何广告计划 C、D、E 的点击率相同，但 C 的获胜概率更高？

A5：实验报告并非仅仅依据实验指标来判定优质计划，系统还会考量实验对象的数据稳定性。尽管 C、D、E 的点击率相同，但由于 C 的点击率表现更为稳定，所以 C 会被系统认定为优质广告计划。总体而言，系统会将实验指标表现出色且波动小的实验对象识别为“效果较好”的广告计划/组。

Q6：实验周期与投放周期在报告解读方面存在何种区别？

A6：实验报告仅仅针对实验周期内的广告数据表现进行运算，只能代表实验周期内实验指标的表现结果。

Q7：何时结束实验较为恰当？

A7：建议在实验得出获胜概率较高的计划/组后，或者实验有清晰结论之后，再调整实验状态并结束实验。结束实验后，可以停止获胜概率较低的计划/组的投放，将更多资源倾斜给优质的“抖音广告投放”计划/组。

Q8：使用工具时感觉组/计划起量存在问题，这与 AB 实验工具是否有关，能否通过 AB 工具解决？

A8：AB 实验工具的作用是为需要对比的广告计划或广告组提供一个互不竞争的无偏实验环境，并不解决在竞争投放环境下计划本身的起量问题。没有起量的计划在实验中会被认定为数据量不足，难以得出在统计上可信的结论。