剖析 SEM/信息流广告里有关 A/B 测试的部分误区，简直处处是坑啊我的天！

借助数据来优化信息流广告落地页的手段众多，其中运用最为频繁的当属 A/B 测试。

举例来讲，当我们难以判定哪个落地页更为出色时，往往会采用 A/B 测试上线进行检测，哪个页面的数据表现良好就选用哪个。

比如像下面这样：

这是某信息流平台优化师向甲方提供的一组 A/B 测试数据：在定向、出价以及入口创意均保持一致的前提下，尽管优化后抵达落地页的流量(UV)少于优化前，然而实际的转化量却达到了原来的 2 倍，于是他得出结论：经其优化后的落地页转化效果优于优化前，建议后期采用该落地页进行投放。

那么，他的这种测试方法和得出的结论，是否正确呢？

▼ 首先来了解一下 A/B 测试是什么？

A/B 测试又被称作对照试验，针对同一个转化目标（例如我们想要探究哪个落地页提交表单的效果更优），制定两个及以上的方案（落地页），在控制其余变量恒定不变的状况下，让组成成分、特征相同的访客群体随机访问这些落地页版本，依据各个群组的用户数据反馈，并结合统计学的工具与方法，筛选出更契合效果需求的版本。

所以，实施一个有效的 A/B 测试的关键在于：

1）N 个方案同时进行测试；

2）N 个方案之间仅存在一个变量，排除其他因素的干扰；

3）依据某一标准评判结果的优劣，选出最优方案。

所以我们回过头再审视上面的这个案例，问题便清晰可见，即，该测试不满足并行测试的条件。

从表格来看，此次测试是按时间段（10 月 27 日 VS10 月 28 日）进行的，而

分时间段测试意味着其他相关变量会不一致，例如访客自身的访问周期规律、媒体上内容环境的变动、竞争对手的广告影响等等，这些因素均会对测试结果的可信度造成干扰。

▼为何测试要控制变量？

归根结底是为了保障测试的有效性。

我们都清楚，影响转化的因素繁多。诸如竞争态势、流量本身的质量、消费者的购买周期规律等等都有可能对转化产生影响，特别是在信息流广告的情境中，消费者在看到广告之前所浏览的资讯内容会引发怎样的心理反应（也可以理解为平台方主动开展的流量塑形），我们均无法预测，这些都会左右广告的转化效果。

我们可以用一个函数来阐述，假设 y 表示转化率，x 是影响转化率 y 的因素，那么：

y=f(x1,x2,x3,x4,x5,……)

也就是说，落地页仅仅是其中的一个 x，在其他 x 同样存在变化可能性的情况下，我们无法认定落地页这个 x 就是致使 y 发生变化的唯一原因。

所以，仅凭借上图这样的数据维度，无法轻易得出“优化成功”的结论。

即便我们假设所有测试的前提条件均符合要求，仅查看数据本身也不能排除随机因素对测试结果产生的影响。正如下图这个显著性测试的结果所示，该优化师提供的两组数据之间的差异并不显著。

也就是说，无论从何种角度判断，这都是一次错误的 A/B 测试，相应地，结论也就缺乏可信度。

▼有关 A/B 测试的几点提示

A/B 测试本身是一种较为合理的数据分析思路，运用得当能够很好地辅助优化师做出投放决策。倘若您在日常优化过程中需要运用 A/B 测试，那么以下几点需要格外留意：

1、需要大流量测试

A/B 测试的结果需要大量数据作为支撑，流量越大得出的结论越可靠。

但在实际操作中，许多优化师由于流量成本等各类现实因素，常常在数据量有限的情况下就开展 AB 测试（例如一天仅有几百个甚至只有几十个访客抵达落地页），如此得出的测试结果会具有较大的不稳定性。

通常我们建议，在进行实际的投放 A/B 测试时，每个版本的落地页日流量应在 1000 个 UV 以上 ，测试周期至少一周，某些周期性显著的领域甚至可能需要更长的时间和更多的流量，否则样本量过少，样本测试的结果就难以代表整体水平，依据此做出的数据模型也会不稳定。

2、需要同时段测试

在不同时段进行 A/B 测试是一个极为常见的错误。

为何错误？因为在不同的时间段内，影响转化效果的其他因素，如竞争状况、受众自身的行为规律等等，是存在差异的。

以淘宝为例，多数情况下，转化效果良好的广告并非出现在周末或节假日，反而是在工作日时下单转化率更高一些，也就是说：相同的一个落地页，如果您选择在周五和周六进行测试，得出的结果就会不准确，依照这个不准确的结论所做出的投放设计也会出现问题。

所以，最好让不同版本同时上线测试，这样才能最大程度减少其他因素对测试本身的影响。

3、需要同地域测试

为了验证不同落地页的转化效果，不少优化师在测试时会选择两到三个城市分别投放，观察哪个版本表现更优便将其上线投放到更广泛的范围。这样的做法实际上存在问题。

每个城市的受众对于您的产品/服务的认知基础可能不尽相同，例如同样是智能家居，对于部分一线城市的用户而言，或许已经有所了解，但对于其他一些一线城市，或者二线城市的用户可能仍然一头雾水。

对于信息流广告优化来说，运用数据分析辅助投放决策是一种趋势，但运用的前提是要懂得正确使用。

正如管理大师德鲁克曾经所说：“您如果无法度量它，就无法管理它”。

倘若分析方法存在问题，我们不仅无法更好地管理投放，甚至还会对投放产生反作用，导致广告出现更大的浪费。