借助数据来优化信息流广告落地页的手段众多,其中运用最为频繁的当属 A/B 测试。
举例来讲,当我们难以判定哪个落地页更为出色时,往往会采用 A/B 测试上线进行检测,哪个页面的数据表现良好就选用哪个。
比如像下面这样:
这是某信息流平台优化师向甲方提供的一组 A/B 测试数据:在定向、出价以及入口创意均保持一致的前提下,尽管优化后抵达落地页的流量(UV)少于优化前,然而实际的转化量却达到了原来的 2 倍,于是他得出结论:经其优化后的落地页转化效果优于优化前,建议后期采用该落地页进行投放。
那么,他的这种测试方法和得出的结论,是否正确呢?
▼ 首先来了解一下 A/B 测试是什么?
A/B 测试又被称作对照试验,针对同一个转化目标(例如我们想要探究哪个落地页提交表单的效果更优),制定两个及以上的方案(落地页),在控制其余变量恒定不变的状况下,让组成成分、特征相同的访客群体随机访问这些落地页版本,依据各个群组的用户数据反馈,并结合统计学的工具与方法,筛选出更契合效果需求的版本。
所以,实施一个有效的 A/B 测试的关键在于:
1)N 个方案同时进行测试;
2)N 个方案之间仅存在一个变量,排除其他因素的干扰;
3)依据某一标准评判结果的优劣,选出最优方案。
所以我们回过头再审视上面的这个案例,问题便清晰可见,即,该测试不满足并行测试的条件。
从表格来看,此次测试是按时间段(10 月 27 日 VS10 月 28 日)进行的,而
![图片[1]-剖析 SEM/信息流广告里有关 A/B 测试的部分误区,简直处处是坑啊我的天!-精准获客](https://cos.jingzhunhuoke.net/tu/suolue/9.jpg)
分时间段测试意味着其他相关变量会不一致,例如访客自身的访问周期规律、媒体上内容环境的变动、竞争对手的广告影响等等,这些因素均会对测试结果的可信度造成干扰。
▼为何测试要控制变量?
归根结底是为了保障测试的有效性。
我们都清楚,影响转化的因素繁多。诸如竞争态势、流量本身的质量、消费者的购买周期规律等等都有可能对转化产生影响,特别是在信息流广告的情境中,消费者在看到广告之前所浏览的资讯内容会引发怎样的心理反应(也可以理解为平台方主动开展的流量塑形),我们均无法预测,这些都会左右广告的转化效果。
我们可以用一个函数来阐述,假设 y 表示转化率,x 是影响转化率 y 的因素,那么:
y=f(x1,x2,x3,x4,x5,……)
也就是说,落地页仅仅是其中的一个 x,在其他 x 同样存在变化可能性的情况下,我们无法认定落地页这个 x 就是致使 y 发生变化的唯一原因。
所以,仅凭借上图这样的数据维度,无法轻易得出“优化成功”的结论。
即便我们假设所有测试的前提条件均符合要求,仅查看数据本身也不能排除随机因素对测试结果产生的影响。正如下图这个显著性测试的结果所示,该优化师提供的两组数据之间的差异并不显著。
也就是说,无论从何种角度判断,这都是一次错误的 A/B 测试,相应地,结论也就缺乏可信度。
▼有关 A/B 测试的几点提示
A/B 测试本身是一种较为合理的数据分析思路,运用得当能够很好地辅助优化师做出投放决策。倘若您在日常优化过程中需要运用 A/B 测试,那么以下几点需要格外留意:
1、需要大流量测试
A/B 测试的结果需要大量数据作为支撑,流量越大得出的结论越可靠。
但在实际操作中,许多优化师由于流量成本等各类现实因素,常常在数据量有限的情况下就开展 AB 测试(例如一天仅有几百个甚至只有几十个访客抵达落地页),如此得出的测试结果会具有较大的不稳定性。
通常我们建议,在进行实际的投放 A/B 测试时,每个版本的落地页日流量应在 1000 个 UV 以上 ,测试周期至少一周,某些周期性显著的领域甚至可能需要更长的时间和更多的流量,否则样本量过少,样本测试的结果就难以代表整体水平,依据此做出的数据模型也会不稳定。
2、需要同时段测试
在不同时段进行 A/B 测试是一个极为常见的错误。
为何错误?因为在不同的时间段内,影响转化效果的其他因素,如竞争状况、受众自身的行为规律等等,是存在差异的。
以淘宝为例,多数情况下,转化效果良好的广告并非出现在周末或节假日,反而是在工作日时下单转化率更高一些,也就是说:相同的一个落地页,如果您选择在周五和周六进行测试,得出的结果就会不准确,依照这个不准确的结论所做出的投放设计也会出现问题。
所以,最好让不同版本同时上线测试,这样才能最大程度减少其他因素对测试本身的影响。
3、需要同地域测试
为了验证不同落地页的转化效果,不少优化师在测试时会选择两到三个城市分别投放,观察哪个版本表现更优便将其上线投放到更广泛的范围。这样的做法实际上存在问题。
每个城市的受众对于您的产品/服务的认知基础可能不尽相同,例如同样是智能家居,对于部分一线城市的用户而言,或许已经有所了解,但对于其他一些一线城市,或者二线城市的用户可能仍然一头雾水。
对于信息流广告优化来说,运用数据分析辅助投放决策是一种趋势,但运用的前提是要懂得正确使用。
正如管理大师德鲁克曾经所说:“您如果无法度量它,就无法管理它”。
倘若分析方法存在问题,我们不仅无法更好地管理投放,甚至还会对投放产生反作用,导致广告出现更大的浪费。
2 本站部分内容来源于网络,仅供学习与参考,如有侵权,请联系网站管理员删除
3 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
4 精准获客感谢您的访问!希望本站内容对您有所帮助!
暂无评论内容