控制在一个什么样的范围才能有科学的测试结果

 知乎负面     |      2021-09-22 23:11

  前强大很多(见图2-8-11)。

  图2-8-11 Growing IO2.0版本跟1.0版本的差异

  (1)上线了很多新功能,如企业可以通过2.0版本检测用户在哪个环节流失,而且能找到流失的原因。

  (2)新版本在移动端的数据分析功能比以前强大很多,2015年我们发布主要以网站为主,移动为辅,现阶段网站和移动两个是对等的。

  (3)另外,现在用户的留存度,精细化分析,比以前好了很多。

  最后,九枝兰问起Growing IO的发展愿景,这位名副其实的数据分析大拿说了一句让我终生难忘的话:“事物本身能产生多大的价值,完全取决于人的想象力。”Growing IO在数据分析领域一定大有可为。

  张溪梦

  Growing IO创始人、CEO;

  前Linkedin美国商业分析部高级总监

  如何以A/B测试驱动营销优化

  图2-9-1 本期专访嘉宾王晔

  编者按:

  A/B测试并不是一个时髦词,如今越来越多的有经验的营销和产品人员用它来验证不同营销策略或者产品的优化方案。A/B测试已经被多次证明是一种有效的优化方式,并且由于各种分析工具的发展,开展A/B测试的成本也越来越低。

  但大部分人对A/B测试只有一个基本的认知,我们该如何将它的效应发挥到最大?今天九枝兰邀请到了前谷歌核心成员、现吆喝科技创始人王晔,谈谈如何通过A/B测试驱动营销优化。

  A/B测试在营销领域的具体应用

  A/B测试在营销领域有哪些具体应用?

  在20世纪六七十年代,A/B测试就成为了广告大师大卫·奥格威最喜欢的一种营销手段。奥格威的A/B测试细化到文案、创意、营销方式(如邮件营销),A/B测试获得的结果对他接下来的营销决策极为有用。

  访客在线上的一切行为几乎都可以被监测,让A/B测试实施起来更科学、精准。

  随着数字营销的发展,访客在线上的一切行为几乎都可以被监测,让A/B测试实施起来更科学、精准。无论是一个营销着陆页、微信公众号里的文章,抑或是在第三方平台的发布内容、举办的线上活动,都可以通过A/B测试不断优化营销策略、文案、创意、设计等任何元素。

  对于流量或受众,控制在一个什么样的范围才能有科学的测试结果?

  简单来说,A/B测试是只能改变一个条件的对比实验,此外还有一个前提条件:做A/B测试的试验组与对照组所对应的流量/受众需具有非常相似的特征,并保证有很强的用户代表性(见图2-9-2)。

  图2-9-2 A/B测试

  假如A/B测试只有100个受众,其中 50人作为试验组,另外50人作为对照组;这个实验从统计学来讲是非常不科学的。因为如果你去计算一下随机事件的两个随机变量转化率,经过对比,就会发现95%的置信区间过宽,或者说实验结果不具备决定性。

  在进行A/B测试时,我建议至少要用1000个以上的受众在实验中作为对照组,才能产生范围相对比较窄的置信区间。另外,如果实验时间比较长,如持续一个星期,测试结果会更可信。如果日均流量达到10000以上,结果就会相当可信。所以,对于一些C端企业主来说,因为日均流量非常大,做A/B测试往往会得到一个可信的结果。

  为了确保A/B测试结果的科学性,试验组与对照组的用户必须具有相似特征,但每个用户作为独立的个体,又有很大差异。所以,如何才能保证用户的相似度?

  方法很简单:将用户进行合理的分类,在分类的基础上进行用户采样,这样可以保证采样得出的对照组和试验组的用户特性具有代表性,也就是说,我们的后台算法会将其他的用户筛选出来,分到各个试验组和对照组里去,也会把普通的用户分到不同的组里去。这样每个组的实验结果、实验数据都会具有很强的代表性(见图2-9-3)。

  图2-9-3 A/B测试分类

  A/B测试的价值

  A/B测试在数字营销当中可以为企业带来怎样的价值?是不是所有企业都要做A/B测试?

  并不是所有企业都需要做A/B测试,但做A/B测试一定可以为企业带来好处。好处主要有以下几个。

  (1)A/B测试可以不断地帮助企业提升营销的效果。可以通过A/B测试的方法,不断地去找到更好的执行方案,包括创意、文案、图片、动画、与用户沟通形式,甚至细化到表单的字段顺序、填写方法、展现形态等一系列因素。你都可以通过A/B测试的方法去不断地提升效果。

  (2)更重要的目的是A/B测试可以让我们更好地理解我们的用户。通过A/B测试我们可以挖掘出来潜在用户更喜欢什么,更希望得到什么。通过A/B测试,企业才会更了解自己的用户,这是我觉得对企业很有用的地方。

  这里有一个案例:欧洲的一个教育网站,它们会在学生注册页面上,把课程介绍分类列举出来,如办公室相关课程、外语相关的课程、设计相关的课程等,我们通过A/B测试发现,这种课程分类的展示形式有非常大的优化空间。优化完后,学生的注册率提高40%。

  到底如何优化的?

  优化前,课程是直接列举出来的,如依次是CAD、PPT、Photoshop等;优化后,我们按照课程的热门程度进行排序,如我们发现Photoshop是学生点击量最多的课程就会排到第一位,其他的按照热度依次排序。

  这里的A/B测试扮演的角色是帮助企业更好地理解和服务自己的用户。让企业明白原来学生到我这儿来并不是十分在意我的课是怎么组织、有些什