做过A-BTest吗?网站测试七大準则,其中第七点最重要

2020-06-18

做过A/BTest吗?网站测试七大準则,其中第七点最重要

Ronny Kohavi 曾任职于 Bing 和 Amazon 等知名网站。现在越来越多的网站开始个人化,不过却很少有人能像他一样了解网站测试的内在机制,他之前在微软担任软体与服务的分析与实验团队总经理,而更早之前则是亚马逊的资料探勘与个人化部门的主事者。

Kohavi 和他的同事 Alex Deng、Roger Longbotham 以及 Ya Xu 在 KDD 研讨会上发表了一篇论文,记录了他们在网站测试上的七个準则,而这些準则来自于作者们过去在 Bing、LinkedIn、Booking.com 以及其他公司所获得的经验。

网站实验,指的是测试网站上的一些小改变,帮助网站所属的组织可以做出更好的决策。儘管像是 Facebook 的网站测试结果通常不太如意,Kohavi 认为使用者测试仍然是确认任何网站所做的改变是否做对了的最有效率方式。他相信在推出一个网站的改变之前,先用一小群抽样的使用者来测试会比较好,否则如果那个改变并不受欢迎,就等于冒险一下子让所有的使用者都获得不好的使用经验。

以下就是 Kohavi 与他的团队所揭露的七个网站测试準则:

1. 小小的改变就可以对关键指标有所冲击。

Kohavi 说:「在软体的领域,发布的时候有 Bugs 是很正常的。对我们来说,常常发现我们认为很小的改变,但因为有一个 Bug,实际上却造成很大的负面影响。」举例来说,有一次 Kohavi 在 JavaScript 的程式码做了一点改变,并且用了 10% 的人来做测试,结果当使用 IE 7 的时候,却无法点击任何一个连结,那是一个非常糟糕的体验。

但是好的改变也有,Kohavi 举例他们在 2004 年对 Amazon 所做的小改变就是把信用卡的优惠从首页移到结帐页,并且加上文字叙述,告诉消费者如果用 Amazon 的信用卡登入的话,可以省下多少钱。因为这个改变,每年赚了好几千万美元。

做过A/BTest吗?网站测试七大準则,其中第七点最重要
2. 改变很少能对关键指标有巨大的正面冲击。

微软的团队说,任何一个网站的测试,想要产生巨大的冲击几乎是不存在的。但是,小型的改变可以逐渐被累加起来。像是 Bing 搜寻引擎就是日复一日的小幅调整所完成的。

3. 每个人的里程数不同。

在网站测试上,很重要的一个观念就是,哪一招在一个网站上是管用的,未必用在另一个网站也一样有效。要注意的是,测试的结果并非总是可信的,因为人们偶而会出现欺瞒的举动。

4. 速度很重要。

速度其实比什幺都重要,使用者会去反应他们所拜访网站的速度。Kohavi 说:「我们在 Bing 做过一次减速测试,那时候我们让使用者的连线速度以很轻微的比例减慢,看看这会对我们的关键指标造成什幺影响?我们大概只减缓了 100 到 200 豪秒,而造成的影响却非常的巨大。以 Bing 为例,每加速 100 微秒,就可以增加 0.6% 的收入。」

5. 减少使用者放弃的行为是很难的,但是让使用者改变点击是简单的。

要说明这个现象有点複杂,不过大致上来说,如果你要使用者在一个网页上多点几下,是很困难的事情,但是如果你要让使用者点击同一个页面上不同的地方,就简单多了。Kohavi 举例,当 Bing 移除了超过一千万个使用者搜寻引擎右侧的相关搜寻,经过实验,页面的点击数量却几乎一模一样。使用者下意识地把原本右侧相关搜寻的点击散布到页面其他的地方去。

6. 避免複杂的设计。

Kohavi 和他的同事们坚信,对于网站测试来说,越简单越好。他说最好的测试就是只有 A/B。不管是 A/B/C 或 A/B/C/D 甚至更複杂的测试,对于组织来说都没有显着的效益。

其中一个例子就是他们在 2013 年帮 LinkedIn 测试搜寻引擎的更换,有多重因子的複杂测试,让他们在试图找到新搜寻引擎上有没有什幺是使用者讨厌的功能时,遇到了很大的困难。最后只能简化测试,才能找到 LinkedIn 新的搜寻引擎有哪些功能会让使用者失望。

7. 要有足够的使用者。

这一个準则也是最难的一个。如果没有足够的使用者,就几乎不可能得到準确的结果,然而到底要多少使用者才够?则取决于要测试的因子有多少。

Lessons In Website Testing From A Master

欢迎加入「Inside」Line 官方帐号,关注最新创业、科技、网路、工作讯息
做过A/BTest吗?网站测试七大準则,其中第七点最重要

上一篇: 下一篇:

相关新闻

推荐阅读