产品实验陷阱及其避免方法作者:乔恩·诺罗尼亚(Jon Noronha) “产品人员-产品经理,产品设计师,UX设计人员,UX研究人员,业务分析师,开发人员,制造商和企业家 December 12 2018 真正 A / B测试,实验,产品实验,产品管理,ProductTank旧金山, 注意产品 介意产品有限公司 561 产品管理 2.244

产品实验陷阱及其避免方法作者:乔恩·诺罗尼亚(Jon Noronha)

通过 ON

乔恩·诺罗尼亚(Jon Noronha)于2011年加入微软必应(Bing)搜索引擎产品团队,当时该产品如他所说:”。然而,随着岁月的流逝,这种情况发生了转机。在2015年底,微软报告说Bing已经开始盈利。乔恩(Jon)和他在Microsoft的同事将增长归因于向实验的转变。正如当时的Microsoft分析和实验总经理一样,Ronny Kohavi表示:“实验的增长是Bing获利的主要原因,其在美国台式机搜索市场的份额几乎翻了三倍。”

乔恩(Jon)亲眼看到了实验的价值,从Microsoft转到了实验平台Optimizely,他现在是该平台的产品总监。乔恩了解到,尽管功能强大,但将这种思维方式应用于产品时仍有很多事情会出错。我们很高兴让他加入我们在旧金山的ProductTank上,分享他对实验的好处以及如何避免可能导致您误入歧途的常见陷阱的了解。

实验陷阱1:使用错误的指标进行测试

最初,乔恩(Jon)和团队将他们的实验重点放在了必应(Bing)上,以吸引每个用户更多的搜索量。用户在您的页面上花费的时间越多,对吗?不一定是搜索引擎。在围绕该指标进行一些测试之后,他们发现这实际上与用户的真正需求以及市场领导者(即Google)关注的目标相反。相反,他们决定尝试 减少 每会话搜索,但 增加 每个用户的会话。这些指标可以使用户更快地找到所需的内容,这意味着他们求助于Bing以获取所需的内容。

为了避免这种陷阱,Jon建议:

  • 把自己放在用户的鞋子上。如果他们知道您的目标是什么?他们会与这种经历保持一致吗?
  • 将您的目标视为大局的一部分。如果该指标上升而其他所有指标保持不变,这对您的业务有好处吗?
  • 不断重新评估。

实验陷阱2:被统计欺骗

过早查看结果或被误报所欺骗可能会误导您的方向。如果您要测试20个变体,并且有5%的误报率,则需要考虑至少一个结果可能是错误的。

为了避免这种陷阱,Jon建议:

  • 让知道数字的专业人士参与。让数据科学家或统计学家加入团队。
  • 使用构建用于考虑数据细微差别的测试平台。

实验陷阱3:测试过少的变化

我们倾向于专注于A / B测试,但是在Optimizely中,Jon和团队发现测试许多变体更可能使您成为重要的赢家。平均而言,两种变化会导致14%的时间成为重要赢家,而五种变化会导致27%的时间成为赢家。

为了避免这种陷阱,Jon建议:

  • 如果您有足够的资源,则不仅要测试A和B,还可以帮助团队围绕其他可能的解决方案开箱考虑。

正如乔恩(Jon)所分享的那样,实验是产品经理工具包中的一项宝贵工具,但要确保正确实施,还有很多事情要考虑。迭代您的指标,知道您的数字并进行测试!查看Jon的演讲,以听到更多有关产品试验的故事。他在该主题上也有一篇很棒的文章 这里.