不要在可用性测试中问用户“为什么”

wechatimg286

1询问“为什么”会有什么问题?

当我们进行可用性测试的时候,我们生来对事物充满好奇之心,很容易询问用户为什么他们要进行某些操作。“为什么你选择哪个选项?”,“为什么你不尝试进行搜索呢?”,“为什么你选择‘关于我们’链接而不选择‘联系我们’链接?“。

提这些问题背后的一个假设是,人们总能够找出自己做出某些行为的原因。我们认为用户知道自己选择”关于我们“链接的原因,我们需要做的就是引导用户找出原因。

2Nisbett 和 Wilson的经典研究

事实上,有大量的研究表明人们的内省(译者注: 内省法是指人对于自己的主观经验及其变化的观察 )能力是较差的。在30年前一个经典的研究中,Richard Nisbett 和 Timothy Wilson 在Arbor Michigan的一个杂货店外进行了系列测验。研究人员在店外摆了一张桌子,桌子上面写着”顾客评价调查-哪个质量最好?“桌面上放着4双女式长筒袜,从左到右分别标注着A、B、C和D。多数人(40%)选择了D,最少人选择A(12%)。

事实上,四双袜子是完全一样的,多数人选择了D是因为位置效应(Position Effect):在一排展示物品中,人们会偏好放置在右侧的一个。当研究人员询问顾客为什么喜欢他们选择的长筒袜时,顾客说出了他们选择的长筒袜的一些特征,例如编织比较好,轻薄或者有弹性。研究人员甚至直接询问顾客他们是否被袜子的顺序影响,除了一个特例(一个刚学习了顺序效应的心理学专业学生),没有人认为顺序影响了他们的选择。相反,人们夸夸其谈:他们都编造出选择某个袜子的理由。

3关于美丽的夸夸其谈

2005年Science发表了一个类似研究,Petter Johansson和他的同事们提出了相似的研究发现。在这个研究中,研究人员给实验参与者两张不同的女性图片,然后让参与者指出比较有吸引力的一张图片。如果你是该研究的参与者,你会看到研究员地给你选择的那张相片,扔掉另一张照片,然后询问你选择的理由。

参与者所不知道的是,研究员是个业余的魔术师,在实验过程中使用了一点手法,递给参与者的相片是另一张不那么吸引人的相片。然后研究员询问参与者为什么选择这张相片。

值得注意的是,即使相片和最初的选择不那么相同,大多数参与者(73%)并没有注意到他们在查看那张不那么吸引人的相片。更为奇特的是,参与者开始解释他们选择这张相片的原因。例如他们会说,“嗯,之所以选择这张相片是因为我喜欢金色头发”,即使参与者最开始选择的是黑色头发的相片(这张相片被反扣在桌面)。正如那个虚假的客户评价调查一样,人们夸夸其谈:他们编造出一些理由去迎合他们的选择。

4对可用性测试的启发

现在让我们来看看这些研究发现对可用性测试有什么启发。当我们询问参与者“为什么你选择这个?”时,参与者会进行内省并给出一个答案。但是参与者自己可能都不知道自己为什么会想出来这个理由。正如这些研究展示的那样,参与者不太可能说“我不知道为什么”,他们会自己的行为找出理由,一个他们认为是真实的理由 ,但真相是理由都是捏造出来的。

这些测试结果不是我们做出设计决策的最好依据。

研究告诉我们,我们不应该在可用性测试中询问用户“为什么”。相反,可用性测试应该专注于国际标准的定义:

特定的用户在特定的环境下使用一个产品达到具体的目标的效果、效率及满意程度。

例如:

  • 用户能否完成任务?
  • 完成任务需要多少时间?
  • 在完成任务过程中犯了多少错误?

关注用户做了什么,而不是说了什么,可用性测试在消费者研究方法中有其特殊的地位。当你询问用户“为什么”时,相当于是削弱了可用性测试的作用,并且有可能会因为错误的理由更改了你的设计方案。

通过各种方式倾听用户的评论,但谨记用行为数据去验证这些评论。

参考资料

Nisbett, R.E. and Wilson, T.D. (1977). “Telling more than we can know: Verbal reports on mental processes”. Psychological Review, Vol 84 pp 231-259.

Johansson, P., Hall, L., Sikström, S. and Olsson A. (2005). “Failure to Detect Mismatches Between Intention and Outcome in a Simple Decision Task”. Science, Vol. 310. no. 5745, pp. 116-119.