问卷调研的结论会撒谎 | 创业公司如何做用户研究

timg-1

任何创业者,在开始用户研究之前,首先请将以下语句在心中默读三遍:

“不要期待用户清晰地描述问题” “不要相信用户真实地告知答案” “不要让用户成为你的产品经理”

每每说到想要更立体地了解用户的特性,他们都是怎么使用产品,以及用户想用什么功能时,多数创业者脑海里立马想到的是——『好,我们来做个问卷调研吧』

问卷调研,一种看起来『人人都能完成』的简单调研方法,却往往隐藏着巨大的陷阱。如果没有注意过程中方法使用的姿势,可能就掉落进自以为然的结果陷阱里……

问卷调研法的误区

事实上,95%的问卷调研都是盲目和无效的,对创业公司而言,不仅浪费了时间和人力的成本,更有可能基于错误的结论基石来做。

1
不知道你有没有过遇到过类似情况?你兴致勃勃地翻开调研结果,无数彩色数字和排版精致的结论跃然在PPT上,但除了用户特征数据看起来更高大上外,其他无数个占据着高百分比的结论,都好像“不出所料”

比如,以下这些结论样式,有没有很眼熟:

“喜欢A功能的用户,多于B功能”; “C功能的使用流程,用户非常满意”; “用户愿意为D功能支付更多费用” “E功能的使用占比超过了80%”

此时的你慧然一笑,感觉产品未来真是无比美好。于是,以这些结论为指导方向,开始布局新的产品版本——

但是,以上调研的这些数据可能都在撒谎,而你却会不顾一切地相信它们。从心理学来聊,人类有种毛病叫“信任偏误”(confirmation bias)”,当你已经开始相信一个结论时,你会不顾一切地相信能够增强这种信息的结果;从定量分析来聊,单一问题中获得的绝对数据多少,并无法证明这些结论具有统计学的普适性。

问卷调研应该怎么做?

问卷调研不仅是一门沟通的问话艺术,更是一门严谨的逻辑科学。

学术界里要求的调研问卷设计和统计验证需要大量的时间和预算成本,基本无法在创业公司中得以实施。但创业者的确也能通过问卷调研的过程,搜集到用户信息和反馈,给予自己启发和刺激。

那么接下来讨论的方法,没有去复述学术里问卷调研的具体方法流程,而是针对创业公司目前常用方法的一个实践补充。避免过程中不易察觉的问题,并最大限度地降低结论出错的可能性。

1. 只设计一个目标

问卷设计只围绕一个目标进行拆解提问,而不是随机组合的想问就问。问卷设计时,先假设为了实现目标,有哪些相关性的因素,这些因素里都有什么样可能的选项。这是许多调研者使用问卷研究时,最容易出现的问题。

举个例子,如果想要调研用户使用短视频App的感受时,以下两份问卷片段的设计,你会觉得哪者更有效的?

2

3

很显然,从目标导向提问来看,A问卷的有效性胜过B问卷。从问题的结构设计上,A问卷将短视频的使用体验拆解成了视频的画质流量”,详细信息以及用户预期等相关因素(其实这也是问卷前的假设),可以更容易被调研者清晰感知后直觉选择的项目; 而B问卷则很显然是发散性提问(并且有个错误的提问引导),结论无法交叉分析。用户回答问卷时也无法代入场景。

2. 提问不要暗示引导

问卷提问需要更加客观的引导,而不要增加的主观暗示或引导

这种暗示引导最表层的体现,是在题目中代入了问卷设计者本身对这件事的积极态度。比如以下关于母婴App使用体验的问卷题设计:

4

题干中的质量好、价格低、有保障、评论高等用词,初看起来,好像是一种场景预设,为了让用户知道提供服务的App将会是什么样的。但这类词本身却是人性中的G点,其实无论产品是什么,我相信用户直觉都会有去试试看的冲动。

还有一种潜藏式的暗示引导,这种问卷的每一道题目看起来都很中性,但通过问题嵌套逻辑的询问引导,让用户回答你想要的答案。比如,以下是关于堕胎行为用户调研的经典案例:

问题一 你是否赞成堕胎行为: 赞成 不赞成 问题二 你是否赞成在特殊情况下堕胎行为: 赞成 不赞成

通过实验发现,如果在调研时,询问以上两道题的顺序不同,结果出现了显著性差异。如果先1后2,则赞成问题1的比例是60%; 而先2后1,则赞成问题1的比例则下降到了48%。这是因为问卷设计时潜藏了一个“特殊场景”引导。当用户从特殊到普遍时,会不自主的产生比较判断,选择不同的答案。

3. 无需思考的选择

正式调研前,先提前测试,观察回答者是否会锁眉思考或者迟迟无法勾选问题的答案,此时问卷得到的结果,可能也会产生错误。

用户进入思考一般会有两种情况,一种是会侵犯到用户的隐私区域,大脑下意识地进行保护和伪装。比如,避孕套的问卷调研,如果直接询问男性用户时间,则一般得到的答案会比真实结果长许多。

一种是无法直觉理解题目中的定义。比如,在一个怀旧社交App的调查问卷中的问题设计

5

在这个例子中,“老朋友”的描述就可能让用户产生思考,比如对于刚毕业的大学生来说,老朋友可能会是从小一起长大的青梅竹马, 而对于而立之年的中年人来说,老朋友可能是大学时一起上下铺的室友。那这种时间理解的差异性,可能会对最后的调研结果产生影响。

4. 投放目标用户

创业公司的问卷结论很少经过严格的统计计算,更不用提题目交叉对比,或者剔除异常值等分析方式。所以,在投放问卷时,尽量精准地让预期用户填写,对你结论的可行性会有最大影响。

你可以尝试,用你的微信朋友圈搜索下“问卷”两个字,一定能找到不少结果,但许多都是直接让朋友去填写,并没有指明说,需要什么样的用户。

6

比如,上图是的朋友圈结果,第一个结果,就是一个好引导的例子,不仅分享了问卷,还是告知了需要什么样的用户填写问卷。 而第二个和第三个结果,都是非常仗义的朋友式邀请,但可能不精准的用户填写,会对数据结论产生影响。

还有一种情况,如果创业者在前期,不太能确定自己产品的目标用户都有谁,那可能需要先进行用户分析的调研,结合观察法或者一些成熟的市场分析报告。切记不用依靠自己周围的朋友来“定量”判断,可能都有哪些人是你的目标用户。

 

文章来源:艾体验AIUX      https://zhuanlan.zhihu.com/p/27998545

写在最后的话

数据说和这厮有礼是数易创研的两款产品,数据说是一个全自动化的市场调研平台,有礼是基于移动端的人群样本库。数据说和这厮有礼作为新型的市场调研产品,以快速、简洁的特色为用户所青睐。登陆数据说平台www.shujushuo.net就可以全自动化的实现问卷、采集、报告的全过程,12小时完成一项专业的调研,扫描下方二维码,获得数据说简介、产品手册、案例、优惠政策。

%e8%8e%b7%e5%8f%96%e6%95%b0%e6%8d%ae%e8%af%b4%e7%ae%80%e4%bb%8b%7c%e4%ba%a7%e5%93%81%e6%89%8b%e5%86%8c%7c%e6%a1%88%e4%be%8b%7c%e4%bc%98%e6%83%a0_%e4%ba%8c%e7%bb%b4%e7%a0%81