如何设计问卷,才能收集到高质量的数据?

在用户研究中,问卷调查是最重要的工作之一。因此,问卷设计就显得重要。

问卷的质量会直接影响到收集的数据质量。在面对问卷设计的时候,我们往往过于轻敌,自以为已经做得很好,其实一些基本原则和注意事项很容易被忽视。

问卷调查的好处在于,我们能够通过来自大样本的结构化数据,对事实作出精准的描述和推断,这是定性研究所难以做到的。

但是,一个问卷调查,如果对错误的用户提了错误的问题,收到的数据将无法反应实际情况。更可怕的是,如果我们对此一无所知,轻信问卷数据的质量,就会得出具有误导性的结论。

问卷调查还有另一个风险,就是我们往往依赖问卷填写者的自我报告,他们填写的答案往往会受到自身的一些认知局限的影响,未必能反映客观事实,这也是我们在设计问卷的过程中需要尽量避免的。

问卷测得的数据与实际情况之间存在的偏差,主要受到以下因素的影响:

人的回忆是不准确的:相比于自己做过某事,人们很容易忘记自己没有做过某事;人们很难记起往事发生的确切时间;人们很难记起大多数经历的细节。

人在回答问题的时候可能会受到社会期许效应的影响。人们了解社会对人的行为有一定的期待,也担心自己的某些真实情况不被他人认可。因此他们倾向于根据社会的期许来调整自己的答案。

人们总是倾向于给出答案,即使自己并不清楚。

人们报告的往往是他们对事情的理解,未必与客观事实一致。

问卷

问题的措辞、选项的措辞、选项的顺序和前后文语境都会影响用户对问题的理解,从而也就影响了用户的回答。

那么,对于问卷设计来说,好问题的标准是什么?

好问题首先要有明确的测量目标,也就是问题实际上要测量的事件是什么。其次,对于这个测量目标,好问题能够有较高的信效度,也就是能够达到稳定而准确。

1

要尽量减少测量的偏差,有几个基本条件:

  • 要让用户,并且是所有的用户都能够以与你相同的方式理解问题。需要检视问题中的每一个概念,确保没有歧义。比如:「运动」是否包含「散步」?「月收入」是指税前还是税后、是否包含投资理财等其他收益?
  • 确保用户能够回答你的问题。用户可能因为不知道相关信息(你上周通过运动消耗了多少卡路里?)、无法准确回忆起相关信息(你上个月有几天没吃早餐?)等原因而无法回答。
  • 确保用户愿意回答你的问题。如果用户不愿意回答,他们可能随便选择一个答案来应付。如果涉及到比较敏感的问题,让用户知道为什么你要问这个问题,并且让他相信你会对此保密。
  • 确保每个用户都能找到适合自己实际情况的选项,并且避免诱导他们做出不符合实际情况的选择。

研究设计

在开始动手编制问卷之前,我们需要先搞清楚一些更核心的问题。

1.目标调查对象是谁?

我们需要对目标群体有一定的了解,包括他们掌握的相关信息、习惯使用的术语等,才能够提出合适的问题。

2.研究目的是什么?

我们做的研究可能有需求方,了解清楚他们的期望。尝试用一句话描述本次调研的目的,这考验的是我们对研究关注的核心问题以及研究的根本价值的了解。

3.目的→假设→变量→问题

从根本目的出发,我们可以衍生出一些具体假设。如果条件允许,可以先对目标群体做个访谈,帮助我们拓展思路和形成假设。

每一个具体的假设都揭示了我们应该测量哪些变量,而每个变量可能需要用多个问题去测量。“目的→假设→变量→问题”这个架构树帮助我们紧贴研究目标去思考应该提出哪些问题。

2

△ 目的-假设-变量-问题

也可以通过让团队成员头脑风暴的方式来收集团队想要了解的问题(不需要写出规范的问卷题目)。但是需要注意的是,每一个问题都需要有存在的理由,即它对研究目标的贡献是什么。最终留下的问题数量尽量不要太多。30个题目的问卷大概就需要用户花费20分钟去填写,如果超过20分钟,问卷的回应率和答题质量都会有所下降。

问题设计

我们已经列出了为了达到研究目的,我们需要知道的问题的清单。下一步是好好设计这些问题的措辞,以避免不必要的测量误差,提高测量的准确度。下面是一些通用法则:

1.让用户预测自己的行为往往不准确,直接问他们过去的行为可能更好

用户在预测自己行为方面往往做得不太好,如果你问他们是否会使用某个产品或者服务,他们很可能会说“会”,但是这并不可信。直接问行为,用用户过去的行为去预测他未来的行为更加可靠。

2.避免问否定性的问题,填写者可能会少看了「不」字

比如,当你的问题是「下列哪些因素对你来说最不重要?」时,用户可能因为粗心而看成“下列哪些因素对你来说最重要?”

3.推测原因、提供解决方案对用户来说都较难回答,尽量不让用户回答这些问题

「你是否曾经因为找不到某个功能而放弃使用A网站?」用户也许记得放弃使用A网站的经历,但他们未必能够意识到放弃使用的原因。

4.不要一次问多件事

「在购买纸质图书或电子图书时,你最看重哪些因素?」这样的问题会让用户产生困惑,究竟要回答前者还是后者,尤其是两者对应的答案不一致时。对研究员来说,这种问题的答案也很难分析,无法清晰地界定用户的选择代表的具体意义。

2-1

△ 当用户选择“是”时,能够说明什么?

5.避免在问题中隐含假设

「你最喜欢A网站的什么?」这个问题假设了用户对网站的某些部分存在好感,但是这个假设未必成立。

6.不要问极端的问题

「你每次上网都浏览新闻吗?」由于极端问题出现的概率较低,对于这种问题大多数的用户会回答“否”。这样获得的数据没有太大价值。直接询问频率可以获得更加具体的信息。

7.明确你感兴趣的时间期限

「你购买化妆品的频率是?」用户可能会根据最近一个月、最近半年或者最近一年的情况来作答,真正糟糕的是不同的用户可能会选择不同的时间期限。因此说明你希望用户根据哪段时间的情况做判断会更好。

选项设计

1.选项要对称

选项的正向和反向形容需要有相同的力度和强度。如下图的选项不正确地给了负向情绪以更高的强度。

3

△ 选项不对称

2.保证所有用户都有合适的选项

最好穷尽所有可能,如果无法做到,也可以提供一个「其他」选项给那些没有被覆盖到的用户。即使是李克特量表,有时也需要加入一个「不适用」选项,避免强迫用户选择。

4

△ 应该提供一个「其他」选项

3.选项要很具体

不要有含糊不清的表述,能够用数字表达的尽量不用「很少、经常」这类表述。

4.选项要互斥

如果是单选题,一个用户不能够既符合A选项,又符合B选项。如下图,「情有可原」表示「不该,但是可以理解」,那么持这种观点的用户应该选择「不该」还是「情有可原」?

5

选项不互斥

5.选项的顺序要一致

比如1永远是最不同意,5永远是最同意(或者相反)。如果一份问卷中选项的方向发生改变,用户可能没有注意到或者习惯性按照原来的方向进行选择。

6.如果答案没有逻辑顺序,尽量做到随机排列

顺序可能会影响用户的选择,我们通过随机的方式来降低这种影响。

7.选项的含义要清晰

「我经常做有氧运动。——同意、不同意」当用户选择不同意的时候,表示的是自己做有氧运动的频率低于「经常」,还是高于「经常「?

顺便说说访谈

访谈和问卷调查类似,都是向用户提问题。它们之间最大的不同是,问卷调查得到的答案是封闭式的、结构化的,而访谈得到的回答是开放式的、难以预期的。

访谈和问卷遵循一些相同的提问原则,比如不要带有引导性,要尽量消除社会期许的影响,尽量询问事实而非让用户预测等。

但是访谈是人跟人的对话,而不是人跟问题的对话。所以访谈员未必跟着设计好的提纲走。如果被访者对问题存在疑问或者误解,访谈员有机会去发现并进行解释。访谈员还可以针对被访者的回答进行追问,以便对问题有更深入的了解。

问卷调查对问卷设计的要求很高,数据质量很大部分依赖于此。但是访谈除了遵循一些和问卷设计一样的规则之外,更多地依赖于访谈员的访谈技巧和现场发挥。

DataTALKS(数易创研)是专业的市场研究与数据采集机构

数易创研  | 策略型专项市场研究

数据说™   | 敏捷调研服务+自助调研平台

有礼科技  | 移动端在线样本平台

%e8%8e%b7%e5%8f%96%e6%95%b0%e6%8d%ae%e8%af%b4%e7%ae%80%e4%bb%8b%7c%e4%ba%a7%e5%93%81%e6%89%8b%e5%86%8c%7c%e6%a1%88%e4%be%8b%7c%e4%bc%98%e6%83%a0_%e4%ba%8c%e7%bb%b4%e7%a0%81

扫描或识别二维码

获取数易创研服务简介 | 案例 | 报价

via 优设