im体育官网登录入口ios

调查中“不知道/没有意见”答案选项的陷阱

在这篇新的博客文章中,im体育深入探讨了封闭式问题中“不知道”和“无意见”(“DK/NO”)答案选项的im体育官app使用。毕竟,科学文献中存在关于是否包含或省略它们的争论。在广泛讨论添加/省略这些答案选项的利弊之后,im体育将为您提供一些关于如何处理这些答案选项的建议。

要事第一。im体育所说的“DK/NO”答案选项是什么意思?他们背后的想法很简单。它允许受访者表明他们不知道问题的答案或对特定问题没有意见(见下图)。

不知道也不发表意见

1. 加入“DK/NO”的优缺点

现在im体育弄清楚了“DK/NO”的含义,im体育可以开始讨论这个答案选项的优缺点了。

添加“DK/NO”的主要优点之一是它可以减少数据中的噪声。换句话说,如果您省略“DK/NO”,不知道问题答案的受访者或没有强烈意见的受访者仍然会被迫选择一个意见(也称为非态度报告)。这会在结果中产生噪音。添加“DK/NO”可以减少这种噪音。

然而,添加“DK/NO”以最小化非态度报告的想法基于两个假设(Krosnick 等人,2002 年)。首先,只有两种类型的受访者,即 a) 对任何给定问题有意见并意识到拥有这些意见的受访者和 b) 对任何给定问题没有意见但同样意识到这一点的受访者。即具有相当多的自我知识的受访者。其次,假定受访者的行为是理性的。

因此,无论是否包含或省略“DK/NO”,第一类受访者都应该报告他们的意见。然后假定第二种类型在提供时选择“DK/NO”选项。正如im体育已经讨论过的,当没有提供“DK/NO”时,这种类型的受访者很可能会捏造一个意见,以便显得固执己见。为了避免这种捏造,一些调查研究人员提倡添加“DK/NO”。

然而,这些假设似乎存在根本性缺陷。毕竟,假设“DK/NO”只会吸引那些真正不知道问题答案或对调查主题没有意见的受访者。然而,您永远无法 100% 确定固执己见的受访者不会选择“DK/NO”选项。结果,最初的假设不成立。这就是为什么有人认为您不应该自动假定每次受访者选择“DK/NO”时,他都无法报告有意义的回答。

那么,为什么固执己见的受访者会选择“DK/NO”,而不是表达他/她的真实意见呢?在科学文献中提出了各种论点。首先,如果受访者不完全确定问题的含义,他们会选择“DK/NO”(例如 Feick,1989)。其次,避免思考和/或承诺自己(例如 Oppenheim,1992)。第三,当调查超出他们的动机或能力时(Krosnick,1991)。

这最后两个论点代表了 Krosnick (1991) 所说的“调查满意度理论”。有人认为,回答态度调查问题需要对受访者进行认知工作。回答这些问题并不容易,因为受访者必须考虑这些问题。毕竟,受访者必须对态度问题做出判断,并将该判断转化为回应(例如 Schwarz & Bonner,2001 年)。当认知工作量超出受访者的动机或能力时,他们将开始寻找避免工作量的方法,同时仍然表现得好像他们在进行调查一样。在调查中避免这种认知工作量的一种简单方法是选择“DK/NO”。

这就是为什么“调查满意度理论”的拥护者主张省略“DK/NO”。因此,所谓的“满足者”没有机会通过选择“DK/NO”来跳过艰苦的工作。

近年来,科学共识已转向省略“DK/NO”。例如 Krosnick 等人。 (2002) 发现包含“DK/NO”并不能可靠地提高数据质量。相反,如果没有提供“DK/NO”,被“DK/NO”吸引的受访者可能会提供实质性答案。作者甚至得出结论:“总体水平的分析表明,许多甚至大多数选择明确提供的无意见回应选项的受访者可能有有意义的态度,但im体育不能排除某些人这样做的可能性,因为他们确实没有有态度。

2. 建议

现在im体育im体育了“DK/NO”的优缺点,你应该提供还是省略这个答案选项?

像往常一样,这取决于。

这取决于您是否有能力浪费一些潜在的有用数据。毕竟,收集调查数据是相当昂贵的。它需要大量的时间和金钱投资。因此,根据“调查满意度理论”,提供“DK/NO”的研究人员可能会浪费人们可能会做出的有用回答,否则他们会选择实质性回答。

这取决于问题的性质和受访者的概况。为事实问题添加“DK/NO”比态度问题更直观。同上,如果你正在调查一个很有可能不知道答案的听众。例如,如果您要求客户对您的帮助台进行评分,如果您不能 100% 确定每个客户都与帮助台联系过,那么添加“DK/NO”是有意义的。但是,当您调查高中生对欺负同学的态度时,情况并非如此。

这取决于您是否有足够大的样本,因为提供“DK/NO”很可能会减少您的有效样本量。毕竟,您的一部分受访者会选择“DK/NO”,因此很可能不会包含在分析中。对某些社会人口群体而言,数据影响的减少将更加强烈。例如,研究表明,受教育程度较低的受访者比受教育程度较高的受访者更倾向于选择“DK/NO”。

最后,如果您决定提供“DK/NO”,您可以通过向他们提出后续问题来尝试从选择“DK/NO”的受访者那里获得实质性数据。例如,您可能会问他们是否倾向于其中一种实质性回应选项(Bradburn & Sudman,1988)。

那么,您如何处理调查中的“不知道/无意见”答案选项?

参考

Bradburn, NM 和 Sudman, S.(1988 年),民意调查和调查:im体育他们告诉im体育的内容。旧金山:Jossey-Bass。

Feick, LF (1989),“包含不知道回答的调查问题的潜在类别分析”。 ”,《舆论季刊》,53:525-47。

Krosnick, JA, Holbrook, AL, 等人。 (2002),“ ‘无意见’回应选项对数据质量的影响。非态度的降低或满足的邀请? ”, 舆论季刊, 66: 371-403.

Krosnick, JA (1991),“应对调查中态度测量的认知需求的响应策略”。 ”,应用认知心理学,5:213-36。

Oppenheim, AN (1992),问卷设计、访谈和态度测量。伦敦:品特。

Schwarz, N. 和 Bohner G. (2001),“态度的构建”。在布莱克威尔社会心理学手册:个人内部过程,编辑。 Abraham Tesser 和 Norbert Schwarz,卷。 1,第 436-57 页。牛津:布莱克威尔。

17条评论

加入对话
  • Capthall - 2018 年 12 月 回复

    以上都不是许多调查问题的唯一答案……

  • Rich Williams - 2016 年 12 月 回复

    切线相关……im体育有一份纸质/印刷的满意度调查,前 20 个问题有 5 种可能的回答:非常满意、满意、不满意、非常不满意和 NA(不适用)。我在本页的示例中看到,DK/NO 列由垂直线和较暗的阴影分隔。im体育的调查不是这样的——受访者im体育 5 个选项中每个选项的列标题,以辨别他们应该标记哪个答案。

    那么,这可能是一个愚蠢的问题,这个专栏是否应该被取消?

    Gert Van Dessel - 2016 年 12 月 回复

    嗨,里奇,

    这不是绝对必要的,但它确实使受访者更容易填写。
    问卷越简单,回复率越高......

    里奇·威廉姆斯- 2016 年 12 月

    谢谢格特!

  • Abdiel - 2016 年 9 月 回复

    谢谢你的文章!im体育对英语课程进行了英语语言知识诊断测试。im体育决定添加一个 DK/NO 选项,以防止一些学生回答他们确实不知道答案的问题。看了你的文章,我觉得im体育的问题可以看作是“事实问题”,因为它们只是为了测试学生的知识。是否对诊断测试有任何补充意见?

    Gert Van Dessel - 2016 年 9 月 回复

    阿卜杜勒,

    我对诊断测试没有具体的见解,也许是本文的其他读者之一?

  • Nicolas Fernandez Perez - 2016 年 7 月 回复

    你好,非常有趣的话题。如果为时不晚,我想就听力测试(不同于调查)询问您的意见,例如 ABX 测试,通常只有两个选项可供参加测试的受试者im体育官app使用 X=A 或X=B,其中 X 是由机器在 A 和 B 之间随机选择的,样本 A 和 B 之间的差异非常小。
    如果im体育包含称为“我不知道”的第三个选项,会发生什么情况以及它将如何影响测试结果?
    这里的关键是im体育试图确定受试者是否可以根据他/她的感知(听力)判断样本 A 和 B 之间是否存在差异。
    谢谢你!

    Gert Van Dessel - 2016 年 7 月 回复

    嗨尼古拉斯,

    谢谢你的评论。我不熟悉这种类型的测试,但邀请本文的其他读者发表他们的经验。

  • Nate Richey - 2015 年 5 月 回复

    我曾经在洛杉矶的一个呼叫中心工作,负责听取人们的意见。im体育对这些的经验法则是不要im体育该选项,确保他们提供响应,然后逐字逐句地检查它是否合适。不知道,对于那些在不im体育他们需要选择一个选项的情况下发表意见的受访者来说,没有意见是必要的,这种情况很少见。在某些情况下,调查会让im体育这样做,在其他情况下,它不会。但那是最后的手段。

  • Matt Champagne - 2014 年 2 月 回复

    这是一个非常好的帖子,我很享受谈话。提供“不适用”选项可以让受访者阻止您im体育她的意见。 “不适用”选项可能适用于某些类别,例如有关公司的客户服务或设施的公共卫生间的问题,受访者可能没有im体育官app使用过这些。在许多情况下,受访者有自己的意见,im体育不想因为“不适用”选项而丢失该信息。 2013 年 11 月,我写了一篇关于这个主题的博文。当您或其他观众有机会时看看: http://www.embeddedassessment.com/Lesson5_Surveys_OptOut

  • Didier Dierckx - 2014 年 2 月 回复

    im体育还在 LinkedIn 群组“市场研究协会”中收到了一些有趣的评论

    “一般来说,当需要硬数据时,im体育更喜欢最佳猜测响应而不是 DK/NO,但会接受真正的 DK。在意见或属性的情况下。不应提供 DK/NO 响应。”

    和 …

    “另一个问题是:DK 回应的真正含义是什么?在许多情况下,答案有多种解释。如果受访者被要求将一个品牌评为“具有魅力”,DK 的回答是否意味着“我对该品牌的im体育还不足以回答这个问题”或“我不知道魅力的概念如何应用”或“我不知道“有魅力”是什么意思?

  • Didier Dierckx - 2014 年 2 月 回复

    LinkedIn 上“市场研究领域主管/领域管理专家/数据收集专家/在线和离线”组中的一些有趣评论
    市场研究现场主管/现场管理专家/数据收集专家/在线和离线'

    “在im体育的实践中,im体育遵循文章中的最终建议——当有合理的可能性并非所有受访者都能够提供答案时包括 DN/NO,但当受访者确实应该有意见时排除 DN/NO 选项关于特定主题。”

    “从情感工作的角度来看,工作和面试流程的便利性,以及数据的准确性和受访者的敏感性,我更愿意接受非强制性的回应——包含 DK 和 REF 给受访者一个“退出”的选择,他们可能出于多种原因需要。 “

  • Michelle Frietchen - 2014 年 2 月 回复

    在上面的例子中,已经有一个中立的选项——“既不同意,也不同意”——如果受访者不知道他们的感受,没有经历过 X 的那个方面,或者只是“不想考虑它”,他们有一个通过选择道路响应的中间出来。

    如果我觉得受访者可能无法对特定问题进行评分,我通常会在最右侧添加一个“不适用”列。当我觉得他们应该可以根据他们的标准或经验发表意见时,我仍然有 NA,但很多时候不包括量表中间的中性类别。我确实包括了一个不知道我是否觉得它适用于观众。

    我同意,当它真的不适用并且有人被要求对某事进行评分时,这是非常令人沮丧的。

    Didier Dierckx - 2014 年 2 月 回复

    嗨,米歇尔,

    有趣的评论

    我会争辩说,您尝试将“中立”受访者和没有经历过某个方面或不想尽可能多地考虑它的受访者分开。对某项服务既不满意也不满意(又名中立)与不想考虑或没有体验过该服务是不同的。

    在我看来,将这三种类型的受访者放在同一堆上会混淆数据。你觉得这个怎么样?

  • Austin Lemar - 2014 年 1 月 回复

    亚历山大,你不能把这些问题标记为不需要吗?

    Alexander Dobronte - 2014 年 1 月 回复

    一个原因是许多受访者在技术上并不那么精通,并且错过了关于哪些问题需要或不需要的迹象。他们可能认为每个问题都是必需的,或者真诚地尝试回答每个问题。如果他们遇到无法回答的问题,他们会觉得有两个选择:

    1. 给出随机或中立的回应
    2. 离开调查

    第一个选项会损害结果的质量,并使受访者对调查的其余部分投入较少,因为他们给出了他们知道是无效的答复并质疑他们努力的价值。

    第二种选择也有弊端,因为分析中通常只包含已完成的调查。

  • Alexander Dobronte - 2014 年 1 月 回复

    提供“N/A”选项可以避免不去思考这个问题,但如果你不考虑这个问题,请绝对肯定受访者可以给出答案,否则他们将离开调查。im体育看到的一个常见错误是,调查要求受访者对受访者可能im体育官app使用过或未im体育官app使用过的公司的列表服务进行评级。如果没有“不知道”选项并且问题是必需的,那么受访者将给出随机回答以继续或更有可能停在那里。

留下一个回复

您的电子邮件地址不会被公开。