Man at a voting booth, ballpark behind him

信用:Tom Williams / CQ通过AP图像拨打电话

Mark Fischer于2020年10月26日星期一的国内公园PNC Diamond Club组装了一张投票站。

你应该在选举民意调查中有多自信?根据一个新的,没有像Pollsters索赔一样自信 UC 伯克利 Haas学习.

大多数选举民意调查报告了95%的置信水平。然而,来自11名选举循环的1,400民意调查的分析发现,民意调查中的结果仅为60%的时间。这是在选举前一周的民意调查 - 准确性甚至更进一步。

“如果你有信心的基于投票,关于2020年选举将如何出现,再次想一想,”UC 伯克利 Haas教授说 唐摩尔谁与前学生Aditya Kotak,B.A进行了分析。 '20。 “有很多原因,为什么实际结果可能与民意调查不同,而Pollsters计算置信区间的方式也不会考虑这些问题。”

当唐纳德特朗普总统在2016年在民意调查后击败希拉里克林顿时,许多人感到惊讶,并推测民意调查越来越准确,或者选举是如此异常,它将它们扔掉了。但摩尔和科托克发现没有证据表明他们的民意调查样本恢复到2008年 - 相反,他们在民警组织中始终如一地过度地过度自信。

“也许我们需要调整整个民意调查的方式,以考虑与他们来的不确定性,”Kotak说。事实上,迄今为止,民意调查将需要将其报告的错误差额加倍,即使在选举日开始甚至会有一个星期,分析得出结论。

作为摩尔本科研究学徒的统计和计算机科学学生 准确的实验室 在2019年总统初级,科特克对民意调查所含有的置信区间变得好奇。他注意到民意调查的错误幅度经常被称为澳门太阳城文章和选举预测方法中的脚注,并且他想知道它们是否与他们应该是错误的误差边缘是准确的。

Kotak将这些想法带到了摩尔,他从心理和统计角度都有过度进度。关于轮询准确性的大部分研究仅考虑民意调查是否正确称为获胜​​者。为了规范民意调查信心,他们决定根据他们进行选举前多久进行民意调查,并考虑候选人是否赢得或丢失,但投票的实际份额是否在错误的范围内下降民意调查报告。例如,如果投票表明,54%的选民赞成候选人,并且它有5%的错误边际,如果候选人获得了投票的49%至59%,则是准确的,但如果是一个小姐候选人赢得了超过59%的投票(或少于49%)。

摩尔和科帕克在2008年,2016年和2016年的大选方面获得了1,400首民意调查,以及2008年和2016年的Iowa和New Hampshire的民主总统初选以及2012年和2016年的同一国家的共和党初选。因为一些民意调查询问了多个候选人,该样本包括人们如何对特定候选人投票的5,000次调查,以及伴随错误的余额。

在七天批次分析民意调查中,他们发现准确性稳步下降,从选举进行了比赛的比赛中,只有大约一半的证明在选举前10周准确。这是有道理的,因为发生了不可预见的事件 - 例如前FBI主任詹姆斯·康众宣布2016年总统选举前一周内的克林顿的电子邮件调查。然而,大多数民意调查甚至几周出来,报告了行业标准的95%置信区间。

采样误差和置信区间

置信区间量化了如何确定调查的人样本反映了整个选民人口。例如,95%的置信区间意味着如果遵循相同的采样程序100次,那些样本中的95个样品将包含真正的选民人口。然而,其中谎言。

置信水平考虑了“采样误差”,这是一种统计术语,这些术语量化了,通过纯机会,样本因抽取样本的较大的选民人口而异。例如,没有测量足够大的选民将增加采样错误。但采样错误不包括任何其他类型的错误 - 例如测量错误的人群开始。

“人们经常忘记民意调查错误的边缘只捕获统计来源,”说 大卫布劳克曼,伯克利政法部的副教授。 “此分析显示剩余的误差源在实践中有多大。”

添加教授 Gabriel Lenz.另外,美国伯克利政治科学,“这是一个迷人的分析,未来的工作可以解决不准确的来源,例如低质量的Pollsters,难度筛选可能的选民,选民意图的最后一刻变化,更多。 “

摩尔说,在轮询统计数据中易于考虑采样错误,但更难考虑到所有其他未知数。这是一个远远超出投票的课程。

“因为我们基于对不完美和偏见的信息样本基础,有时我们会出错,因为我们没有预料,”他说。