Сильная индустрия общественных опросов - это показатель свободного общества. Это свидетельство способности организаций, не относящихся к правительству, собирать и публиковать информацию о благосостоянии населения и взглядах граждан по основным вопросам. В странах, где нет надежных опросов, глава правительства может вместо этого просто указывать желания и потребности граждан.
После президентских выборов 2016 года некоторые наблюдатели по понятным причинам усомнились в том, что опросы в Соединенных Штатах по-прежнему отвечают задаче сбора точной информации. Ошибки 2016 года обнажили некоторые реальные ограничения опросов, даже несмотря на то, что ясный анализ национальных опросов как в 2016, так и в 2018 году показал, что опросы по-прежнему работают хорошо, если они проводятся тщательно.
Один из способов избежать повторения скептицизма в отношении опросов, последовавших за последними президентскими выборами, - это сократить разрыв между восприятием и реальностью, когда дело доходит до того, как работают опросы. У людей есть много представлений об опросах - часто основанных на вводном уроке статистики, но иногда даже меньше, - которые часто являются ложными. Реальная среда, в которой проводятся опросы, мало похожа на идеализированные настройки, представленные в учебниках.
Имея это в виду, вот некоторые ключевые моменты, которые общественность должна знать о голосовании в преддверии президентских выборов в этом году.
Разные избирательные организации проводят свои опросы по-разному. Методология исследования переживает период творческого брожения. В настоящее время CNN и Fox News проводят опросы по телефону с использованием интервьюеров в прямом эфире, CBS News и Politico размещают свои опросы в Интернете с помощью панелей согласия, а Associated Press и Pew Research Center проводят опросы в Интернете, используя группу респондентов, набранных офлайн. Существует даже четвертая группа социологов, которые комбинируют такие методы, как роботизированные звонки и онлайн-опросы, с выборками по подписке. Эти разные подходы влияют на качество данных, а также на точность выборов.
Барьеры для входа в поле для голосования исчезли. Технологии повлияли на проведение опросов таким же образом, как и на журналистику: они позволили любому, у кого есть несколько тысяч долларов, выйти на поле и провести общенациональный опрос. Как и в случае с журналистикой, у этой демократизации есть свои плюсы и минусы. Произошла волна экспериментов с новыми подходами, но также наблюдается рост количества опросов от фирм, практически не имеющих полномочий или результатов исследований. В 2016 году это способствовало тому, что ландшафт государственных опросов был переполнен быстрыми и дешевыми опросами, большинство из которых допустили предотвратимую ошибку: не удалось исправить чрезмерную представленность избирателей с высшим образованием, которые сильно склонялись к Хиллари Клинтон. Некоторые опросы новичков могут предоставить хорошие данные, но наблюдатели не должны принимать это на веру.
Опрос может быть отмечен как «национально репрезентативный», но это не гарантия надежности его методологии. В применении к опросам фраза «национально репрезентативная» звучит как обещание достоверности опроса. Но этот термин не передает какой-либо конкретной технической информации и не дает никаких гарантий. Опросы могут быть отобраны и скорректированы, чтобы представлять страну в определенных измерениях, поэтому любой человек может сделать это заявление по любому опросу, независимо от его качества. К сожалению, это часть более широкой тенденции, в которой жаргон, используемый для продвижения опросов (например, «органическая выборка», «выборка следующего поколения» или «глобальный рынок»), в некоторых случаях может скрывать ошибочные методологии, ведущие к систематической ошибке. Наблюдателям за опросами будет полезно сосредоточиться на ключевых вопросах для проверки опросов, таких как те, которые включены в это руководство для журналистов, опубликованное Американской ассоциацией содействия развитию науки SciLine, или собственное руководство по опросам исследовательского центра Pew Research Center.
Реальная погрешность часто вдвое превышает заявленную. Представление о том, что типичная погрешность составляет плюс-минус 3 процентных пункта, заставляет людей думать, что опросы более точны, чем они есть на самом деле. Почему это? Во-первых, предел погрешности учитывает только один источник потенциальной ошибки: тот факт, что случайные выборки могут немного отличаться от генеральной просто случайно. Но есть три других, не менее важных источника ошибок при опросе: неполучение ответов, ошибка охвата (когда не вся целевая совокупность имеет шанс попасть в выборку) и неправильное измерение. Предел погрешности не только не учитывает эти другие источники потенциальных ошибок, но и подразумевает для общественности, что они не существуют, что неверно.
Несколько недавних исследований показывают, что средняя ошибка в оценке опроса может быть ближе к 6 процентным пунктам, а не к 3 пунктам, подразумеваемым типичной погрешностью. Несмотря на то, что опросы по-прежнему полезны для демонстрации того, поддерживает ли общественность ключевую политику или нет, эта скрытая ошибка подчеркивает тот факт, что опросы недостаточно точны, чтобы определить победителя на закрытых выборах.
Теоретически этот принцип остается верным, но в реальности современные опросы и другие. Как объяснил Нейт Кон из New York Times: «Часто опросы с огромными выборками на самом деле просто используют дешевые и проблематичные методы выборки».
Добавление все большего количества интервью из предвзятого источника не улучшает оценок. Например, онлайн-опросы по подписке основаны на удобных выборках, которые, как правило, чрезмерно представлены взрослыми, которые идентифицируют себя как демократы, живут одни, не имеют детей и имеют более низкие доходы. Хотя онлайн-опрос с 8000 интервью может показаться более впечатляющим, чем опрос с 2000 интервью, исследование, проведенное Центром в 2018 году, не обнаружило разницы в точности.
Есть свидетельства того, что, когда публике говорят о высокой вероятности победы кандидата, некоторые люди с меньшей вероятностью проголосуют. После выборов 2016 года многие задавались вопросом, привели ли распространенные прогнозы почти к гарантированной победе Клинтон (два разработчика модели оценили ее шансы на уровне 99%) некоторых потенциальных избирателей к выводу, что гонка фактически окончена и их голосование не имеет значения. Теперь есть научные исследования, подтверждающие эту логику. Группа исследователей обнаружила экспериментальные доказательства того, что, когда люди уверены, что победит один кандидат, они с меньшей вероятностью проголосуют. Это помогает объяснить, почему некоторые аналитики опросов говорят, что выборы следует охватывать с использованием традиционных оценок опросов и пределов погрешности, а не спекулятивных вероятностей победы (также известных как вероятностные прогнозы).
Оценки общественного мнения о кандидатах и основных направлениях политики в целом заслуживают доверия, но оценки того, кто выиграет «скачки», менее надежны. Если взять в качестве примера 2016 год, то и Дональд Трамп, и Клинтон исторически имели низкие рейтинги благоприятствования. Это оказалось сигналом к тому, что многие американцы изо всех сил пытались решить, кого поддерживать и голосовать ли вообще. Напротив, множество государственных опросов в Верхнем Среднем Западе, показывающих, что Клинтон лидирует в скачках, оказались миражом.
Оставляя в стороне тот факт, что всенародное голосование за президента напрямую не определяет, кто победит на выборах, есть несколько причин, по которым окончательное количество голосов труднее точно измерить, начиная с того факта, что, как известно, очень сложно определить, какой опрос респонденты действительно придут голосовать, а которые нет. В этом году в оценках скачек добавится неопределенность из-за возможных препятствий для голосования, связанных с пандемией. Гораздо больше людей проголосуют по почте или попытаются это сделать, чем в прошлом, и если доступно меньше избирательных участков, чем обычно, очереди могут быть очень длинными. Все это напоминает нам о том, что реальная ценность избирательного голосования состоит в том, чтобы помочь нам понять, почему люди голосуют - или не голосуют - как они.
Все качественные опросы основаны на статистической корректировке, называемой «взвешиванием», чтобы убедиться, что выборки соответствуют более широкому населению по ключевым характеристикам. Исторически исследователи общественного мнения полагались на возможность корректировать свои наборы данных с использованием основного набора демографических данных для исправления дисбаланса между выборкой обследования и населением. Среди исследователей растет понимание того, что взвешивание опроса только по нескольким переменным, таким как возраст, раса и пол, недостаточно для получения точных результатов. Некоторые группы людей - например, пожилые люди и выпускники колледжей - с большей вероятностью будут участвовать в опросах, которые могут привести к ошибкам, которые слишком велики, чтобы простая корректировка с тремя или четырьмя переменными не сработала. Исследования Pew Research Center в 2016 и 2018 годах показали, что поправка на большее количество переменных дает более точные результаты.
Ряд социологов принимают этот урок близко к сердцу. Крупные опросы Gallup и New York Times / Siena College учитывают восемь и 10 переменных соответственно. Опросы Pew Research Center основываются на 12 переменных. В идеальном мире не было бы необходимости в таком большом вмешательстве со стороны социолога, но реальный мир опросов не идеален.
Неспособность приспособиться к уровню образования респондентов является дисквалифицирующим недостатком в современных полях сражений и национальных опросах. Долгое время в политике США уровень образования не всегда коррелировал с выбором партии, но ситуация меняется, особенно среди белых избирателей. В результате, когда дело доходит до уровня образования, для выборки опросов все более важно точно отражать состав электората. Поскольку люди с более высоким уровнем формального образования с большей вероятностью будут участвовать в опросах и идентифицировать себя как демократы, существует вероятность того, что в опросах демократов будет больше. Но эту проблему можно легко исправить путем корректировки или взвешивания, чтобы выборка соответствовала генеральной совокупности. Необходимость проведения опросов в штатах на поле боя для корректировки образовательных потребностей была одним из наиболее важных выводов из неудач на выборах в 2016 году.
Прозрачность проведения опроса связана с большей точностью. Индустрия опросов имеет несколько платформ и инициатив, направленных на обеспечение прозрачности проведения опросов, в том числе Инициативу прозрачности Американской ассоциации исследования общественного мнения и архив Ропер-центра. Нейт Сильвер из FiveThirtyEight обнаружил, что участвующие в этих организациях опросы компаний в среднем имеют меньше ошибок, чем те, которые этого не делают. Участие в этих усилиях по обеспечению прозрачности не гарантирует, что опрос будет тщательным, но это, несомненно, положительный сигнал. Прозрачность опроса означает раскрытие важной информации, включая информацию о спонсоре опроса, фирме, занимающейся сбором данных, о том, где и как были выбраны участники, а также о способе проведения интервью, датах проведения, размере выборки, формулировке вопросов и процедурах взвешивания.
Проблемы с государственными опросами в 2016 году не означают, что опрос в целом сорван. Да, опросы в Верхнем Среднем Западе систематически недооценивали поддержку Трампа, но эксперты выяснили, почему: нерешительные избиратели в конечном итоге сильно повлияли на Трампа; в большинстве государственных опросов преобладали выпускники колледжей; явка была выше, чем ожидалось, во многих сельских округах, но ниже в городских. В то же время в беспорядке было потеряно то, что общенациональные опросы 2016 года были достаточно точными по историческим меркам. Преимущество Клинтона в общенациональном всенародном голосовании составило 2 процентных пункта по сравнению с 3 пунктами в итоговом среднем опросе.
Промежуточные результаты 2018 года предоставили дополнительные доказательства того, что опросы по-прежнему работают хорошо, если они проводятся тщательно. Преимущество Демократической партии в Палате представителей США на национальном уровне составило 9 очков в финальном голосовании по сравнению со средним показателем 7 очков в финальных опросах.
Свидетельств для избирателей «застенчивого Трампа», которые не говорят социологам о своих истинных намерениях, гораздо меньше, чем некоторые думают. Иногда люди лгут социологам? Конечно. Но мнение о том, что сторонники Трампа не желают выражать свою поддержку социологам, было преувеличено, учитывая скудные доказательства в поддержку этого. Комитет экспертов по опросам оценил пять различных тестов теории «застенчивого Трампа» и не нашел доказательств для каждого из них. Позже исследователь из Йельского университета и исследовательского центра Пью провел отдельные тесты, которые также не нашли доказательств в поддержку этого утверждения. Теория «застенчивого Трампа» могла объяснить небольшую часть ошибок в опросах 2016 года, но она не входила в число основных причин.
Систематический пропуск избирательных опросов более вероятен, чем думают люди. Легендарная цитата спикера Палаты представителей Типа О’Нила гласит, что «вся политика локальна». Но со временем это становится все менее и менее актуальным в США. Результаты на уровне состояния сильно коррелированы друг с другом, поэтому ошибки опроса в одном состоянии могут повторяться в других аналогичных состояниях.
Как объяснил Нейт Сильвер, если Клинтон собиралась не достичь своих результатов в опросах в Пенсильвании, она также, вероятно, проиграла бы в демографически подобных штатах, таких как Висконсин и Мичиган. В 2016 году большинство прогнозистов, пытавшихся предсказать исход выборов, недооценили степень корреляции ошибок опроса от одного штата к другому. Синоптики осведомлены об этой проблеме больше, чем четыре года назад, но у них нет надежного способа ее преодоления.
Национальные опросы лучше дают американцам равный голос, чем предсказывают коллегию выборщиков. Президентские выборы 2000 и 2016 годов продемонстрировали трудную истину: общенациональные опросы могут точно определить кандидата, которого предпочитают американцы, но не выявить победителя. Это происходит, когда победитель всенародного голосования (например, Эл Гор, Хиллари Клинтон) отличается от победителя Коллегии выборщиков (например, Джорджа Буша, Дональда Трампа).
У некоторых возникает вопрос: что толку от общенациональных опросов, если они не говорят нам, кто, скорее всего, победит на президентских выборах? Фактически, национальные опросы пытаются оценить мнения всех американцев, независимо от того, живут ли они в штате, где поля битвы, например, в Пенсильвании, в надежно красном штате, таком как Айдахо, или в надежно синем штате, таком как Род-Айленд. Короче говоря, общенациональные опросы говорят нам, что думают все граждане. Если бы опросы были сосредоточены только на Коллегии выборщиков, подавляющее большинство американцев (около 80%), живущих в неконкурентоспособных штатах, было бы по существу проигнорировано, а их потребности и взгляды сочтены слишком несущественными для проведения опроса.
К счастью, большинство социологов не так смотрят на мир. Как объяснил известный политолог Сидней Верба, «опросы дают именно то, что должна производить демократия - равное представительство всех граждан».