Эффект режима - это широкий термин, относящийся к явлению, когда конкретный режим администрирования опроса вызывает сбор разных данных. Например, при задании вопроса в двух разных режимах ( например, бумажный и телефонный) ответы в одном режиме могут значительно и существенно отличаться от ответов, даваемых в другом режиме. Эффекты режима - это методологический артефакт, ограничивающий возможность сравнения результатов из разных режимов сбора.
Теория
Определенные режимы опроса помещают респондентов в разные настроения, называемые мысленным «сценарием». [1] Это может повлиять на результаты, которые они дают. Например:
- Очные опросы подсказывают «гостевой» сценарий. Респонденты с большей вероятностью будут относиться к интервьюерам, проводящим личную беседу, любезно и гостеприимно, что приведет к их большей доброжелательности и повлияет на их ответы. Различия между интервьюерами, проводящими опрос, также могут привести к целому ряду «эффектов интервьюера» на результаты опроса.
- Телефонные интервью подсказывают сценарий «солиситора» или «телемаркетера». Респонденты могут уделять меньше внимания телефонным интервью, что делает их более удовлетворительными (отвечая на вопросы с наименьшими усилиями), чтобы закончить интервью раньше. Настороженность в отношении того, кто может находиться на другом конце телефона, также может побудить респондентов дать более социально приемлемые ответы, чем в других режимах опроса.
Эффекты режима, вероятно, будут больше, когда различия между режимами больше [ необходима цитата ] . Личные интервью существенно отличаются от форм, заполняемых вручную на бумаге. Напротив, веб-опросы, ручная работа и другие формы для самостоятельного заполнения очень похожи (каждая из них требует, чтобы респонденты прочитали вопрос и ответили на него в частном порядке), и поэтому эффекты режима могут быть минимизированы.
Пользователи опросов должны учитывать возможность эффектов режима при сравнении результатов исследований в разных режимах. Однако это сложно, поскольку эффекты режима могут быть сложными и зависеть от взаимодействия между демографическими характеристиками респондентов, предметом обсуждения и режимом. До тех пор, пока эффекты режима не будут официально исследованы для инструмента обследования, трудно количественно оценить их размер, и вместо этого требуются качественные суждения экспертов, знакомых с предметом и соответствующими режимами.
Предубеждение социальной желательности
Исследования эффектов режима иногда противоречат друг другу, но некоторые общие закономерности все же обнаруживаются. Например, предвзятость социальной желательности обычно бывает самой высокой для телефонных опросов и самой низкой для веб-опросов: [2] [3]
- Телефонные опросы
- Очные опросы
- IVR опросы
- Почтовые опросы
- Интернет-опросы
Таким образом, поскольку данные, собранные по деликатным темам (таким как сексуальное поведение или незаконная деятельность), будут меняться в зависимости от режима администрирования, исследователям следует с осторожностью комбинировать данные или сравнивать результаты, полученные в разных режимах.
Различия в вопросах между режимами
Некоторые режимы требуют формулировки вопросов, отличных от других, чтобы соответствовать особенностям режима. Например, для самостоятельного заполнения форм могут использоваться списки примеров или подробные инструкции, помогающие респондентам ответить на относительно сложные вопросы. Напротив, в телефонных интервью респонденты часто ограничены своей рабочей памятью и вряд ли поймут длинный вопрос с несколькими подпунктами. Другой пример - «матрица» вопросов, обычно встречающаяся в самозаполненных формах, которую нелегко прочитать во время устного собеседования; скорее, матрица, как правило, должна быть написана в виде серии отдельных вопросов.
Различия в формулировках вопросов в разных режимах могут привести к сбору разных данных в разных режимах. Однако это не всегда так, и соответствующая адаптация вопросов к новому режиму может дать сопоставимые данные [ необходима цитата ] . Разработчики опросов должны учитывать условные обозначения режима при адаптации вопросов. Например, хотя может быть приемлемым требовать, чтобы респонденты сами подсчитывали общие цифры в бумажной форме, респонденты могут посчитать обременительным, если это требуется в веб-форме (где респонденты могут ожидать, что итоговые значения будут рассчитываться компьютером автоматически) . Это, в свою очередь, может изменить их отношение к форме, изменить их поведение и, в конечном итоге, изменить собранные данные.
Выявление и устранение эффектов режима
Эффекты режима можно определить, включив эксперимент в опрос, в котором определенная часть респондентов распределяется по каждому режиму. Различия в результатах для каждого режима должны определять «эффект режима» для данного конкретного опроса.
После количественной оценки эффекта режима можно использовать эту информацию для повторной обработки существующих данных и сравнения данных, собранных в разных режимах (например, путем ретроспективного анализа временного ряда, чтобы определить, какие прошлые результаты были бы `` были бы '', если бы они были введены). в новом режиме).
Дифференциальный охват между режимами
Различные режимы введения могут по своей природе исключать некоторые части целевой популяции. Это потенциально смещает взятый образец и изменяет данные по сравнению с данными, которые были бы собраны с использованием другого режима. Например, люди без домашнего телефона исключаются из опросов случайного набора цифр (RDD), а люди без доступа к Интернету вряд ли пройдут веб-опрос. Это означает, что при использовании разных режимов из совокупности берутся разные образцы. Если эксперименты не предназначены специально для исследования дифференциального покрытия, эффекты режима будут смешиваться с покрытием [4] , и значительные различия между режимами / условиями эксперимента могут иметь несколько объяснений:
- свойства режима; com3
- разные «типы» людей, реагирующие на разные способы;
- как свойства режима, так и различные «типы» респондентов (в аддитивной форме);
- взаимодействие , где некоторые респонденты влияют свойства режима , но другие не являются.
Эта проблема усугубляется, когда при «живом» администрировании опроса используются несколько режимов. В некоторых опросах используется несколько режимов, что позволяет респондентам выбрать наиболее удобный для них метод. То есть ожидается, что разные «типы» респондентов будут выполнять разные формы на основе своего собственного выбора. В этом случае эффекты режима сложно определить количественно, поскольку случайное распределение респондентов по условию не отражает их предпочтений. Такому эксперименту не хватает внешней достоверности, и его результаты нельзя напрямую обобщить на ситуации, предлагающие респондентам выбор. Неспособность случайным образом распределить участников по условию (т. Е. Дать им возможность выбора, тем самым сохраняя внешнюю достоверность) будет означать, что очевидные различия между режимами отражают комбинированный эффект а) разных типов респондентов, выбирающих каждый режим, и б) любых эффектов режима.
Рекомендации
- ^ Groves, Роберт М. (1989). Ошибки обследования и затраты на обследование , Нью-Йорк: Wiley-Interscience.
- ^ Frauke Kreuter , Стэнли Прижимная и Роджер Tourangeau. «Предвзятость социальной желательности в CATI, IVR и веб-опросах: влияние режима и чувствительности вопросов». Общественное мнение Q (2008) 72 (5): 847-865, впервые опубликовано в Интернете 26 января 2009 г. doi : 10.1093 / poq / nfn063
- ^ Эллисон Л. Холбрук, Мелани С. Грин и Джон А. Кросник. «Телефонное и личное интервьюирование национальных вероятностных выборок с помощью длинных вопросников: сравнение удовлетворенности респондентов и предвзятости в ответах на социальную желательность». Общественное мнение Q (2003) 67 (1): 79-125. DOI : 10.1086 / 346010 .
- ^ де Леу, Э. (2005). Смешивать или не смешивать режимы сбора данных в опросах. Журнал официальной статистики, 21 (2): 233-255.