Веб-эксперимент или Интернет-эксперимент представляет собой эксперимент , который проводится через Интернет . В таких экспериментах Интернет является либо « средством, с помощью которого можно ориентироваться на более крупные и разнообразные выборки с меньшими административными и финансовыми затратами», либо «отдельной областью исследований в области социальных наук». [1] Психология и интернет-исследования , вероятно, являются дисциплинами, которые использовали эти эксперименты наиболее широко, хотя ряд других дисциплин, включая политологию и экономикутакже используйте веб-эксперименты. В психологии большинство сетевых экспериментов проводится в области когнитивной психологии и социальной психологии . [2] [3] Эта форма экспериментальной установки становится все более популярной, потому что исследователи могут дешево собирать большие объемы данных из более широкого круга мест и людей. Интернет-эксперимент - это разновидность метода онлайн-исследования . Сетевые эксперименты стали значительно более распространенными после пандемии COVID-19, поскольку исследователи не могли проводить лабораторные эксперименты. [4]
Вступление
Эксперименты - неотъемлемая часть исследований, однако их интеграция с Интернетом была постепенной. Есть три основных категории экспериментов :
- Контролируемые эксперименты, проводимые в лабораторных условиях, пытаются контролировать все переменные, а затем проверяют единственный эффект.
- Естественные эксперименты, проводимые после крупномасштабного события, которое было недопустимо трудно или невозможно контролировать, собирают как можно больше переменных, а затем проводят корреляции.
- Полевые эксперименты, наблюдаемые в естественных условиях, где можно применять меньше мер контроля, имеют преимущество большей внешней достоверности.
Адаптация каждого типа онлайн-эксперимента сталкивается с некоторыми препятствиями.
Преимущества
Интернет-эксперименты значительно дешевле, что потенциально позволяет исследователю:
- Получите доступ к более разнообразным выборкам, а также к редким или конкретным подгруппам [5]
- Ускорьте эксперименты [5]
- Набирайте более крупные тематические пулы, которые обеспечивают более высокую статистическую мощность [6] [7]
- Проводите кросс-культурные социальные эксперименты в режиме реального времени [8]
Эти преимущества могут привести к большей внешней достоверности и обобщаемости исследования. Например, в сетевых экспериментах меньше полагаются на данные, собранные у западных студентов бакалавриата, которые часто используются в качестве предметов исследования по умолчанию в дисциплинах социальных наук. [9] Поскольку участники остаются в своих домах или офисах во время участия в эксперименте, ученые также утверждали, что такие эксперименты имеют большую экологическую ценность . [5]
Критика и ограничения
Сетевые эксперименты могут иметь более слабый экспериментальный контроль по сравнению с лабораторными экспериментами и могут столкнуться с большими трудностями при разработке процедур, обеспечивающих надежность и внутреннюю валидность . [10] Сетевые естественные и полевые эксперименты также могут столкнуться с проблемами при обобщении результатов за пределами сетевого контекста, в котором они проводились. Некоторые потенциальные трудности, с которыми сталкиваются веб-эксперименты, включают:
- Сложность проверки личности испытуемых, участвующих в эксперименте.
- Экспериментальные инструкции игнорируются или читаются слишком небрежно, что приводит к снижению качества данных [11]
- Более короткое время принятия решения онлайн-участниками, запускающее процессы инстинктивного и эмоционального мышления, а не когнитивные и рациональные, что может побудить испытуемых в среднем принимать больше просоциальных решений [1] [12]
- Существенные отвлекающие факторы, возникающие в ходе эксперимента без ведома исследователей.
- Субъекты выборочно выбывают из эксперимента, особенно если выбывание коррелировано с независимой переменной (ами).
- Расхождения в данных из-за скорости и надежности сетевого подключения, типа браузера и компьютера, размера и разрешения экрана и т. Д. [5]
- Субъекты менее серьезно относятся к эксперименту и ведут себя менее склонно к риску [13]
- Субъекты не верят, что они взаимодействуют с настоящими человеческими партнерами.
- Субъекты озабоченности по поводу компенсации в конце эксперимента или анонимности обработки платежей [14]
- Непредставительный характер участвующих в основном англоязычных пользователей компьютеров [5]
Столкнувшись с этой критикой, некоторые исследователи утверждали, что на эксперименты с кирпичом и минометом эти проблемы влияют не меньше, а то и больше. [15] [16] [17]
Были проведены исследования для проверки внутренней достоверности сетевых экспериментов, сравнения экспериментальных условий (онлайн и офлайн) и успешного воспроизведения результатов. Например, Schoeffler et al. (2013) сравнили лабораторные и веб-результаты (62 и 1168 участников) слухового эксперимента и не обнаружили существенных различий. [18] Парный эксперимент по поведенческой экономике, разделенный на онлайн-среду и традиционную лабораторную среду, дал по существу аналогичные результаты. [1] Было показано, что некомпенсированные и неконтролируемые субъекты, принимавшие LabintheWild , воспроизводили результаты предыдущих лабораторных исследований со сравнимым качеством данных. [19]
Методологии
Были предложены экспериментальные протоколы для предотвращения или контроля трудностей, связанных с веб-экспериментами. Такие методы, как последовательное сопоставление субъектов, фоновое время и отслеживание использования мыши, а также мгновенная компенсация через PayPal, могут решить многие проблемы, связанные с внутренней достоверностью веб-экспериментов. [1] Эти методы контролируют разницу во времени реакции, решают проблемы избирательного истощения, концентрации и отвлечения, сводят к минимуму беспокойство субъектов по поводу компенсации, повышают уверенность субъектов в том, что у них есть настоящий партнер-человек в эксперименте, и гарантируют, что у субъектов есть соответствующий понимание инструкций и решение задач в эксперименте. [1]
Ученые также разработали методы уменьшения количества выбывших из школы или их учета, в том числе метод с высокими препятствиями (неблагоприятная по мотивации информация группируется в начале исследования), проверка серьезности (запрос оценки вероятности завершения исследования у участников). и фаза разминки (размещение форм согласия или других материалов до начала исследования, чтобы просеять образцы перед началом исследования). [5]
Примеры
Использование в психологии
В Интернете проводится широкий спектр психологических экспериментов. Список веб-экспериментов дает возможность набирать участников и архивировать прошлые эксперименты (более 700 и их число растет). [20] Хорошим ресурсом для разработки веб-эксперимента является бесплатный инструмент Wextor , который «динамически создает настраиваемые веб-страницы, необходимые для экспериментальной процедуры» и чрезвычайно прост в использовании. [21] Веб-эксперименты использовались для подтверждения результатов лабораторных и полевых исследований, а также для проведения новых экспериментов, которые возможны только в том случае, если они проводятся онлайн. [5] Кроме того, материалы, созданные для веб-экспериментов, могут быть использованы в традиционных лабораторных условиях, если в дальнейшем потребуется.
Междисциплинарные исследования с использованием веб-экспериментов растут. Например, ряд исследователей в области психологии и права использовали Интернет для сбора данных. Лора Леветт и Маргарет Булл Ковера исследовали, эффективны ли оппонирующие свидетели-эксперты в обучении присяжных относительно ненадежных экспертных показаний. [22] Вместо того, чтобы обращать внимание присяжных на недостатки в показаниях другого эксперта, исследователи обнаружили, что присяжные стали более скептически относиться ко всем показаниям экспертов. В ее эксперименте это привело к большему количеству обвинительных приговоров. В исследовании Леветта и Коверы использовалась письменная стенограмма испытания, которую участники затем читали, прежде чем принять решение. Некоторые исследователи критиковали этот тип стимула за отсутствие экологической обоснованности, то есть он не очень похож на реальное испытание. Многие рекомендуют по возможности использовать видео. Исследователи из Нью-Йоркского университета в настоящее время проводят исследование по психологии и праву, в котором используется видеозапись уголовного процесса. [23]
Исследователи из Салфордского университета в настоящее время проводят ряд онлайн-исследований для изучения восприятия звука. [24] Звуковые эксперименты в сети особенно трудны из-за отсутствия контроля над звуковоспроизводящим оборудованием.
Салганик, Доддс и Уоттс провели эксперимент по измерению социального влияния, в частности рейтинга популярности песен. Использование Интернета позволило им собрать более 14 000 участников и изучить взаимосвязь между индивидуальным и коллективным поведением. [7]
Использование в экономике
По мере того, как в экономике проводилось все больше экспериментов, возникали вопросы о соответствующей методологии и организации исследования. Жером Эргё и Николя Жакме создали «онлайн-лабораторию» для сравнения социальных предпочтений и неприятия риска онлайн и лично. Они проводили оценку неприятия риска, игру «Общественное благо», игру «Доверие», игру «Диктатор» и игру «Ультиматум» для групп как в сети, так и в лаборатории в качестве способа оценки внутренней обоснованности сетевых экспериментов в экономике. [1]
Использование в политологии
В ходе онлайн-полевого эксперимента, проведенного на 61 миллионе пользователей Facebook, было проверено, приводит ли получение информации о голосовании, местах для голосования и поведении друзей к поиску политической информации, влияет ли политическое самовыражение и изменяет ли поведение избирателей в реальном мире. [8]
Использование в интернет-исследованиях
Веб-эксперименты имеют особое значение в исследованиях работы онлайн-сообществ. Интернет-исследования , в том числе исследования онлайн-сообществ и социальных сетей, использовали естественные и полевые эксперименты, чтобы понять влияние неформальных вознаграждений при производстве сверстников в Википедии, [25] [26], а также влияние раннего признания и поддержки на будущие успехи на Kickstarter , Change.org , Epinions и Wikipedia. [27] В другом эксперименте изучалось влияние на скорость редактирования введения программы интеллектуального назначения задач в Википедии. [28]
Рекомендации
- ^ a b c d e е Hergueux, J .; Жакме, Н. (2014). «Социальные предпочтения в онлайн-лаборатории: рандомизированный эксперимент» (PDF) . Экспериментальная экономика . 18 (2): 251–283. DOI : 10.1007 / s10683-014-9400-5 .
- ^ Reips, U.-D. (2007). Методология интернет-экспериментов. В A. Joinson, K. McKenna, T. Postmes, & U.-D. Reips (ред.), Oxford Handbook of Internet Psychology (стр. 373-390). Оксфорд: Издательство Оксфордского университета.
- ^ Reips, U.-D. И Кранц, JH (2010). Проведение настоящих экспериментов в сети. В S. Gosling & J. Johnson, Advanced Internet Methods in the Behavioral Sciences (стр. 193-216). Вашингтон, округ Колумбия: Американская психологическая ассоциация.
- ^ Lourenco, Stella F .; Тасими, Арбер (01.08.2020). «Ни один участник не останется позади: ведение науки во время COVID-19» . Тенденции в когнитивных науках . 24 (8): 583–584. DOI : 10.1016 / j.tics.2020.05.003 . ISSN 1364-6613 .
- ^ Б с д е е г Рейпс, Ульф-Дитрих (2002). «Стандарты Интернет-экспериментов» (PDF) . Экспериментальная психология . 49 (4): 243–56. DOI : 10.1026 / 1618-3169.49.4.243 . PMID 12455331 .
- ^ Крамер, ADI; Guillory, JE; Хэнкок, JT (2014). «Экспериментальные доказательства массового эмоционального заражения через социальные сети» . Труды Национальной академии наук . 111 (24): 8788–8790. Bibcode : 2014PNAS..111.8788K . DOI : 10.1073 / pnas.1320040111 . PMC 4066473 . PMID 24889601 .
- ^ а б Салганик, MJ ; Доддс, ПС; Уоттс, ди-джей (2006). «Экспериментальное исследование неравенства и непредсказуемости на искусственном культурном рынке» . Наука . 311 (5762): 854–856. Bibcode : 2006Sci ... 311..854S . DOI : 10.1126 / science.1121066 . PMID 16469928 .
- ^ а б Bond, RM; Фарисс, CJ; Джонс, JJ; Крамер, ADI; Marlow, C .; Settle, JE; Фаулер, JH (2012). «61-миллионный эксперимент по социальному влиянию и политической мобилизации» . Природа . 489 (7415): 295–298. Bibcode : 2012Natur.489..295B . DOI : 10.1038 / nature11421 . PMC 3834737 . PMID 22972300 .
- ^ Henrich, J .; Heine, SJ; Норензаян, А. (2010). «Самые странные люди в мире?». Поведенческие науки и науки о мозге . 33 (2–3): 61–83. DOI : 10,1017 / s0140525x0999152x . PMID 20550733 .
- Перейти ↑ Hoffman, M., & Morgan, J. (2011). Кто непослушный? Кто милый? Социальные предпочтения в онлайн-индустрии. Рабочий документ Калифорнийского университета в Беркли.
- ^ Anderhub, V .; Müller, R .; Шмидт, К. (2001). «Планирование и оценка экономического эксперимента через Интернет» . Журнал экономического поведения и организации . 46 (2): 227–247. DOI : 10.1016 / s0167-2681 (01) 00195-0 .
- ^ Канеман, Д. (2003). «Карты ограниченной рациональности: Психология для поведенческой экономики». Американский экономический обзор .
- ^ Шавит, Т .; Sonsino, D .; Бензион, У. (2001). «Сравнительное исследование лотерей-оценок в классе и в Интернете». Журнал экономической психологии .
- ^ Eckel, CC; Уилсон, РК (2006). «Интернет-предупреждения: экспериментальные игры с Интернет-партнерами». Экспериментальная экономика .
- ^ Reips, U.-D. (1996, октябрь). Экспериментируем во всемирной паутине. Документ, представленный на конференции Общества компьютеров в психологии 1996 г. в Чикаго.
- ^ «Виртуальные лаборатории: есть ли мудрость в толпе?» . Новый ученый. 16 марта 2007 г.
- ^ http://www.apa.org/monitor/apr00/research.html
- ^ Schoeffler et al. (2013). «Эксперимент по оценке количества инструментов в полифонической музыке: сравнение результатов интернета и лабораторных исследований»
- ^ Райнеке, Катарина; Гайош, Кшиштоф З. (01.01.2015). LabintheWild: проведение крупномасштабных онлайн-экспериментов с некомпенсированными образцами . Материалы 18-й конференции ACM по совместной работе с компьютерной поддержкой и социальным вычислениям . CSCW '15. Нью-Йорк, Нью-Йорк, США: ACM. С. 1364–1378. DOI : 10.1145 / 2675133.2675246 . ISBN 9781450329224.
- ^ http://wexlist.net
- ^ "Веб-сервер WEXTOR" .
- ^ Леветт; Ковера (2008). «Эффективность противостояния свидетелей-экспертов для обучения присяжных о ненадежных экспертных доказательствах». Закон и человеческое поведение . 32 (4): 363–74. DOI : 10.1007 / s10979-007-9113-9 . PMID 17940854 .
- ↑ Вирджиния против Макнамара
- ^ "Интернет-звуковые эксперименты | психоакустические тесты Салфордского университета" .
- ^ Рестиво, Майкл; Рийт, Арнут ван де (29 марта 2012 г.). «Экспериментальное исследование неформальных вознаграждений в производстве сверстников» . PLOS ONE . 7 (3): e34358. Bibcode : 2012PLoSO ... 734358R . DOI : 10.1371 / journal.pone.0034358 . ISSN 1932-6203 . PMC 3315525 . PMID 22479610 .
- ^ Чжу, Хайи; Чжан, Эми; Он, Цзипин; Краут, Роберт Э .; Киттур, Аникет (01.01.2013). Влияние обратной связи на вклад: полевой эксперимент в Википедии . Труды конференции SIGCHI по человеческому фактору в вычислительных системах . ЧИ '13. Нью-Йорк, Нью-Йорк, США: ACM. С. 2253–2262. DOI : 10.1145 / 2470654.2481311 . ISBN 9781450318990.
- ^ Рийт, Арноут ван де; Канг, Сунг Мун; Рестиво, Майкл; Патил, Акшай (13 мая 2014 г.). «Полевые эксперименты динамики успеха-размножения-успеха» . Труды Национальной академии наук . 111 (19): 6934–6939. Bibcode : 2014PNAS..111.6934V . DOI : 10.1073 / pnas.1316836111 . ISSN 0027-8424 . PMC 4024896 . PMID 24778230 .
- ^ Косли, Дэн; Франковски, Дэн; Тервин, Лорен; Ридл, Джон (01.01.2007). SuggestBot: Использование интеллектуальной маршрутизации задач, чтобы помочь людям найти работу в Википедии . Труды 12-й Международной конференции по интеллектуальным пользовательским интерфейсам . IUI '07. Нью-Йорк, Нью-Йорк, США: ACM. С. 32–41. DOI : 10.1145 / 1216295.1216309 . ISBN 978-1595934819.
Внешние ссылки
- Список веб-экспериментов , Ульф-Дитрих Рейпс и Ральф Ленглер обсуждают опыт.
- Учебное пособие по привлечению общественности с помощью веб-экспериментов со звуком.