Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Иоаннидис (2005 г.), « Почему большинство опубликованных результатов исследований ложны ». [1]

Кризис репликации (также называемый воспроизводимости кризис и воспроизводимости кризис ) представляет собой непрерывный методологический кризис , в котором было установлено , что многие научные исследования трудно или невозможно повторить или воспроизвести . Кризис репликации наиболее серьезно сказывается на социальных науках и медицине . [2] [3] Эта фраза была придумана в начале 2010-х годов [4] как часть растущего осознания проблемы. Кризис репликации представляет собой важный объект исследований в области метанауки . [5]

Поскольку воспроизводимость экспериментальных результатов является важной частью научного метода , [6] неспособность повторить исследования других имеют потенциально серьезные последствия для многих областей науки , в которых значительные теории основываются на невоспроизводимой экспериментальную работе. Кризис репликации особенно широко обсуждался в области медицины, где был предпринят ряд усилий для повторного исследования классических результатов, чтобы определить как надежность результатов, так и, в случае их ненадежности, причины неудач. репликации. [7] [8]

Сфера [ править ]

В целом [ править ]

Опрос 1500 ученых в 2016 году показал, что 70% из них не смогли воспроизвести хотя бы один эксперимент другого ученого (50% не смогли воспроизвести один из своих экспериментов). [9] В 2009 году 2% ученых хотя бы раз признались в фальсификации исследований, а 14% признались, что лично знали кого-то, кто это делал. Медицинские исследователи чаще сообщали о неправомерных действиях, чем другие. [10]

В психологии [ править ]

Сочетание нескольких факторов поставило психологию в центр спора. [11] Согласно опросу из 200 метаанализов 2018 года, «психологические исследования в среднем имеют низкую статистическую мощность». [12] Большая часть внимания была на области социальной психологии , [13] , хотя в других областях психологии , таких как клиническая психология , [14] [15] психология развития , [16] и исследования в области образования также были причастны. [17] [18]

Во-первых, сомнительные методы исследования (QRP) были определены как распространенные в этой области. [19] Такие методы, хотя и не являются преднамеренно мошенническими, включают в себя извлечение выгоды из серой зоны приемлемых научных практик или использование гибкости в сборе, анализе и отчетности данных, часто в попытке получить желаемый результат. Примеры QRP включают выборочную отчетность или частичную публикацию данных (отчет только о некоторых условиях исследования или собранных зависимых показателях в публикации), необязательную остановку (выбор, когда остановить сбор данных , часто на основе статистической значимости тестов), апостериорный рассказывание историй (представление исследовательского анализа в качестве подтверждающего анализа) и манипулирование выбросами(либо удаление выбросов, либо оставление выбросов в наборе данных, чтобы статистический тест был значимым). [19] [20] [21] [22] Опрос более 2000 психологов показал, что большинство респондентов признались в использовании хотя бы одного QRP. [19] Предвзятость публикации (см. Раздел «Причины» ниже) приводит к увеличению числа ложноположительных результатов. Это усугубляется давлением с целью публикации, а также предвзятостью самого автора и является неотъемлемой опасностью в данной области, требующей определенной степени скептицизма со стороны читателей. [23]

Во-вторых, психология и, в частности, социальная психология оказались в центре нескольких скандалов, связанных с откровенно мошенническими исследованиями , в первую очередь признанного фальсификации данных Дидериком Стапелем [24], а также обвинениями против других. Однако большинство ученых [ кто? ] признают, что мошенничество, возможно, в меньшей степени способствует кризисам репликации.

В-третьих, было обнаружено, что некоторые эффекты в психологической науке трудно воспроизвести даже до нынешнего кризиса репликации. Например, научный журнал Judgment and Decision Making за годы опубликовал несколько исследований, которые не подтверждают теорию бессознательного мышления . Тиражирование оказывается особенно трудным, когда исследования предварительно зарегистрированы и проводятся исследовательскими группами, не очень заинтересованными в теории, ставящей под сомнение.

Эти три элемента вместе привели к возобновлению внимания к репликации, поддержанному психологом Даниэлем Канеманом . [25] Изучение многих эффектов показало, что некоторые основные убеждения трудно воспроизвести. Специальное издание журнала « Социальная психология» за 2014 год было посвящено исследованиям репликации, и было обнаружено, что ряд ранее существовавших убеждений трудно воспроизвести. [26] В специальном выпуске журнала « Перспективы психологической науки» за 2012 год также обсуждались самые разные вопросы - от предвзятости публикации до неприятия нулевого значения, которые способствуют кризису репликации в психологии. [27] В 2015 г. было проведено первое открытое эмпирическое исследованиевоспроизводимости в психологии был опубликован под названием « Проект воспроизводимости» . Исследователи со всего мира объединились, чтобы воспроизвести 100 эмпирических исследований из трех ведущих психологических журналов. Менее половины попыток репликации дали статистически значимые результаты в ожидаемых направлениях, хотя большинство попыток репликации действительно привели к тенденциям в ожидаемых направлениях. [28]

Многие исследовательские испытания и метаанализы подвергаются риску из-за низкого качества и конфликтов интересов , в которых участвуют как авторы, так и профессиональные правозащитные организации , что приводит к множеству ложноположительных результатов в отношении эффективности определенных типов психотерапии . [29]

Хотя британская газета The Independent написала, что результаты проекта воспроизводимости показывают, что большая часть опубликованных исследований - это просто « психическая болтовня » [30], кризис репликации не обязательно означает, что психология ненаучна. [31] [32] [33] Скорее этот процесс является частью научного процесса, в котором удаляются старые идеи или те, которые не выдерживают тщательного изучения, [34] [35], хотя этот процесс отсечения не всегда эффективен. [36] [37] Следствием этого является то, что некоторые области психологии, которые когда-то считались прочными, например, социальная подготовка, попали под повышенное внимание из-за неудачных репликаций. [38]

Нобелевский лауреат и почетный профессор психологии Дэниел Канеман утверждал, что первоначальные авторы должны участвовать в копировании, потому что опубликованные методы часто слишком расплывчаты. [39] Другие, такие как доктор Эндрю Уилсон, не согласны и утверждают, что методы должны быть подробно описаны. [39] Исследование показателей репликации в психологии в 2012 году показало более высокие показатели успешности репликации в исследованиях репликации, когда автор совпадал с оригинальными авторами исследования [40] (91,7% успешных репликаций в исследованиях с совпадением авторов по сравнению с 64,6%). % успешной репликации без дублирования авторов).

Сосредоточение внимания на кризисе репликации привело к возобновлению усилий в этой дисциплине по повторной проверке важных результатов. [23] [41] В ответ на опасения по поводу предвзятости публикаций и р- хакинга более 140 психологических журналов приняли независимую экспертную оценку результатов, при которой исследования принимаются не на основе их результатов и после завершения исследований, а до исследования проводятся на основе методологической строгости их экспериментальных планов и теоретического обоснования их методов статистического анализа до сбора или анализа данных. [42] Ранний анализ этой процедуры показал, что 61% слепых исследований привели к нулевым результатам , в отличие от 5–20% в более ранних исследованиях. [43] Кроме того, крупномасштабное сотрудничество между исследователями, работающими в нескольких лабораториях в разных странах и регулярно открывающими доступ к своим данным для оценки разными исследователями, стало гораздо более распространенным явлением в этой области. [44]

Скорость воспроизведения психологии [ править ]

В отчете Open Science Collaboration от августа 2015 года, который координировал Брайан Носек, оценивалась воспроизводимость 100 исследований в области психологической науки из трех высокопоставленных психологических журналов. [45] В целом, 36% повторений дали достоверные результаты ( значение p ниже 0,05) по сравнению с 97% исходных исследований, имевших значительный эффект. Средняя величина эффекта в повторностях была примерно вдвое меньше, чем в исходных исследованиях.

В той же статье исследовались показатели воспроизводимости и величина эффекта по журналам ( Journal of Personality and Social Psychology [JPSP], Journal of Experimental Psychology: Learning, Memory and Cognition [JEP: LMC], Psychological Science [PSCI]) и дисциплинам ( социальная психология , психология развития ). Частота репликации исследования составила 23% для JPSP, 48% для JEP: LMC и 38% для PSCI. Исследования в области когнитивной психологии имели более высокую скорость воспроизведения (50%), чем исследования в области социальной психологии (25%). [46]

Анализ истории публикаций в 100 лучших психологических журналах с 1900 по 2012 год показал, что примерно 1,6% всех публикаций по психологии были попытками репликации. [40] Статьи считались попыткой тиражирования, если в тексте присутствовал термин «тиражирование». Подмножество этих исследований (500 исследований) было случайным образом выбрано для дальнейшего изучения и дало более низкий уровень репликации - 1,07% (342 из 500 исследований [68,4%] фактически были репликациями). В подгруппе из 500 исследований анализ показал, что 78,9% опубликованных попыток репликации были успешными.

В исследовании, опубликованном в 2018 году в журнале Nature Human Behavior, была предпринята попытка воспроизвести 21 статью о социальных и поведенческих науках из журнала Nature and Science , и было обнаружено, что только 13 можно успешно воспроизвести. [47] [48] Аналогичным образом, в исследовании, проведенном под эгидой Центра открытой науки , команда из 186 исследователей из 60 различных лабораторий (представляющих 36 разных национальностей с 6 разных континентов) провела воспроизведение 28 классических и современных результатов в психология. [49]Основное внимание в исследовании уделялось не только тому, были ли реплицированы результаты из исходных документов, но и степени, в которой результаты варьировались в зависимости от вариаций в выборках и контекстах. В целом, 14 из 28 результатов не удалось повторить, несмотря на огромные размеры выборки. Однако, если открытие было воспроизведено, оно повторилось в большинстве образцов, а если открытие не было воспроизведено, его не удалось воспроизвести с небольшими вариациями в разных образцах и контекстах. Это свидетельство несовместимо с популярным объяснением, что неудачи в воспроизведении в психологии, вероятно, связаны с изменениями в выборке между первоначальным и повторным исследованием. [50]

Дисциплинарная социальная дилемма [ править ]

Подчеркивая социальную структуру, которая препятствует репликации в психологии, Брайан Д. Эрп и Джим Э. Эверетт перечислили пять пунктов относительно того, почему попытки репликации редки: [51] [52]

  1. «Независимое, прямое копирование результатов других исследователей может занять много времени»
  2. «[Репликации] могут отнимать энергию и ресурсы непосредственно у других проектов, отражающих собственное оригинальное мышление»
  3. «[Репликации], как правило, труднее публиковать (в значительной степени потому, что они считаются неоригинальными)»
  4. «Даже если [копии] будут опубликованы, они, вероятно, будут рассматриваться как упражнения по« кладке кирпичей », а не как важный вклад в эту область»
  5. «[Репликации] приносят меньше признания и вознаграждения их авторам и даже обеспечивают им базовую карьерную безопасность» [53]

По этим причинам авторы утверждали, что психология стоит перед дисциплинарной социальной дилеммой, когда интересы дисциплины расходятся с интересами отдельного исследователя.

Споры о "методологическом терроризме" [ править ]

В связи с кризисом репликации психологии, привлекшим внимание, психолог Принстонского университета Сьюзан Фиск вызвала полемику из-за критики психологии. [54] [55] [56] [57] Она назвала этих неопознанных «противников» такими именами, как «методологический террорист» и «самозваная полиция данных», и сказала, что критика психологии должна выражаться только в частном порядке или через связь с журналами. [54] Статистик и политолог Колумбийского университета Эндрю Гельман ответил Фиске, сказав, что она обнаружила, что готова мириться с «мертвой парадигмой» ошибочной статистики и отказалась отозвать публикации, даже когда были указаны ошибки.[54][58] Он добавил, что ее пребывание на посту редактора было ужасным и что ряд опубликованных статей, отредактированных ею, были основаны на крайне слабой статистике; одна из собственных опубликованных работ Фиске содержала большую статистическую ошибку и «невозможные» выводы. [54]

В медицине [ править ]

Из 49 медицинских исследований 1990–2003 годов с более чем 1000 цитирований 45 заявили, что изучаемая терапия была эффективной. Из этих исследований 16% опровергались последующими исследованиями, 16% обнаружили более сильные эффекты, чем последующие исследования, 44% были воспроизведены, а 24% остались в значительной степени неизменными. [59] США пищевых продуктов и медикаментов в 1977-1990 найдены недостатки в 10-20% медицинских исследований. [60] В статье, опубликованной в 2012 году, Гленн Бегли, консультант по биотехнологиям, работающий в Amgen , и Ли Эллис из Техасского университета обнаружили, что только 11% из 53 доклинических исследований рака можно воспроизвести. [61] Невоспроизводимые исследования имели ряд общих черт, в том числе то, что исследования не проводились исследователями, не имеющими отношения к экспериментальным и контрольным группам, не было возможности повторить эксперименты, отсутствовали положительные и отрицательные контроли, не были показаны все данные. , ненадлежащее использование статистических тестов и использование реагентов, не прошедших надлежащую валидацию. [62]

Опрос исследователей рака показал, что половина из них не смогли воспроизвести опубликованный результат. [63] Аналогичный опрос, проведенный Nature, среди 1576 исследователей, заполнивших краткую онлайн-анкету по воспроизводимости, показал, что более 70% исследователей пытались и не смогли воспроизвести эксперименты другого ученого, а более половины не смогли воспроизвести свои собственные эксперименты. «Хотя 52% опрошенных согласны с тем, что существует значительный« кризис »воспроизводимости, менее 31% считают, что невозможность воспроизвести опубликованные результаты означает, что результат, вероятно, неверен, и большинство из них по-прежнему доверяют опубликованной литературе». [64]

Статья 2016 года Джона Иоаннидиса , профессора медицины и медицинских исследований и политики Медицинской школы Стэнфордского университета и профессора статистики Школы гуманитарных и естественных наук Стэнфордского университета, подробно остановилась на теме «Почему большинство клинических исследований бесполезны». [65] В статье Иоаннидис изложил некоторые проблемы и призвал к реформе, охарактеризовав определенные моменты, чтобы медицинские исследования снова стали полезными; Одним из примеров, которые он привел, была потребность в медицине, которая должна быть «ориентирована на пациента» (например, в форме Научно-исследовательского института результатов, ориентированных на пациента ) вместо существующей практики, которая в основном заботится о «потребностях врачей, исследователей или спонсоров». .

В маркетинге [ править ]

Маркетинг - еще одна дисциплина, «остро нуждающаяся» в репликации. [66] Многие известные маркетинговые исследования не могут быть повторены при повторении, ярким примером является эффект « слишком большого количества вариантов », когда большое количество вариантов выбора продукта снижает вероятность покупки потребителем. [67] В дополнение к ранее упомянутым аргументам, исследования тиражирования в маркетинге необходимы для изучения применимости теорий и моделей в разных странах и культурах, что особенно важно из-за возможных влияний глобализации . [68]

В экономике [ править ]

Исследование, проведенное в 2016 году журналом Science, показало, что треть из 18 экспериментальных исследований из двух ведущих экономических журналов ( American Economic Review и Quarterly Journal of Economics ) не удалось успешно воспроизвести. [69] [70] Исследование, проведенное в 2017 году в Econom Journal, показало, что «большинство средних эффектов в литературе по эмпирической экономике преувеличены как минимум в 2 раза и как минимум на одну треть преувеличены в 4 или 4 раза. более". [71]

В спортивной науке [ править ]

В исследовании 2018 года наука о физических упражнениях и спорте подверглась критике из-за недостаточного количества повторных исследований, ограниченного сообщения как нулевых, так и тривиальных результатов, а также недостаточной прозрачности исследований. [72] Статистикам раскритиковали спортивную науку для общего использования спорного статистического метода , названной « величина на основе логического вывода » , который позволил ученому спорта извлечь , по- видимому значительные результаты зашумленных данных , где обычная проверка гипотез не нашли бы ни одного. [73]

В управлении водными ресурсами [ править ]

Исследование, проведенное в журнале Scientific Data за 2019 год, показало, что можно воспроизвести лишь небольшое количество статей в журналах по водным ресурсам и управлению , в то время как большинство статей невозможно воспроизвести из-за недоступности данных. По оценкам исследования с достоверностью 95%, «результаты могут быть воспроизведены только для 0,6–6,8% всех 1989 статей». [74]

Политические последствия [ править ]

В США кризис воспроизводимости науки стал предметом политических разногласий, связанных с попыткой ослабить правила, например, выбросов загрязняющих веществ, с аргументом, что эти правила основаны на невоспроизводимых научных данных. [75] [76] Предыдущие попытки с той же целью обвиняли исследования, проводимые регулирующими органами, в непрозрачности. [77]

Осведомленность и восприятие общественности [ править ]

В научном сообществе высказывались опасения, что широкая публика может посчитать науку менее заслуживающей доверия из-за неудачных копий. [78] Исследования, подтверждающие эту озабоченность, немногочисленны, но репрезентативный опрос, проведенный в Германии, показал, что более 75% немцев не слышали о неудачах репликации в науке. [79] Исследование также показало, что большинство немцев положительно относятся к усилиям по репликации: только 18% считают, что невоспроизводимость показывает, что науке нельзя доверять, в то время как 65% считают, что исследования репликации показывают, что наука применяет контроль качества, и 80% согласны что ошибки и исправления - это часть науки. [79]

Причины  [ править ]

Основной причиной низкой воспроизводимости является систематическая ошибка публикации и ошибка отбора., в свою очередь, вызвано тем фактом, что статистически незначимые результаты редко публикуются или обсуждаются в публикациях по множественным потенциальным эффектам. Среди потенциальных эффектов, которые отсутствуют (или незначительны), статистические тесты показывают значимость (на обычном уровне) с вероятностью 5%. Если большое количество таких эффектов проверяется в погоне за значительными результатами, эти ошибочно значимые эффекты затопляют должным образом найденные и приводят к (все еще ошибочно) успешным повторениям снова с вероятностью всего 5%. Таким образом, увеличивающаяся доля таких исследований постепенно снижает скорость репликации, соответствующую исследованиям вероятных релевантных эффектов. Ошибочно значимые результаты также могут быть получены в результате сомнительных методов анализа данных, называемых углублением данных или P-взломом ,ХАРКИНГ , исследовательские степени свободы .

Гленн Бегли и Джон Иоаннидис предложили следующие причины усиления погони за значимостью:

  • Генерация новых данных / публикаций с беспрецедентной скоростью.
  • Большинство этих открытий не выдержат испытания временем.
  • Неспособность придерживаться хорошей научной практики и отчаяние опубликоваться или погибнуть .
  • Множество различных заинтересованных сторон.

Они приходят к выводу, что ни одна из сторон не несет единоличной ответственности, и единого решения будет недостаточно.

Эти проблемы могут привести к канонизации ложных фактов. [80]

Фактически, некоторые предсказания надвигающегося кризиса в механизме контроля качества науки можно проследить на несколько десятилетий назад, особенно среди ученых, занимающихся исследованиями науки и технологий (STS). Дерек де Солла Прайс, которого считают отцом наукометрии, предсказал, что наука может достичь «дряхлости» в результате своего собственного экспоненциального роста. [81] Некоторые современные издания, кажется, подтверждают это пророчество о «переполнении», оплакивая упадок как внимания, так и качества. [82] [83]

Философ и историк науки Джером Р. Равец в своей книге 1971 года « Научное знание и его социальные проблемы» предсказал, что наука - в своем развитии от «маленькой» науки, состоящей из изолированных сообществ исследователей, к «большой» науке или «техно-науке» - столкнется с серьезными проблемами во внутренней системе контроля качества. Равец признал, что структура стимулов для современных ученых может стать неработоспособной, что теперь известно как нынешний вызов «опубликовать или погибнуть», создавая порочные стимулы.публиковать любые выводы, даже сомнительные. По словам Равец, качество в науке поддерживается только тогда, когда существует сообщество ученых, связанных набором общих норм и стандартов, каждый из которых желает и может нести ответственность друг перед другом.

Историк Филип Мировски предложил аналогичный диагноз в своей книге 2011 года Science Mart (2011). [84] В названии слово «Mart» относится к гиганту розничной торговли «Walmart», используемому Мировски как метафору коммодификации науки. Согласно анализу Мировского, качество науки падает, когда она становится товаром, которым торгуют на рынке. Мировски аргументирует свою правоту, прослеживая упадок науки до решения крупных корпораций закрыть свои внутренние лаборатории. Они передали свою работу университетам, чтобы сократить расходы и увеличить прибыль. Впоследствии корпорации перенесли свои исследования из университетов в еще более дешевый вариант - контрактные исследовательские организации (CRO).

Кризис системы контроля качества науки влияет на использование науки в политике. Это тезис недавней работы группы ученых ССН, которые в «политике, основанной на доказательствах (или информированности)» определяют точку нынешнего напряжения. [85] [86] [87] [76] Экономист Ной Смит предполагает, что фактором кризиса была переоценка научных исследований и недооценка преподавательских способностей, особенно в областях, в которых было сделано несколько крупных недавних открытий. [88]

Теория социальных систем, созданная немецким социологом Никласом Луманом [89] [90], предлагает другое прочтение кризиса. Согласно этой теории, каждая система, такая как «экономика», «наука», «религия», «СМИ» и так далее, общается, используя свой собственный код: истина / ложь для науки, прибыль / убыток для экономики, новые / нет- новости для СМИ; по мнению некоторых социологов, [91] медиатизация науки [92] ее коммодификация [93] и ее политизация, [94]- в результате структурной связи между системами привели к путанице исходных системных кодов. Если научный код «истина / ложь» заменяется кодами других систем, такими как прибыль / убыток, новости / отсутствие новостей, деятельность науки вступает во внутренний кризис.

Ответ  [ править ]

Репликация считается «краеугольным камнем науки». [95] [96] Исследования репликации пытаются оценить, отражают ли опубликованные результаты истинные результаты или ложноположительные. Целостность научных результатов и воспроизводимость исследований важны, поскольку они формируют фундамент знаний, на котором строятся будущие исследования.

Метанаука [ править ]

Дополнительная информация: метанаука

Метанаука - это использование научной методологии для изучения самой науки . Metascience стремится повысить качество научных исследований при одновременном сокращении отходов. Он также известен как « исследование в области исследований » и « наука о науке », поскольку использует методы исследования для изучения того, как проводятся исследования и где можно внести улучшения. Метанаука занимается всеми областями исследований и была описана как «взгляд на науку с высоты птичьего полета». [97] По словам Джона Иоаннидиса , «Наука - лучшее, что случилось с людьми ... но мы можем делать это лучше». [98]

Продолжаются мета-исследования для выявления причин кризиса и их устранения. Методы выхода из кризиса включают предварительную регистрацию научных исследований и клинических испытаний, а также создание таких организаций, как CONSORT и EQUATOR Network, которые издают руководящие принципы по методологии и отчетности. Продолжаются усилия по реформированию системы академических стимулов, совершенствованию процесса экспертной оценки , сокращению злоупотреблений статистикой , борьбе с предвзятостью в научной литературе и повышению общего качества и эффективности научного процесса.

Устранение предвзятости публикации с помощью предварительной регистрации исследований [ править ]

Дополнительная информация: Предварительная регистрация и регистрация клинических испытаний

Недавнее нововведение в научных публикациях, направленное на преодоление кризиса тиражирования, заключается в использовании зарегистрированных отчетов . [99] [100] Зарегистрированный формат отчета требует, чтобы авторы представили описание методов исследования и анализа до сбора данных. После того, как метод и план анализа будут проверены коллегами, предварительная гарантия публикации результатов зависит от того, соблюдают ли авторы предложенный протокол. Одна из целей зарегистрированных отчетов состоит в том, чтобы избежать предвзятости публикации в пользу важных выводов, которые могут привести к применению сомнительных методов исследования, и стимулировать публикацию исследований с использованием строгих методов.

Журнал Psychological Science поощряет предварительную регистрацию исследований и отчетность о величине эффекта и доверительных интервалах. [101] Главный редактор также отметил, что редакция будет просить тиражировать исследования с неожиданными результатами исследований с использованием небольших размеров выборки, прежде чем разрешить публикацию рукописей.

Более того, только очень небольшая часть академических журналов по психологии и нейробиологии прямо заявили, что они приветствуют отправку репликационных исследований в их целях и объеме или инструкциях для авторов. [102] [103] Этот феномен не способствует созданию отчетов или даже попыток проведения повторных исследований.

Переход к парадигме сложных систем [ править ]

Дополнительная информация: сложная система

Утверждалось, что исследования, проводимые в рамках традиционной линейной парадигмы, обязательно заканчиваются трудностями репликации. [104] Проблемы возникают, если причинные процессы в изучаемой системе «доминируют во взаимодействии» вместо «доминирующего компонента», мультипликативны вместо аддитивной и со многими небольшими нелинейными взаимодействиями, порождающими явления макроуровня, которые не сводятся к их компонентам на микроуровне. В контексте таких сложных систем обычные линейные модели дают ответы, которые не являются разумными, потому что в принципе невозможно разложить дисперсию, как предлагает Общая линейная модель.(GLM) - поэтому попытка воспроизвести такой результат явно проблематична. Те же вопросы в настоящее время задают во многих областях науки, где исследователи начинают подвергать сомнению предположения, лежащие в основе классических статистических методов. [105]

Подчеркивая попытки репликации в обучении [ править ]

На основании курсовых работ по экспериментальным методам в Массачусетском технологическом институте, Стэнфорде и Вашингтонском университете было высказано предположение, что в курсах по методам психологии и других областях делается упор на попытки репликации, а не на оригинальные исследования. [106] [107] [108] Такой подход поможет студентам изучить научную методологию и обеспечить многочисленные независимые репликации значимых научных результатов, которые позволят проверить воспроизводимость научных результатов. Некоторые рекомендовали, чтобы аспиранты были обязаны публиковать высококачественную репликацию по теме, связанной с их докторским исследованием, до окончания учебы. [52]

Уменьшение p- значения, необходимого для утверждения значимости новых результатов [ править ]

Многие публикации требуют р -значение из р <0,05 п статистической значимости. В документе «Переопределите статистическую значимость» [109], подписанном большим числом ученых и математиков, предлагается, чтобы в «областях, где порог определения статистической значимости для новых открытий составляет p <0,05, мы предлагаем изменение на p <0,005. Этот простой шаг немедленно улучшит воспроизводимость научных исследований во многих областях ».

Их обоснование состоит в том, что «основная причина невоспроизводимости (состоит в том, что) статистические стандарты доказательств для заявлений о новых открытиях во многих областях науки просто слишком низки. Связывание« статистически значимых »результатов с p <0,05 приводит к высокому уровню ложных срабатываний даже при отсутствии других экспериментальных, процедурных и отчетных проблем ».

Этот призыв впоследствии подвергся критике со стороны другой большой группы, которая утверждала, что «переопределение» порогового значения не решит текущие проблемы, приведет к появлению некоторых новых, и что, в конце концов, все пороги должны быть обоснованы в каждом конкретном случае, а не следуя общим соглашениям. [110]

Обращаясь к неправильной интерпретации р -значения [ править ]

Дополнительная информация: неправильное использование p-значений

Хотя статистики единодушны в том, что использование p <0,05 дает более слабые доказательства, чем принято считать, нет единого мнения о том, что с этим делать. Некоторые выступали за то, чтобы байесовские методы заменили p-значения . Этого не произошло в широком масштабе, отчасти из-за сложности, а отчасти из-за того, что многие пользователи не доверяют спецификации предыдущих дистрибутивов из-за отсутствия точных данных. Упрощенная версия байесовского аргумента, основанная на проверке нулевой гипотезы, была предложена Колкухоуном (2014, 2017). [111] [112] Логические проблемы индуктивного вывода обсуждались в «Проблема с p-значениями» (2016). [113]

Опасности использования p- значений были подчеркнуты, указав, что даже наблюдение p = 0,001 не обязательно является убедительным доказательством против нулевой гипотезы. [112] Несмотря на то, что отношение правдоподобия в пользу альтернативной гипотезы над нулевым значением близко к 100, если бы гипотеза была неправдоподобной, с априорной вероятностью реального эффекта, равной 0,1, даже наблюдение p  = 0,001 могло бы иметь ложноположительный риск 8 процентов. Он не достигнет даже 5-процентного уровня.

Было рекомендовано [112] не использовать термины «значительный» и «незначительный». Значения p и доверительные интервалы по-прежнему должны быть указаны, но они должны сопровождаться указанием риска ложноположительных результатов. Было высказано предположение, что лучший способ сделать это - вычислить априорную вероятность, в которую необходимо поверить, чтобы достичь риска ложного срабатывания, скажем, 5%. Расчеты могут быть выполнены с помощью предоставленных сценариев R [112] или, проще говоря, с помощью веб-калькулятора. [114] Этот так называемый обратный байесовский подход, предложенный Мэтьюзом (2001), [115], является одним из способов избежать проблемы, заключающейся в том, что априорная вероятность редко известна.

Поощрение больших размеров выборки [ править ]

Чтобы улучшить качество повторений, часто требуется больший размер выборки, чем использованный в исходном исследовании. [116] Необходимы более крупные размеры выборки, поскольку оценки величины эффекта в опубликованных работах часто преувеличены из-за систематической ошибки публикации и большой вариативности выборки, связанной с небольшими размерами выборки в исходном исследовании. [117] [118] [119] Кроме того, использование пороговых значений значимости обычно приводит к завышенным эффектам, потому что, особенно при малых размерах выборки, только самые большие эффекты станут значимыми. [120]

Совместное использование необработанных данных в онлайн-репозиториях [ править ]

Онлайн-репозитории, в которых данные, протоколы и результаты могут храниться и оцениваться общественностью, стремятся улучшить целостность и воспроизводимость исследований. Примеры таких репозиториев включают Open Science Framework , Registry of Research Data Repositories и Psychfiledrawer.org. Такие сайты, как Open Science Framework, предлагают значки за использование методов открытой науки в целях стимулирования ученых. Однако были опасения, что те, кто, скорее всего, предоставят свои данные и код для анализа, являются исследователями, которые, вероятно, являются наиболее искушенными. [121]Джон Иоаннидис из Стэнфордского университета предположил, что «может возникнуть парадокс, заключающийся в том, что самые дотошные, изощренные, опытные и осторожные исследователи могут стать более восприимчивыми к критике и атакам на репутацию со стороны реанализаторов, которые ищут ошибки, независимо от того, насколько незначительны эти ошибки». [121]

Финансирование репликационных исследований [ править ]

В июле 2016 года Нидерландская организация научных исследований выделила 3 ​​миллиона евро на повторные исследования. Финансирование предназначено для репликации на основе повторного анализа существующих данных и репликации путем сбора и анализа новых данных. Финансирование доступно в области социальных наук, исследований в области здравоохранения и инноваций в области здравоохранения. [122]

В 2013 году Фонд Лауры и Джона Арнольдов профинансировал запуск Центра открытой науки грантом в размере 5,25 миллиона долларов, а к 2017 году выделил еще 10 миллионов долларов на финансирование. [123] Он также профинансировал запуск Центра инноваций мета-исследований в Стэнфорде при Стэнфордском университете, которым руководят Джон Иоаннидис и Стивен Гудман для изучения путей улучшения научных исследований. [123] Он также предоставил финансирование для инициативы AllTrials, частично возглавляемой Беном Голдакром . [123]

Подчеркните триангуляцию, а не только репликацию [ править ]

Маркус Р. Мунафо и Джордж Дэйви Смит в статье, опубликованной в Nature , утверждают, что в исследованиях следует делать упор на триангуляцию , а не только на репликацию. Они утверждают, что

Только репликация продвинет нас далеко (и) может даже ухудшить положение ... Мы считаем, что триангуляция является важной защитой от ошибочных идей. Это стратегическое использование нескольких подходов для решения одного вопроса. Каждый подход имеет свои собственные несвязанные предположения, сильные и слабые стороны. Результаты, которые согласуются с разными методологиями, с меньшей вероятностью будут артефактами . ... Возможно, одна из причин, по которой тиражирование привлекло такой интерес, - это часто повторяющаяся идея о том, что фальсификация лежит в основе научного предприятия. Эта идея была популяризирована изречением Карла Поппера 1950-х годов о том, что теории невозможно доказать, а только сфальсифицировать.. Тем не менее, чрезмерный упор на повторяющиеся эксперименты может дать необоснованное чувство уверенности в выводах, основанных на едином подходе. ... философы науки ушли со времен Поппера. Лучшее описание того, как на самом деле работают ученые, включает то, что эпистемолог Питер Липтон в 1991 году назвал «выводом к наилучшему объяснению». [124]

Повысить общие стандарты представления методов [ править ]

Некоторые авторы утверждали, что недостаточное информирование об экспериментальных методах является одним из основных факторов кризиса воспроизводимости и что улучшение качества представления экспериментального дизайна и статистического анализа поможет улучшить ситуацию. [125] Эти авторы склонны призывать как к широкому культурному изменению в научном сообществе того, как считается статистика, так и к более принудительному давлению со стороны научных журналов и финансирующих организаций.

Последствия для фармацевтической промышленности [ править ]

Фармацевтические компании и венчурные капиталисты содержат исследовательские лаборатории или заключают контракты с частными поставщиками исследовательских услуг (например, Envigo и Smart Assays Biotechnologies), чья работа заключается в воспроизведении академических исследований с целью проверки их точности перед инвестированием или попыткой разработки нового лекарственного препарата на основе об этом исследовании. Финансовые ставки высоки для компании и инвесторов, поэтому для них рентабельно инвестировать в точные копии. [126]Выполнение исследований репликации потребляет ресурсы. Кроме того, для выполнения репликации эксперта требуется не только общий опыт в методологии исследования, но и конкретный опыт в часто узкой интересующей теме. Иногда для исследования требуются определенные технические навыки и знания, и только исследователи, занимающиеся узкой областью исследований, могут обладать этими навыками. В настоящее время финансирующие агентства редко заинтересованы в финансировании исследований по тиражированию, а большинство научных журналов не заинтересованы в публикации таких результатов. [126] Исследователи рака Amgen Oncology смогли воспроизвести только 11 процентов инновационных исследований, которые они выбрали для проведения в течение 10-летнего периода; [127]Анализ, проведенный в 2011 году исследователями фармацевтической компании Bayer, показал, что внутренние выводы компании совпадают с первоначальными результатами не более чем в четверти случаев. [128] Анализ также показал, что, когда ученые Bayer смогли воспроизвести результат в эксперименте по прямому воспроизведению, он имел тенденцию хорошо применяться в клинических применениях; это означает, что воспроизводимость является полезным маркером клинического потенциала.

См. Также [ править ]

  • Дноуглубительные работы
  • Недействительная наука
  • Предвзятость публикации
  • Статистика оценок
  • Воспроизводимость проекта
  • Целостность исследования
  • Список случаев нарушения научной этики

Ссылки [ править ]

  1. ↑ Иоаннидис, Джон PA (1 августа 2005 г.). «Почему большинство опубликованных результатов исследований ложны» . PLOS Medicine . 2 (8): e124. DOI : 10.1371 / journal.pmed.0020124 . ISSN  1549-1277 . PMC  1182327 . PMID  16060722 .
  2. ^ Школьник, JW (2014). «Метанаука может спасти« кризис репликации » » . Природа . 515 (7525): 9. Bibcode : 2014Natur.515 .... 9S . DOI : 10.1038 / 515009a . PMID 25373639 . 
  3. ^ Смит, Ной. «Почему« статистическая значимость »часто не имеет значения» . Блумберг . Проверено 7 ноября 2017 года .
  4. ^ Пашлер, Гарольд; Вагенмейкерс, Эрик Ян (2012). "Введение редакторами в специальный раздел о воспроизводимости в психологической науке: кризис уверенности?" . Перспективы психологической науки . 7 (6): 528–530. DOI : 10.1177 / 1745691612465253 . PMID 26168108 . S2CID 26361121 .  
  5. ^ Фидлер, Фиона ; Уилкокс, Джон (2018). «Воспроизводимость научных результатов» . Стэнфордская энциклопедия философии . Лаборатория метафизических исследований Стэнфордского университета . Дата обращения 19 мая 2019 .
  6. ^ Стаддон, Джон (2017). Научный метод: как работает наука, не работает или делает вид, что работает . Тейлор и Фрэнсис.
  7. ↑ Лерер, Иона (13 декабря 2010 г.). «Истина стирается» . Житель Нью-Йорка . Проверено 30 января 2020 .
  8. ↑ Маркус, Гэри (1 мая 2013 г.). «Кризис в социальной психологии, которой нет» . Житель Нью-Йорка . Проверено 30 января 2020 .
  9. ↑ Nature Video (28 мая 2016 г.). "Есть ли в науке кризис воспроизводимости?" . Scientific American . Проверено 15 августа 2019 .
  10. ^ Fanelli Даниэле (29 мая 2009). «Сколько ученых подделывают и фальсифицируют исследования? Систематический обзор и мета-анализ данных опросов» . PLOS ONE . 4 (5): e5738. Bibcode : 2009PLoSO ... 4.5738F . DOI : 10.1371 / journal.pone.0005738 . PMC 2685008 . PMID 19478950 .  
  11. ^ Ахенбах, Джоэл. «Нет, проблема воспроизводимости науки не ограничивается психологией» . Вашингтон Пост . Проверено 10 сентября 2015 года .
  12. ^ Стэнли, TD; Картер, Эван Ч .; Дукулиагос, Христос (2018). «Что показывают метаанализы о воспроизводимости психологических исследований» . Психологический бюллетень . 144 (12): 1325–1346. DOI : 10,1037 / bul0000169 . ISSN 1939-1455 . PMID 30321017 . S2CID 51951232 .   
  13. ^ Dominus, Сьюзен (2017-10-18). «Когда революция пришла для Эми Кадди» . Нью-Йорк Таймс . ISSN 0362-4331 . Проверено 19 октября 2017 . 
  14. ^ Leichsenring, Фальк; Аббасс, Аллан ; Hilsenroth, Mark J .; Левик, Франк; Лютен, Патрик; Киф, Джек Р .; Мидгли, Ник; Rabung, Sven; Зальцер, Симона; Штайнер, Кристиана (апрель 2017 г.). «Предубеждения в исследованиях: факторы риска невоспроизводимости в исследованиях психотерапии и фармакотерапии» . Психологическая медицина . 47 (6): 1000–1011. DOI : 10.1017 / S003329171600324X . PMID 27955715 . S2CID 1872762 .  
  15. ^ Hengartner, Майкл П. (28 февраля 2018). «Повышение осведомленности о кризисе репликации в клинической психологии путем сосредоточения внимания на несоответствиях в исследованиях психотерапии: насколько мы можем полагаться на опубликованные результаты испытаний эффективности?» . Границы в психологии . Frontiers Media . 9 : 256. DOI : 10.3389 / fpsyg.2018.00256 . PMC 5835722 . PMID 29541051 .  
  16. ^ Франк, Майкл С .; Бергельсон, Элика; Бергманн, Кристина; Кристия, Алехандрина; Флокчиа, Кэролайн; Жервен, Юдит; Хэмлин, Дж. Кили; Hannon, Erin E .; Клайн, Мелисса; Левет, Клартье; Лью-Уильямс, Кейси; Нацци, Тьерри; Паннетон, Робин; Rabagliati, Хью; Содерстром, Мелани; Салливан, Джессика; Ваксман, Сандра ; Юровский, Даниил (9 марта 2017 г.). «Коллективный подход к исследованиям младенцев: содействие воспроизводимости, передовой опыт и построение теории» . Младенчество . 22 (4): 421–435. doi : 10.1111 / infa.12182 . ЛВП : 10026,1 / 9942 . PMC 6879177 . PMID  31772509 .
  17. ↑ Тайсон, Чарли (14 августа 2014 г.). «Неспособность воспроизвести» . Внутри Высшего Эд . Проверено 19 декабря 2018 .
  18. ^ Макель, Мэтью С .; Плукер, Джонатан А. (1 августа 2014 г.). «Факты важнее новизны: тиражирование в образовательных науках» . Педагогический исследователь . 43 (6): 304–316. DOI : 10.3102 / 0013189X14545513 . S2CID 145571836 . Проверено 19 декабря 2018 . 
  19. ^ a b c Джон, Лесли К .; Левенштейн, Джордж; Прелец, Дражен (01.05.2012). «Измерение распространенности сомнительной исследовательской практики с помощью стимулов к раскрытию правды» (PDF) . Психологическая наука . 23 (5): 524–532. DOI : 10.1177 / 0956797611430953 . ISSN 0956-7976 . PMID 22508865 . S2CID 8400625 .    
  20. ^ Neuroskeptic (2012-11-01). «Девять кругов научного ада» . Перспективы психологической науки . 7 (6): 643–644. DOI : 10.1177 / 1745691612459519 . ISSN 1745-6916 . PMID 26168124 . S2CID 45328962 .   
  21. ^ «Неправомерное поведение при исследовании - серая зона сомнительных исследовательских практик» . www.vib.be . 30 сентября 2013. Архивировано 31.10.2014 . Проверено 13 ноября 2015 .
  22. ^ Фидлер, Клаус; Шварц, Норберт (2015-10-19). «Повторение сомнительной исследовательской практики». Социально-психологическая наука и наука о личности . 7 : 45–52. DOI : 10.1177 / 1948550615612150 . ISSN 1948-5506 . S2CID 146717227 .  
  23. ^ а б Симмонс, Джозеф; Нельсон, Лейф; Симонсон, Ури (ноябрь 2011 г.). «Ложноположительная психология: скрытая гибкость в сборе и анализе данных позволяет представить все как значимое» . Психологическая наука . 22 (11): 1359–1366. DOI : 10.1177 / 0956797611417632 . ISSN 0956-7976 . PMID 22006061 .  
  24. ↑ Ши, Кристофер (13 ноября 2011 г.). «Скандал с мошенничеством способствует спорам о методах социальной психологии» . Хроника высшего образования .
  25. ^ Канеман, Даниэль (2014). «Новый этикет для тиражирования» . Социальная психология . 45 (4): 310–311. DOI : 10.1027 / 1864-9335 / a000202 .
  26. ^ «Оглавление» . Социальная психология . 45 (3). 2014. ISSN 1864-9335 . 
  27. ^ «Оглавление» . Перспективы психологической науки . 7 (6). 2012. ISSN 1745-6916 . 
  28. ^ Открытое научное сотрудничество (2015). «Оценка воспроизводимости психологической науки» (PDF) . Наука . 349 (6251): aac4716. DOI : 10.1126 / science.aac4716 . ЛВП : 10722/230596 . PMID 26315443 . S2CID 218065162 .   
  29. ↑ Койн, Джеймс (15 апреля 2014 г.). «Являются ли метаанализы, проводимые профессиональными организациями, более надежными?» . Разумный мозг . Блоги PLOS. Архивировано из оригинала на 2014-08-14 . Проверено 13 сентября 2016 года .
  30. ↑ Коннор, Стив (27 августа 2015 г.). «Исследование показывает, что многие исследования в области психологии на самом деле просто« болтовня » » . Независимый . Лондон.
  31. ^ Мейер, Мишель Н .; Шабри, Кристофер (31 июля 2014 г.). "Почему психологическая борьба за еду имеет значение" . Шифер .
  32. ^ Aschwanden, Christie (19 августа 2015). «Наука не сломлена» . FiveThirtyEight . Проверено 30 января 2020 .
  33. ^ Aschwanden, Christie (27 августа 2015). «Психология начинает заниматься проблемой репликации» . FiveThirtyEight . Проверено 30 января 2020 .
  34. ^ Etchells, Пит (28 мая 2014). «Стремление психологии к репликации: дело не в вас» . Хранитель .
  35. ^ Вагенмакерс, Эрик-Ян; Ветцельс, Рууд; Борсбум, Денни; Маас, Хан Л. Дж. Ван дер; Киевит, Рожье А. (2012-11-01). «Повестка дня для чисто подтверждающих исследований» . Перспективы психологической науки . 7 (6): 632–638. DOI : 10.1177 / 1745691612463078 . ISSN 1745-6916 . PMID 26168122 . S2CID 5096417 .   
  36. ↑ Иоаннидис, Джон PA (01.11.2012). «Почему наука не обязательно самокорректируется» . Перспективы психологической науки . 7 (6): 645–654. DOI : 10.1177 / 1745691612464056 . ISSN 1745-6916 . PMID 26168125 . S2CID 11798785 .   
  37. ^ Пашлер, Гарольд; Харрис, Кристин Р. (01.11.2012). «Раздуто ли раздутый кризис воспроизводимости? Три аргумента исследованы» . Перспективы психологической науки . 7 (6): 531–536. DOI : 10.1177 / 1745691612463401 . ISSN 1745-6916 . PMID 26168109 .  
  38. ↑ Бартлетт, Том (30 января 2013 г.). «Сила внушения» . Хроника высшего образования .
  39. ^ a b Чемберс, Крис (10 июня 2014 г.). «Физическая зависть: могут ли« точные »науки решить кризис репликации в психологии?» . Хранитель .
  40. ^ a b Макель, Мэтью С .; Plucker, Jonathan A .; Хегарти, Бойд (01.11.2012). "Как часто повторения в психологических исследованиях встречаются на самом деле?" . Перспективы психологической науки . 7 (6): 537–542. DOI : 10.1177 / 1745691612460688 . ISSN 1745-6916 . PMID 26168110 .  
  41. ^ Stroebe, Вольфганг; Страк, Фриц (2014). «Предполагаемый кризис и иллюзия точного воспроизведения» (PDF) . Перспективы психологической науки . 9 (1): 59–71. DOI : 10.1177 / 1745691613514450 . PMID 26173241 . S2CID 31938129 .   
  42. ^ Aschwanden, Christie (6 декабря 2018). «Психологический кризис репликации сделал поле лучше» . FiveThirtyEight . Проверено 19 декабря 2018 .
  43. ^ Аллен, Кристофер P G .; Мелер, Дэвид Марк Антон. «Проблемы открытой науки, преимущества и советы в начале карьеры и за ее пределами» . DOI : 10.31234 / osf.io / 3czyt . Cite journal requires |journal= (help)
  44. ^ Чартье, Крис; Клайн, Мелисса; Маккарти, Рэнди; Nuijten, Michele; Данливи, Дэниел Дж .; Леджервуд, Элисон (декабрь 2018 г.), «Кооперативная революция делает психологическую науку лучше» , Observer , 31 (10) , получено 19 декабря 2018 г.
  45. ^ Открытое научное сотрудничество (2015-08-28). «Оценка воспроизводимости психологической науки» (PDF) . Наука . 349 (6251): aac4716. DOI : 10.1126 / science.aac4716 . ЛВП : 10722/230596 . ISSN 0036-8075 . PMID 26315443 . S2CID 218065162 .    
  46. ^ «Сводка показателей воспроизводимости и размеров эффекта для оригинальных и репликационных исследований в целом и по журналам / дисциплинам» . Дата обращения 16 октября 2019 .
  47. ^ Роджер, Адам (2018-08-27). «Наука, лежащая в основе социальных наук, снова встряхивается» . Проводной . Проверено 28 августа 2018 .
  48. ^ Камерер, Колин Ф .; Дребер, Анна; и другие. (27 августа 2018 г.). «Оценка воспроизводимости экспериментов в области социальных наук в природе и науке в период с 2010 по 2015 годы» (PDF) . Природа человеческого поведения . 2 (9): 637–644. DOI : 10.1038 / s41562-018-0399-Z . PMID 31346273 . S2CID 52098703 .   
  49. Перейти ↑ Klein, RA (2018). «Многие лаборатории 2: Исследование различий в воспроизводимости образцов и настроек» . Достижения в методах и практиках психологической науки . 1 (4): 443–490. DOI : 10.1177 / 2515245918810225 .
  50. ^ Витковский, Томаш (2019). «Стакан наполовину пуст или наполовину полон? Последние результаты кризиса репликации в психологии» (PDF) . Скептически настроенный исследователь . 43 (2): 5–6. Архивировано из оригинального (PDF) 30 января 2020 года.
  51. ^ Эрп, Брайан Д .; Трафимов, Дэвид (2015). «Тиражирование, фальсификация и кризис доверия к социальной психологии» . Границы в психологии . 6 : 621. DOI : 10.3389 / fpsyg.2015.00621 . ISSN 1664-1078 . PMC 4436798 . PMID 26042061 .   
  52. ^ а б Эверетт, Джим Альберт Чарльтон; Эрп, Брайан Д. (01.01.2015). «Трагедия (академического) достояния: интерпретация кризиса репликации в психологии как социальной дилеммы для начинающих исследователей» . Границы в психологии . 6 : 1152. DOI : 10.3389 / fpsyg.2015.01152 . PMC 4527093 . PMID 26300832 .  
  53. ^ Эрп, Брайан Д. "Разрешение кризиса репликации в социальной психологии? Новое предложение" . Общество личности и социальной психологии . Проверено 18 ноября 2015 .
  54. ^ a b c d Летцтер, Рафи (22 сентября 2016 г.). «Ученые пришли в ярость после того, как известный психолог обвинил своих сверстников в« методологическом терроризме » » . Business Insider . Проверено 30 января 2020 .
  55. ^ «Проект колонки наблюдателей вызывает сильный отклик в социальных сетях» . Ассоциация психологической науки . Проверено 4 октября 2017 .
  56. Перейти ↑ Fiske, Susan T. (2016-10-31). «Призыв изменить научную культуру позора» . Наблюдатель APS . 29 (9).
  57. ^ Сингал, Джесси (2016-10-12). "Дебаты о методологическом терроризме в психологии" . NY Mag . Проверено 4 октября 2017 .
  58. ^ «BREAKING....... PNAS обновляет свой слоган! - Статистическое моделирование, причинный вывод и социальные науки» . Статистическое моделирование, причинный вывод и социальные науки . 2017-10-04 . Проверено 4 октября 2017 .
  59. ↑ Иоаннидис JA (13 июля 2005 г.). «Противоречивые и изначально более сильные эффекты в высоко цитируемых клинических исследованиях» . JAMA . 294 (2): 218–228. DOI : 10,1001 / jama.294.2.218 . PMID 16014596 . 
  60. ^ Глик, Дж. Лесли (1992). «Аудит научных данных - ключевой инструмент управления». Подотчетность в исследованиях . 2 (3): 153–168. DOI : 10.1080 / 08989629208573811 .
  61. ^ Бегли, CG; Эллис, LM (2012). «Разработка лекарств: повышение стандартов для доклинических исследований рака» . Природа . 483 (7391): 531–533. Bibcode : 2012Natur.483..531B . DOI : 10.1038 / 483531a . PMID 22460880 . S2CID 4326966 .  
  62. Перейти ↑ Begley, CG (2013). «Воспроизводимость: шесть красных флажков для подозрительной работы». Природа . 497 (7450): 433–434. Bibcode : 2013Natur.497..433B . DOI : 10.1038 / 497433a . PMID 23698428 . S2CID 4312732 .  
  63. ^ Mobley, A .; Linder, SK; Braeuer, R .; Эллис, Л. М.; Цвеллинг, Л. (2013). Аракава, Хирофуми (ред.). «Обзор воспроизводимости данных в исследованиях рака дает представление о нашей ограниченной способности переводить результаты из лаборатории в клинику» . PLOS ONE . 8 (5): e63221. Bibcode : 2013PLoSO ... 863221M . DOI : 10.1371 / journal.pone.0063221 . PMC 3655010 . PMID 23691000 .  
  64. ^ Бейкер, Моня (2016). «1500 ученых снимают крышку с воспроизводимости» . Природа . 533 (7604): 452–454. Bibcode : 2016Natur.533..452B . DOI : 10.1038 / 533452a . PMID 27225100 . 
  65. ^ Иоаннидис, JPA (2016). «Почему большинство клинических исследований бесполезны» . PLOS Med . 13 (6): e1002049. DOI : 10.1371 / journal.pmed.1002049 . PMC 4915619 . PMID 27328301 .  
  66. ^ Хантер, Джон Э. (2001-06-01). «Отчаянная потребность в репликации». Журнал потребительских исследований . 28 (1): 149–158. DOI : 10.1086 / 321953 .
  67. ^ Армстронг, J .; Грин, Кестен (2017-01-24). «Руководящие принципы для науки: доказательства и контрольные списки» . Маркетинговые статьи . SSRN 3055874 . 
  68. ^ Айхнер, Томас; Колетти, Паоло; Форза, Чиприано; Перкманн, Урбан; Трентин, Алессио (22 марта 2016 г.). «Влияние субкультурных различий на оценки страны и продукта: повторное исследование». Журнал глобального маркетинга . 29 (3): 115–127. DOI : 10.1080 / 08911762.2015.1138012 . S2CID 155364746 . 
  69. ^ Camerer, Колин Ф .; Дребер, Анна; Форселл, Эскиль; Хо, Тек-Хуа; Хубер, Юрген; Йоханнессон, Магнус; Кирхлер, Майкл; Альменберг, Йохан; Альтмейд, Адам (2016-03-25). «Оценка воспроизводимости лабораторных экспериментов в экономике» . Наука . 351 (6280): 1433–1436. Bibcode : 2016Sci ... 351.1433C . DOI : 10.1126 / science.aaf0918 . ISSN 0036-8075 . PMID 26940865 .  
  70. ^ Боханнон, Джон (2016-03-03). «Около 40% экономических экспериментов терпят неудачу при повторном исследовании» . Наука . Проверено 25 октября 2017 .
  71. ^ Иоаннидис, Джон PA; Стэнли, штат ТД; Дукулиагос, Христос (01.10.2017). «Сила предвзятости в экономических исследованиях». Экономический журнал . 127 (605): F236 – F265. DOI : 10.1111 / ecoj.12461 . ISSN 1468-0297 . S2CID 158829482 .  
  72. ^ Гальперин, Израиль; Выготский, Андрей Д .; Фостер, Карл; Пайн, Дэвид Б. (1 февраля 2018 г.). «Укрепление практики упражнений и исследований в области спорта» . Международный журнал спортивной физиологии и производительности . 13 (2): 127–134. DOI : 10.1123 / ijspp.2017-0322 . hdl : 10072/383414 . ISSN 1555-0273 . PMID 28787228 . S2CID 3695727 .   
  73. ^ Ашванден, Кристи; Нгуен, Май (2018-05-16). «Как дрянная статистика нашла место в спортивных исследованиях» . FiveThirtyEight . Проверено 16 мая 2018 .
  74. ^ Stagge, Джеймс Х .; Розенберг, Дэвид Э .; Abdallah, Adel M .; Акбар, Хадиа; Attallah, Nour A .; Джеймс, Райан (26.02.2019). «Оценка доступности данных и воспроизводимости исследований в области гидрологии и водных ресурсов» . Научные данные . 6 : 190030. Bibcode : 2019NatSD ... 690030S . DOI : 10.1038 / sdata.2019.30 . ISSN 2052-4463 . PMC 6390703 . PMID 30806638 .   
  75. ^ Oreskes, Н. (2018). «Осторожно: правило прозрачности - это троянский конь» . Природа . 557 (7706): 469. Bibcode : 2018Natur.557..469O . DOI : 10.1038 / d41586-018-05207-9 . PMID 29789751 . 
  76. ^ a b Сальтелли, Андреа (декабрь 2018 г.). «Почему кризис науки не должен стать ареной политических баталий» . Фьючерсы . 104 : 85–90. DOI : 10.1016 / j.futures.2018.07.006 .
  77. ^ Майклс, Д. (2008). Сомнение - это их продукт: как наступление промышленности на науку угрожает вашему здоровью . Издательство Оксфордского университета. ISBN 9780195300673.
  78. ^ Bialek, Михал (2018). «Репликации могут вызвать искаженную веру в научный прогресс» . Поведенческие науки и науки о мозге . 41 . DOI : 10.1017 / S0140525X18000584 . ISSN 0140-525X . 
  79. ^ a b Mede, Niels G .; Schäfer, Mike S .; Зиглер, Рикарда; Вайскопф, Маркус (2020). «Кризис репликации» в глазах общественности: осознание немцами и восприятие (и) воспроизводимости научных исследований: » . Общественное понимание науки . DOI : 10.1177 / 0963662520954370 .
  80. ^ Ниссен, Сайлас Бой; Мэджидсон, Тали; Гросс, Кевин; Бергстром, Карл (20 декабря 2016 г.). «Исследование: предвзятость публикации и канонизация ложных фактов» . eLife . 5 : e21451. arXiv : 1609.00494 . DOI : 10.7554 / eLife.21451 . PMC 5173326 . PMID 27995896 .  
  81. ^ Де Солла Прайс; Дерек Дж. (1963). Маленькая наука большая наука . Издательство Колумбийского университета.
  82. ^ Зиберт, S .; Machesky, LM и Insall, RH (2015). «Переполнение науки и его значение для доверия» . eLife . 4 : e10825. DOI : 10.7554 / eLife.10825 . PMC 4563216 . PMID 26365552 .  
  83. ^ Della Briotta Parolo, P .; Кумар Пан; Р. Гош; Р. Хуберман; BA Kimmo Kaski; Фортунато, С. (2015). «Упадок внимания в науке». Журнал информетрики . 9 (4): 734–745. arXiv : 1503.01881 . Bibcode : 2015arXiv150301881D . DOI : 10.1016 / j.joi.2015.07.006 . S2CID 10949754 . 
  84. ^ Мировски, P. (2011). Science-Mart: приватизация американской науки . Издательство Гарвардского университета.
  85. ^ Saltelli, A .; Фунтович, С. (2017). «В чем суть кризиса науки?» . Фьючерсы . 91 : 5–11. DOI : 10.1016 / j.futures.2017.05.010 .
  86. ^ Benessia, A .; Funtowicz, S .; Giampietro, M .; Guimarães Pereira, A .; Ravetz, J .; Saltelli, A .; Strand, R .; ван дер Слуис, Дж. (2016). Законное место науки: наука на грани . Консорциум науки, политики и результатов Университета штата Аризона.
  87. ^ Сальтелли, Андреа; Равец, Джером Р. и Фунтович, Сильвио (25 июня 2016 г.). «Новое сообщество науки» . Новый ученый . № 3079. с. 52.
  88. ^ Смит, Ноа (2016-12-14). «Академическая сигнализация и мир постправды» . Ноахпинион . Университет Стоуни-Брук . Дата обращения 5 ноября 2017 .
  89. ↑ HG Moeller, - пояснил Луман. Издательство Open Court, 2006.
  90. ^ Н. Луман, Социальная система. Издательство Стэнфордского университета, 1995.
  91. ^ А. Сальтелли и П.-М. Буланже , «Технаука, политика и новые медиа. Нексус или водоворот?», Futures , vol. 115, стр. 102491, ноябрь 2019 г.
  92. ^ DA Scheufele, "Научная коммуникация как политическая коммуникация", Proceedings of the National Academy of Sciences of the United States of America , vol. 111 Приложение, № Приложение 4, стр. 13585–13592, сентябрь 2014 г.
  93. ^ П. Мировски. Science-Mart: приватизация американской науки . Издательство Гарвардского университета, 2011.
  94. ^ Р. А. Пилке-младший . Честный брокер . Издательство Кембриджского университета, 2007.
  95. ^ Moonesinghe, Рамаль; Хури, Муин Дж .; Янссенс, А. Сесиль Дж. У. (27 февраля 2007 г.). «Большинство опубликованных результатов исследований ложны - но небольшое повторение имеет большое значение» . PLOS Med . 4 (2): e28. DOI : 10.1371 / journal.pmed.0040028 . PMC 1808082 . PMID 17326704 .  
  96. ^ Саймонс, Дэниел Дж. (2014-01-01). «Ценность прямой репликации» . Перспективы психологической науки . 9 (1): 76–80. DOI : 10.1177 / 1745691613514755 . ISSN 1745-6916 . PMID 26173243 . S2CID 1149441 .   
  97. ^ Иоаннидис, Джон PA; Фанелли, Даниэле; Данн, Дебби Дрейк; Гудман, Стивен Н. (02.10.2015). «Мета-исследование: оценка и совершенствование методов и практики исследований» . PLOS Биология . 13 (10): –1002264. DOI : 10.1371 / journal.pbio.1002264 . ISSN 1545-7885 . PMC 4592065 . PMID 26431313 .   
  98. ↑ Бах, автор Бекки (8 декабря 2015 г.). «О связи науки и неопределенности: подкаст с Джоном Иоаннидисом» . Объем . Дата обращения 20 мая 2019 .
  99. ^ «Зарегистрированные отчеты о репликации» . Ассоциация психологической науки . Проверено 13 ноября 2015 .
  100. ^ Чемберс, Крис (2014-05-20). «Психология„регистрация революция “ » . Хранитель . Проверено 13 ноября 2015 .
  101. ^ Линдси, Д. Стивен (2015-11-09). «Репликация в психологической науке» . Психологическая наука . 26 (12): 1827–32. DOI : 10.1177 / 0956797615616374 . ISSN 0956-7976 . PMID 26553013 .  
  102. ^ Енг, Энди WK (2017). "Принимают ли журналы по нейробиологии репликации? Обзор литературы" . Границы нейробиологии человека . 11 : 468. DOI : 10,3389 / fnhum.2017.00468 . ISSN 1662-5161 . PMC 5611708 . PMID 28979201 .   
  103. ^ Мартин, GN; Кларк, Ричард М. (2017). «Являются ли журналы психологии анти-репликацией? Обзор редакционной практики» . Границы в психологии . 8 : 523. DOI : 10.3389 / fpsyg.2017.00523 . ISSN 1664-1078 . PMC 5387793 . PMID 28443044 .   
  104. ^ Валлот, Себастьян; Келти-Стивен, Дамиан Г. (2018-06-01). "Взаимодействие-доминирующая причинность в разуме и мозге, и ее значение для вопросов обобщения и воспроизведения" . Умы и машины . 28 (2): 353–374. DOI : 10.1007 / s11023-017-9455-0 . ISSN 1572-8641 . 
  105. ^ Зигенфельд, Александр Ф .; Бар-Ям, Янир (10.12.2019). «Введение в науку о сложных системах и ее приложениях». arXiv : 1912.05088 [ Physics.soc -ph ].
  106. ^ Франк, Майкл C .; Сакс, Ребекка (01.11.2012). «Обучение репликации». Перспективы психологической науки . 7 (6): 600–604. DOI : 10.1177 / 1745691612460686 . ISSN 1745-6916 . PMID 26168118 . S2CID 33661604 .   
  107. ^ Грэх, Джон Э .; Рейфман, Алан; Германн, Энтони Д .; Уокер, Мари; Oleson, Kathryn C .; Нарио-Редмонд, Мишель; Вибе, Ричард П. (2012-11-01). «Использование неизведанных ресурсов студенческих исследовательских проектов» . Перспективы психологической науки . 7 (6): 605–607. DOI : 10.1177 / 1745691612459057 . ISSN 1745-6916 . PMID 26168119 .  
  108. ^ Марвик, Бен; Ван, Ли-Инь; Робинсон, Райан; Луазель, Надежда (22 октября 2019 г.). «Как использовать задания по репликации для обучения целостности в эмпирической археологии» . Успехи археологической практики . 8 : 78–86. DOI : 10.1017 / aap.2019.38 .
  109. ^ Бенджамин, Дэниел Дж .; и другие. (2018). «Новое определение статистической значимости» . Природа человеческого поведения . 2 (1): 6–10. DOI : 10.1038 / s41562-017-0189-Z . PMID 30980045 . 
  110. ^ Лакенс, Дэниел; и другие. (Март 2018 г.). «Обоснуйте свою альфу». Природа человеческого поведения . 2 (3): 168–171. DOI : 10.1038 / s41562-018-0311-х . ЛВП : 21,11116 / 0000-0004-9413-F . ISSN 2397-3374 . S2CID 3692182 .  
  111. ^ Колхаун, Дэвид (2015). «Расследование ложных открытий и неправильного толкования p- значений » . Королевское общество открытой науки . 1 (3): 140216. arXiv : 1407.5296 . Bibcode : 2014RSOS .... 140216C . DOI : 10,1098 / rsos.140216 . PMC 4448847 . PMID 26064558 .  
  112. ^ a b c d Colquhoun, Дэвид (2017). «Воспроизводимость исследований и неправильное толкование p-значений» . Королевское общество открытой науки . 4 (12): 171085. DOI : 10.1098 / rsos.171085 . PMC 5750014 . PMID 29308247 .  
  113. ^ Colquhoun, Дэвид. «Проблема с p-значениями» . Журнал Aeon . Проверено 11 декабря +2016 .
  114. ^ Лонгстафф, Колин; Колкухун, Дэвид. «Калькулятор риска ложных срабатываний (FPR)» . UCL.
  115. ^ Matthews, Радж (2001). «Почему клиницисты должны заботиться о байесовских методах?». Журнал статистического планирования и вывода . 94 : 43–58. DOI : 10.1016 / S0378-3758 (00) 00232-9 .
  116. ^ Максвелл, Скотт Э .; Лау, Майкл Й .; Ховард, Джордж С. (2015). «Страдает ли психология от кризиса репликации? Что на самом деле означает« отказ от репликации »?». Американский психолог . 70 (6): 487–498. DOI : 10.1037 / a0039400 . PMID 26348332 . 
  117. ^ IntHout, Джоанна; Иоаннидис, Джон PA; Борм, Джордж Ф .; Гоеман, Джелле Дж. (2015). «Маленькие исследования более разнородны, чем крупные: мета-метаанализ» . Журнал клинической эпидемиологии . 68 (8): 860–869. DOI : 10.1016 / j.jclinepi.2015.03.017 . PMID 25959635 . 
  118. ^ Кнопка, Кэтрин С .; Иоаннидис, Джон PA; Мокрыш, Клэр; Носек, Брайан А .; Флинт, Джонатан; Робинсон, Эмма SJ; Мунафо, Маркус Р. (01.05.2013). «Сбой питания: почему небольшой размер выборки подрывает надежность нейробиологии» . Обзоры природы Неврология . 14 (5): 365–376. DOI : 10.1038 / nrn3475 . ISSN 1471-003X . PMID 23571845 .  
  119. ^ Гринвальд, Энтони Г. (1975). «Последствия предубеждения против нулевой гипотезы» (PDF) . Психологический бюллетень . 82 (1): 1–20. DOI : 10.1037 / h0076157 .
  120. ^ Амрейн, Валентин; Корнер-Нивергельт, Франци; Рот, Тобиас (2017). «Земля плоская (p> 0,05): пороги значимости и кризис неизбывных исследований» . PeerJ . 5 : e3544. DOI : 10,7717 / peerj.3544 . PMC 5502092 . PMID 28698825 .  
  121. ^ a b Иоаннидис, Джон PA (2016). «Прогнозирование последствий обмена необработанными данными и кодом и выдачи значков за обмен». Журнал клинической эпидемиологии . 70 : 258–260. DOI : 10.1016 / j.jclinepi.2015.04.015 . PMID 26163123 . 
  122. ^ «NWO предоставляет 3 миллиона для пилотного проекта исследований репликации» . NWO . Проверено 2 августа 2016 .
  123. ^ a b c Apple, Сэм (22 января 2017 г.). «Молодой миллиардер, стоящий за войной с плохой наукой» . Проводной .
  124. ^ Munafò, Марк R .; Смит, Джордж Дэйви (23 января 2018 г.). «Для надежных исследований необходимо множество доказательств» . Природа . 553 (7689): 399–401. Bibcode : 2018Natur.553..399M . DOI : 10.1038 / d41586-018-01023-3 . PMID 29368721 . 
  125. ^ Госслины, Ромны D. (2019). «Статистический анализ должен улучшиться для преодоления кризиса воспроизводимости: доступ к прозрачной статистике (ACTS), призыв к действию» . BioEssays . 42 (1): 1900189. DOI : 10.1002 / bies.201900189 . PMID 31755115 . 
  126. ^ a b Уилинг, Кейт (12 мая 2016 г.). «Большая фармацевтика выявляет кризис биомедицинской репликации» . Тихоокеанский стандарт . Проверено 30 января 2020 . Обновлено 14 июня 2017 г.
  127. ^ Бегли, К. Гленн (2012-05-12). «Повышение стандартов доклинических исследований рака» . Природа . 483 (7391): 531–33. Bibcode : 2012Natur.483..531B . DOI : 10.1038 / 483531a . PMID 22460880 . S2CID 4326966 .  
  128. ^ Принц, Флориан (31.08.2011). «Хотите верьте, хотите нет: насколько мы можем полагаться на опубликованные данные о потенциальных мишенях для лекарств» . Обзоры природы Открытие лекарств . 10 (712): 712. DOI : 10.1038 / nrd3439-с1 . PMID 21892149 . 

Дальнейшее чтение [ править ]

  • Денворт, Лидия (октябрь 2019 г.). «Серьезная проблема: стандартные научные методы подвергаются критике. Что-нибудь изменится?» , Scientific American , т. 321, нет. 4. С. 62–67. «Использование р значений в течение почти столетия [после 1925] для определения статистической значимости из экспериментальных результатов способствовало иллюзии определенности и [к] воспроизводимости кризисам во многих областях науки . Существует растущая решимость реформ статистического анализ ... Некоторые [исследователи] предлагают изменить статистические методы, в то время как другие отказались бы от порога для определения «значимых» результатов ». (стр.63)
  • Бастиан, Хильда (5 декабря 2016 г.). «Хронология кризиса воспроизводимости: вехи в решении проблемы надежности исследований» . Абсолютно возможно . Дата обращения 5 июня 2019 .
  • Харрис, Ричард (2017). Rigor Mortis: Как небрежная наука создает бесполезные лекарства, разрушает надежды и тратит впустую миллиарды . Нью-Йорк: Основные книги. ISBN 9780465097906.
  • Ричи, Стюарт (июль 2020 г.). Научная фантастика: как мошенничество, предвзятость, халатность и шумиха подрывают поиск истины . Нью-Йорк: Метрополитен Букс. ISBN 9781250222695.     Книжное обозрение (ноябрь 2020 г., The American Conservative )