Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Воспроизводимость - главный принцип научного метода . Это означает, что результат, полученный в результате эксперимента или наблюдательного исследования, должен быть снова достигнут с высокой степенью согласия, когда исследование воспроизводится с использованием одной и той же методологии разными исследователями. Только после одного или нескольких таких успешных повторений результат должен быть признан научным знанием.

С более узкой областью в вычислительных науках была введена воспроизводимость : любые результаты должны быть задокументированы, сделав все данные и код доступными таким образом, чтобы вычисления можно было выполнить снова с идентичными результатами.

Термины воспроизводимость и повторяемость используются в контексте воспроизводимости, см. Ниже.

В последние десятилетия растет беспокойство по поводу того, что многие опубликованные научные результаты не проходят проверку на воспроизводимость, вызывая кризис воспроизводимости или воспроизводимости .

История [ править ]

Воздушный насос Бойля был, с точки зрения 17-го века, сложным и дорогим научным прибором, затруднявшим воспроизводимость результатов.

Первым , чтобы подчеркнуть важность воспроизводимости в науке был ирландский химик Роберт Бойль , в Англии в 17 веке. Воздушный насос Бойля был разработан для создания и изучения вакуума , что в то время было очень спорной концепцией. Действительно, выдающиеся философы, такие как Рене Декарт и Томас Гоббс, отрицали саму возможность существования вакуума. Историки науки Стивен Шапин и Саймон Шаффер в своей книге 1985 года « Левиафан и воздушный насос», описывают дебаты между Бойлем и Гоббсом, якобы о природе вакуума, как фундаментальный аргумент о том, как следует получать полезные знания. Бойль, пионер экспериментального метода , утверждал, что основы знания должны состоять из экспериментально полученных фактов, которые можно сделать правдоподобными для научного сообщества благодаря их воспроизводимости. Бойль утверждал, что повторение одного и того же эксперимента снова и снова приведет к достоверности фактов.

Воздушный насос, который в 17 веке был сложным и дорогостоящим устройством, также стал одним из первых задокументированных споров о воспроизводимости конкретного научного явления. В 1660-х годах голландский ученый Христиан Гюйгенс построил свой собственный воздушный насос в Амстердаме , первый из которых не находился под непосредственным руководством Бойля и его помощника в то время Роберта Гука.. Гюйгенс сообщил об эффекте, который он назвал «аномальной взвесью», при котором вода, казалось, левитировала в стеклянном сосуде внутри его воздушного насоса (на самом деле подвешена над воздушным пузырем), но Бойль и Гук не смогли воспроизвести это явление в своих насосах. Как описывают Шапин и Шаффер, «стало ясно, что, если это явление не может быть произведено в Англии с помощью одного из двух доступных насосов, никто в Англии не примет утверждения Гюйгенса или его компетентность в работе с насосом». В конце концов Гюйгенс был приглашен в Англию в 1663 году, и под его личным руководством Гук смог воспроизвести аномальную взвесь воды. После этого Гюйгенс был избран иностранным членом Королевского общества.. Однако Шапин и Шаффер также отмечают, что «выполнение репликации зависело от случайных актов суждения. Невозможно записать формулу, говорящую, когда репликация была или не была достигнута ». [1]

Философ науки Карл Поппер отметил кратко в своей знаменитой книге 1934 Логика научного открытия , что «невоспроизводимые единичные случаи не имеют значения для науки». [2] статистик Рональд Фишер писал в своей книге 1935 Дизайна экспериментов , которые устанавливают основы современной научной практики проверки гипотез и статистической значимость , что «мы можем сказать , что явление экспериментально доказуемо , когда мы знаем , как поведение эксперимент, который редко не дает статистически значимых результатов ». [3] Такие утверждения выражают общеедогма современной науки о том, что воспроизводимость является необходимым условием (хотя и не обязательно достаточным ) для установления научного факта и на практике для установления научного авторитета в любой области знания. Однако, как отмечалось выше Шапином и Шаффером, эта догма недостаточно четко сформулирована количественно, например, как статистическая значимость, и поэтому явно не установлено, сколько раз факт должен быть воспроизведен, чтобы считаться воспроизводимым.

Воспроизводимость, повторяемость [ править ]

В связи с воспроизводимостью экспериментальных или наблюдательных исследований, естественно, различают два основных этапа: когда новые данные получены в попытке достичь этого, часто используется термин воспроизводимость , и новое исследование является копией или копией исходного. Получив те же результаты при повторном анализе набора данных исходного исследования с помощью тех же процедур, многие авторы используют термин воспроизводимость в узком, техническом смысле, вытекающем из его использования в вычислительных исследованиях. Повторяемость связана с повторениемэксперимента в рамках одного исследования теми же исследователями. Воспроизводимость в оригинальном широком смысле признается только в том случае, если репликация, выполненная независимой группой исследователей, будет успешной.

К сожалению, термины воспроизводимость и воспроизводимость встречаются в литературе также в обратном смысле.[4] [5]

Меры воспроизводимости и повторяемости [ править ]

В химии термины воспроизводимость и повторяемость используются в определенном количественном значении: в межлабораторных экспериментах концентрация или другое количество химического вещества повторно измеряется в разных лабораториях для оценки изменчивости измерений. Тогда стандартное отклонение разницы между двумя значениями, полученными в одной лаборатории, называется повторяемостью. Стандартное отклонение разницы между двумя измерениями в разных лабораториях называется воспроизводимостью . [6] Эти меры относятся к более общей концепции компонентов дисперсии в метрологии .

Воспроизводимое исследование [ править ]

Воспроизводимый метод исследования [ править ]

Термин « воспроизводимое исследование» относится к идее, что научные результаты должны документироваться таким образом, чтобы их вывод был полностью прозрачным. Это требует подробного описания методов, используемых для получения данных [7] [8], и обеспечения легкого доступа к полному набору данных и программе для расчета результатов. [9] [10] [11] [12] [13] [14] Это важная часть открытой науки .

Чтобы сделать любой исследовательский проект воспроизводимым с помощью вычислений, в общей практике все данные и файлы должны быть четко разделены, помечены и задокументированы. Все операции должны быть полностью документированы и автоматизированы, насколько это возможно, без ручного вмешательства, где это возможно. Рабочий процесс должен быть спроектирован как последовательность более мелких шагов, которые объединяются таким образом, чтобы промежуточные результаты одного шага непосредственно служили входными данными для следующего шага. Следует использовать контроль версий, поскольку он позволяет легко просматривать историю проекта и прозрачным образом документировать и отслеживать изменения.

Базовый рабочий процесс воспроизводимого исследования включает сбор данных, обработку данных и анализ данных. Сбор данных в первую очередь состоит из получения первичных данных из первичного источника, такого как опросы, полевые наблюдения, экспериментальные исследования или получение данных из существующего источника. Обработка данных включает в себя обработку и анализ необработанных данных, собранных на первом этапе, и включает в себя ввод данных, манипулирование данными и фильтрацию и может выполняться с использованием программного обеспечения. Данные должны быть оцифрованы и подготовлены для анализа данных. Данные могут быть проанализированы с использованием программного обеспечения для интерпретации или визуализации статистики или данных для получения желаемых результатов исследования, таких как количественные результаты, включая рисунки и таблицы. Использование программного обеспечения и автоматизации повышает воспроизводимость методов исследования. [15]

Есть системы , которые облегчают такую документацию, как на R Markdown языке [16] или Jupyter ноутбук. [17] Open Science Framework предоставляет платформу и полезные инструменты для поддержки воспроизводимых исследований.

Воспроизводимые исследования на практике [ править ]

Психология стала свидетелем возобновления внутренних опасений по поводу невоспроизводимых результатов (см. Статью о кризисе воспроизводимости, где приведены эмпирические результаты об успешности репликации). Исследователи показали в исследовании 2006 года, что из 141 автора публикации эмпирических статей Американской психологической ассоциации (APA) 103 (73%) не предоставили свои данные в течение шести месяцев. [18] В ходе последующего исследования, опубликованного в 2015 году, было обнаружено, что 246 из 394 авторов статей в журналах APA не предоставили свои данные по запросу (62%). [19] В документе 2012 года было предложено, чтобы исследователи публиковали данные вместе со своими работами, и набор данных был выпущен одновременно в качестве демонстрации. [20] В 2017 г. была опубликована статья вНаучные данные предполагают, что этого может быть недостаточно и что следует раскрыть весь контекст анализа. [21]

В области экономики высказывались опасения по поводу достоверности и надежности опубликованных исследований. В других науках воспроизводимость считается фундаментальной и часто является предпосылкой для публикации исследований, однако в экономических науках она не рассматривается в качестве первостепенной важности. Большинство рецензируемых экономических журналов не принимают никаких существенных мер для обеспечения воспроизводимости опубликованных результатов, однако ведущие экономические журналы переходят на обязательные архивы данных и кодов. [22]У исследователей мало или вообще нет стимулов для обмена своими данными, и авторам придется нести расходы по компиляции данных в формы для повторного использования. Экономические исследования часто невозможно воспроизвести, поскольку только часть журналов имеет адекватную политику раскрытия наборов данных и программного кода, и даже если они и есть, авторы часто не соблюдают их или издатель не навязывает их. Изучение 599 статей, опубликованных в 37 рецензируемых журналах, показало, что, хотя некоторые журналы достигли значительных показателей соответствия, значительная их часть соблюдала лишь частично или не выполняла вовсе. На уровне статей средний уровень соблюдения требований составил 47,5%; а на уровне журнала средний уровень соответствия составлял 38%, от 13% до 99%. [23]

Исследование 2018 года, опубликованное в журнале PLOS ONE, показало, что 14,4% выборки исследователей общественного здравоохранения поделились своими данными или кодом, или и тем, и другим. [24]

На протяжении многих лет были инициативы по улучшению отчетности и, следовательно, воспроизводимости в медицинской литературе, начиная с инициативы CONSORT , которая сейчас является частью более широкой инициативы, сети EQUATOR . Эта группа недавно обратила внимание на то, как более качественная отчетность может сократить потери в исследованиях [25], особенно в биомедицинских исследованиях.

Воспроизводимые исследования - ключ к новым открытиям в фармакологии . За открытием Фазы I последуют репродукции Фазы II по мере того, как лекарство развивается в направлении коммерческого производства. За последние десятилетия успех Фазы II упал с 28% до 18%. Исследование 2011 года показало, что 65% медицинских исследований при повторном тестировании не соответствовали друг другу, и только 6% были полностью воспроизводимы. [26]

Заслуживающие внимания невоспроизводимые результаты [ править ]

Хидейо Ногучи прославился тем, что правильно определил бактериальный возбудитель сифилиса , но также заявил, что может культивировать этот агент в своей лаборатории. Никто другой не смог добиться этого последнего результата. [27]

В марте 1989 года химики из Университета Юты Стэнли Понс и Мартин Флейшманн сообщили о выделении избыточного тепла, которое можно объяснить только ядерным процессом (« холодный синтез »). Отчет был поразительным, учитывая простоту оборудования: по сути, это была электролизная ячейка, содержащая тяжелую воду и палладиевый катод, который быстро поглощал дейтерий, образующийся во время электролиза. Средства массовой информации широко освещали эксперименты, и эта статья была на первых полосах многих газет по всему миру (см. « Наука в пресс-конференции» ). В течение следующих нескольких месяцев другие пытались повторить эксперимент, но безуспешно.[28]

Никола Тесла еще в 1899 году утверждал, что использовал высокочастотный ток для зажигания газонаполненных ламп на расстоянии более 25 миль (40 км) без использования проводов . В 1904 году он построил башню Уорденклиф на Лонг-Айленде, чтобы продемонстрировать способы отправки и получения энергии без подключения проводов. Установка так и не была полностью введена в эксплуатацию и не была завершена из-за экономических проблем, поэтому попыток воспроизвести его первый результат предпринято не было. [29]

Другие примеры, свидетельствующие об обратном, опровергающие первоначальное утверждение:

  • Вызванное стимулом приобретение плюрипотентности , как выяснилось, в результате мошенничества
  • GFAJ-1 , бактерия, которая якобы могла включать мышьяк в свою ДНК вместо фосфора.
  • Противоречие с вакциной MMR - исследование в The Lancet, утверждающее, что вакцина MMR вызвала аутизм, оказалось подделкой
  • Скандал с Шеном - "прорывы" в полупроводниках оказались мошенническими
  • Сильное позирование - феномен социальной психологии, который стал вирусным после того, как стал предметом очень популярного выступления на TED , но не смог быть воспроизведен в десятках исследований [30]

См. Также [ править ]

Ссылки [ править ]

  1. ^ Стивен Шапин и Саймон Шаффер , Левиафан и воздушный насос , Princeton University Press, Принстон, Нью-Джерси (1985).
  2. ↑ Эта цитата из перевода на английский язык 1959 года, Карл Поппер , Логика научных открытий , Рутледж, Лондон, 1992, стр. 66.
  3. ^ Рональд Фишер , План экспериментов , (1971) [1935] (9-е изд.), Macmillan, p. 14.
  4. ^ Барба, Лорена А. "Терминологии для воспроизводимых исследований" (PDF) . Проверено 15 октября 2020 .
  5. ^ Либерман, Марк. «Воспроизводимость против воспроизводимости - или все наоборот?» . Проверено 15 октября 2020 .
  6. ^ Подкомитет E11.20 по оценке методов тестирования и контролю качества (2014). «Стандартная практика использования терминов« точность и смещение »в методах испытаний ASTM» . ASTM International. ASTM E177.(требуется подписка)
  7. ^ Король, Гэри (1995). «Репликация, тиражирование» . PS: Политология и политика . 28 (3): 444–452. DOI : 10.2307 / 420301 . ISSN 1049-0965 . JSTOR 420301 .  
  8. ^ Кюне, Мартин; Лир, Андреас В. (2009). «Улучшение традиционного управления информацией в естественных науках» . Журнал Data Science . 8 (1): 18–27. DOI : 10,2481 / dsj.8.18 .
  9. ^ Fomel, Сергей; Клаербут, Джон (2009). «Введение приглашенных редакторов: воспроизводимое исследование». Вычислительная техника в науке и технике . 11 (1): 5–7. Bibcode : 2009CSE .... 11a ... 5F . DOI : 10,1109 / MCSE.2009.14 .
  10. ^ Buckheit, Джонатан Б .; Донохо, Дэвид Л. (май 1995 г.). WaveLab и воспроизводимые исследования (PDF) (отчет). Калифорния, США: Стэнфордский университет , статистический факультет. Технический отчет № 474 . Проверено 5 января 2015 года .
  11. ^ «Круглый стол Йельской школы права по обмену данными и основным:« Воспроизводимые исследования » » . Вычислительная техника в науке и технике . 12 (5): 8–12. 2010. DOI : 10,1109 / MCSE.2010.113 .
  12. ^ Марвик, Бен (2016). «Вычислительная воспроизводимость в археологических исследованиях: основные принципы и пример их реализации» . Журнал археологического метода и теории . 24 (2): 424–450. DOI : 10.1007 / s10816-015-9272-9 . S2CID 43958561 . 
  13. ^ Гудман, Стивен Н .; Фанелли, Даниэле; Иоаннидис, Джон PA (1 июня 2016 г.). "Что означает воспроизводимость исследования?" . Трансляционная медицина науки . 8 (341): 341ps12. DOI : 10.1126 / scitranslmed.aaf5027 . PMID 27252173 . 
  14. ^ Харрис JK; Джонсон К.Дж.; Расчески туберкулезные; Карозерс Б.Дж.; Люк DA; Ван Икс (2019). «Три изменения, которые могут внести ученые в области общественного здравоохранения, чтобы помочь создать культуру воспроизводимых исследований» . Представитель общественного здравоохранения. Отчеты об общественном здравоохранении . 134 (2): 109–111. DOI : 10.1177 / 0033354918821076 . ISSN 0033-3549 . OCLC 7991854250 . PMC 6410469 . PMID 30657732 .    
  15. ^ Китцес, Джастин; Турек, Даниил; Дениз, Фатьма (2018). Практика воспроизводимых исследований конкретных случаев и уроков из науки с большим объемом данных . Окленд, Калифорния: Калифорнийский университет Press. С. 19–30. ISBN 9780520294745.
  16. ^ Марвик, Бен; Боеттигер, Карл; Маллен, Линкольн (29 сентября 2017 г.). «Упаковка данных аналитической работы воспроизводимо с использованием R (и его друзей)» . Американский статистик . 72 : 80–88. DOI : 10.1080 / 00031305.2017.1375986 . S2CID 125412832 . 
  17. ^ Клюйвер, Томас; Раган-Келли, Бенджамин; Перес, Фернандо; Грейнджер, Брайан; Бюссонье, Матиас; Фредерик, Джонатан; Келли, Кайл; Хэмрик, Джессика; Затирка, Джейсон; Корлей, Сильвен (2016). «Jupyter Notebooks - формат публикации для воспроизводимых вычислительных рабочих процессов» (PDF) . В Loizides, F; Шмидт, Б. (ред.). Позиционирование и власть в академическом издательстве: игроки, агенты и повестки дня . IOS Press. С. 87–90.
  18. ^ Wicherts, JM; Borsboom, D .; Kats, J .; Моленаар, Д. (2006). «Плохая доступность данных психологических исследований для повторного анализа». Американский психолог . 61 (7): 726–728. DOI : 10.1037 / 0003-066X.61.7.726 . PMID 17032082 . 
  19. ^ Vanpaemel, W .; Vermorgen, M .; Deriemaecker, L .; Штормы, Г. (2015). «Хороший ли кризис мы теряем? Доступность данных психологических исследований после бури» . Collabra . 1 (1): 1–5. DOI : 10.1525 / collabra.13 .
  20. ^ Wicherts, JM; Баккер, М. (2012). «Опубликуйте (свои данные) или (пусть данные) погибнут! Почему бы не опубликовать и свои данные?». Интеллект . 40 (2): 73–76. DOI : 10.1016 / j.intell.2012.01.004 .
  21. ^ Паскье, Томас; Лау, Мэтью К .; Трисович, Ана; Boose, Emery R .; Кутюрье, Бен; Кросас, Мерсе; Эллисон, Аарон М .; Гибсон, Валери; Джонс, Крис Р .; Зельцер, Марго (5 сентября 2017 г.). «Если бы эти данные могли говорить» . Научные данные . 4 : 170114. Bibcode : 2017NatSD ... 470114P . DOI : 10.1038 / sdata.2017.114 . PMC 5584398 . PMID 28872630 .  
  22. ↑ McCullough, Брюс (март 2009 г.). "Экономические журналы открытого доступа и рынок воспроизводимых экономических исследований". Экономический анализ и политика . 39 (1): 117–126. DOI : 10.1016 / S0313-5926 (09) 50047-1 .
  23. ^ Vlaeminck, Свен; Подкраяц, Феликс (10.12.2017). «Журналы по экономическим наукам: платят слово воспроизводимым исследованиям?» . ИАССИСТ ежеквартально . 41 (1-4): 16. DOI : 10,29173 / iq6 . ЛВП : 11108/359 .
  24. ^ Харрис, Дженин К .; Джонсон, Кимберли Дж .; Карозерс, Бобби Дж .; Расчески, Тодд Б.; Люк, Дуглас А .; Ван, Сяоянь (2018). «Использование воспроизводимых исследовательских практик в общественном здравоохранении: обзор аналитиков общественного здравоохранения» . PLOS ONE . 13 (9): e0202447. Bibcode : 2018PLoSO..1302447H . DOI : 10.1371 / journal.pone.0202447 . ISSN 1932-6203 . OCLC 7891624396 . PMC 6135378 . PMID 30208041 .    
  25. ^ "Research Waste / Конференция EQUATOR | Research Waste" . researchwaste.net . Архивировано из оригинального 29 октября 2016 года.
  26. ^ Prinz, F .; Schlange, T .; Асадулла, К. (2011). «Хотите верьте, хотите нет: насколько мы можем полагаться на опубликованные данные о потенциальных мишенях для лекарств?» . Обзоры природы Открытие лекарств . 10 (9): 712. DOI : 10.1038 / nrd3439-с1 . PMID 21892149 . 
  27. ^ Тан, SY; Фурубаяши, Дж. (2014). «Хидейо Ногучи (1876-1928): выдающийся бактериолог» . Сингапурский медицинский журнал . 55 (10): 550–551. DOI : 10.11622 / smedj.2014140 . ISSN 0037-5675 . PMC 4293967 . PMID 25631898 .   
  28. ↑ Браун, Малкольм (3 мая 1989 г.). "Физики опровергают заявление о новом виде термоядерного синтеза" . Нью-Йорк Таймс . Дата обращения 3 февраля 2017 .
  29. ↑ Cheney, Margaret (1999), Tesla, Master of Lightning , Нью-Йорк: Barnes & Noble Books, ISBN 0-7607-1005-8 , стр 107 .; «Не в силах справиться со своим финансовым бременем, он был вынужден закрыть лабораторию в 1905 году». 
  30. ↑ Dominus, Susan (18 октября 2017 г.). «Когда за Эми Кадди пришла революция» . Журнал New York Times .
  • Тернер, Уильям (1903), История философии , Ginn and Company, Бостон, Массачусетс, Etext . См. Особенно: «Аристотель» .
  • Определение , по Международным союзом теоретической и прикладной химии

Дальнейшее чтение [ править ]

  • Тиммер, Джон (октябрь 2006 г.). «Ученые по науке: воспроизводимость» . Ars Technica .
  • Сэй, Тина Хесман (январь 2015 г.). «Является ли повторение научного исследования лучшим способом найти истину? Во время попыток повторения слишком много исследований не проходят проверку» . Новости науки . «Наука не сломлена безвозвратно, - утверждает [эпидемиолог Джон Иоаннидис]. Она просто нуждается в некоторых улучшениях». Несмотря на то, что я опубликовал статьи с довольно депрессивными названиями, я на самом деле оптимист », - говорит Иоаннидис. «Я не нахожу никаких других инвестиций в общество лучше, чем наука» ».

Внешние ссылки [ править ]

  • Воспроизводимые бумаги с артефактами
  • Рекомендации по оценке и выражению неопределенности результатов измерений NIST
  • Определение воспроизводимости в Золотой книге ИЮПАК
  • ReproducibleResearch.net
  • cTuning.org - воспроизводимые исследования и эксперименты в области компьютерной инженерии
  • Руководство по продвижению прозрачности и открытости (TOP)
  • Центр открытой науки TOP Рекомендации