Метанаука (также известная как метаисследование ) - это использование научной методологии для изучения самой науки . Metascience стремится повысить качество научных исследований при одновременном сокращении отходов. Он также известен как « исследование исследований » и « наука о науке », поскольку использует методы исследования для изучения того, как проводятся исследования и где можно внести улучшения. Метанаука занимается всеми областями исследований и описывается как «взгляд на науку с высоты птичьего полета». [1] По словам Джона Иоаннидиса , «наука - это лучшее, что случилось с людьми ... но мы можем делать это лучше».[2]
В 1966 году в одном из первых метаисследований были рассмотрены статистические методы 295 статей, опубликованных в десяти известных медицинских журналах. Было обнаружено, что «почти 73% прочитанных отчетов ... выводы были сделаны, когда обоснование этих выводов было недействительным». Мета-исследования в последующие десятилетия выявили множество методологических недостатков, неэффективности и плохой практики в исследованиях во многих научных областях. Многие научные исследования не могли быть воспроизведены , особенно в медицине и мягких науках . Термин « кризис репликации » был придуман в начале 2010-х годов как часть растущего осознания проблемы. [3]
Были приняты меры для решения проблем, выявленных метанаукой. Эти меры включают предварительную регистрацию научных исследований и клинических испытаний, а также создание таких организаций, как CONSORT и EQUATOR Network, которые издают руководящие принципы по методологии и отчетности. Продолжаются усилия по сокращению неправомерного использования статистики , устранению порочных стимулов со стороны академических кругов, совершенствованию процесса экспертной оценки , борьбе с предвзятостью в научной литературе и повышению общего качества и эффективности научного процесса.
История
В 1966 году в одном из первых метаисследований были рассмотрены статистические методы 295 статей, опубликованных в десяти известных медицинских журналах. Было обнаружено, что «почти 73% прочитанных отчетов ... выводы были сделаны, когда обоснование этих выводов было недействительным». [5] В 2005 году Джон Иоаннидис опубликовал статью « Почему большинство опубликованных результатов исследований ложны », в которой утверждалось, что большинство статей в области медицины приводят к ошибочным выводам. [4] Статья стала самой загружаемой в Публичной научной библиотеке [6] [7] и считается основополагающей в области метанауки. [8] В связанном исследовании с Джереми Ховиком и Деспиной Колеци Иоаннидис показал, что лишь небольшая часть медицинских вмешательств подтверждается «высококачественными» доказательствами в соответствии с подходом «Оценка, разработка и оценка степеней рекомендаций» (GRADE) . [9] Более поздние мета-исследования выявили широко распространенные трудности с воспроизведением результатов во многих областях науки, включая психологию и медицину . Эта проблема получила название « кризис репликации ». Метанаука выросла как реакция на кризис репликации и озабоченность по поводу расточительства в исследованиях. [10]
Многие известные издатели заинтересованы в метаисследованиях и повышении качества своих публикаций. Ведущие журналы, такие как Science , The Lancet и Nature , постоянно освещают метаисследования и проблемы с воспроизводимостью. [11] В 2012 году PLOS ONE запустила Инициативу воспроизводимости. В 2015 году Biomed Central представила контрольный список минимальных стандартов отчетности для четырех заголовков.
Первой международной конференцией в широкой области метаисследований была конференция Research Waste / EQUATOR, проведенная в Эдинбурге в 2015 году; Первой международной конференцией по экспертной оценке был Конгресс по экспертной оценке, проведенный в 1989 году. [12] В 2016 году была запущена конференция « Целостность исследований и экспертная оценка» . Вступительная редакционная статья журнала призвала к «исследованию, которое расширит наше понимание и предложит возможные решения проблем, связанных с рецензированием, составлением отчетов об исследованиях, а также этикой исследований и публикаций». [13]
Области метаисследований
Метанауку можно разделить на пять основных областей интересов: методы, отчетность, воспроизводимость, оценка и стимулы. Они соответствуют, соответственно, тому, как проводить, общаться, проверять, оценивать и вознаграждать исследования. [14]
Методы
Метанаука стремится выявить неэффективные методы исследований, в том числе предвзятость в исследованиях, плохой дизайн исследований, злоупотребление статистикой , и найти методы для уменьшения этих практик. [14] Мета-исследования выявили многочисленные предубеждения в научной литературе. [15] Особо следует отметить широко распространенное неправильное использование p-значений и злоупотребление статистической значимостью . [16]
Составление отчетов
Мета-исследования выявили неэффективные методы отчетности, объяснения, распространения и популяризации исследований, особенно в области социальных наук и наук о здоровье. Плохая отчетность затрудняет точную интерпретацию результатов научных исследований, тиражирование исследований и выявление предубеждений и конфликтов интересов у авторов. Решения включают внедрение стандартов отчетности и большую прозрачность научных исследований (включая более строгие требования к раскрытию информации о конфликтах интересов). Предпринята попытка стандартизировать представление данных и методологию путем создания руководящих принципов такими агентствами, составляющими отчетность, как CONSORT и более крупная сеть EQUATOR . [14]
Воспроизводимость
Кризис репликации - это продолжающийся методологический кризис, при котором было обнаружено, что многие научные исследования трудно или невозможно воспроизвести . [17] [18] В то время как кризис уходит своими корнями в метаисследования середины и конца 1900-х годов, фраза «кризис репликации» не использовалась до начала 2010-х годов [3] как часть растущего осознания проблемы проблема. [14] Кризис репликации особенно влияет на психологию (особенно социальную психологию ) и медицину . [19] [20] Репликация - важная часть научного процесса, и широко распространенные неудачи репликации ставят под сомнение надежность затронутых полей. [21]
Более того, тиражирование исследования (или невозможность тиражирования) считается менее влиятельным, чем оригинальное исследование, и с меньшей вероятностью будет опубликовано во многих областях. Это мешает сообщать об исследованиях и даже пытаться их воспроизвести. [22] [23]
Оценка
Metascience стремится создать научную основу для экспертной оценки. Мета-исследование оценивает системы рецензирования, включая рецензирование до публикации, рецензирование после публикации и открытое рецензирование . Он также стремится разработать лучшие критерии финансирования исследований. [14]
Поощрения
Метанаука стремится продвигать более качественные исследования с помощью более совершенных систем стимулирования. Это включает изучение точности, эффективности, затрат и преимуществ различных подходов к ранжированию и оценке исследований и тех, кто их выполняет. [14] Критики утверждают, что извращенные стимулы создали в академических кругах среду « опубликовай или исчезни», которая способствует производству мусорной науки , низкокачественных исследований и ложных срабатываний . [24] [25] По словам Брайана Носека , «проблема, с которой мы сталкиваемся, заключается в том, что система стимулирования почти полностью ориентирована на публикацию результатов исследований, а не на их правильность». [26] Сторонники реформы стремятся структурировать систему стимулов для достижения более качественных результатов. [27]
Реформы
Мета-исследования по выявлению недостатков в научной практике вдохновили на реформы в науке. Эти реформы направлены на решение и устранение проблем в научной практике, которые приводят к некачественным или неэффективным исследованиям.
Предварительная регистрация
Практика регистрации научного исследования до его проведения называется предварительной регистрацией . Он возник как средство преодоления кризиса репликации . Предварительная регистрация требует подачи зарегистрированного отчета, который затем принимается к публикации или отклоняется журналом на основании теоретического обоснования, экспериментального плана и предлагаемого статистического анализа. Предварительная регистрация исследований служит для предотвращения предвзятости публикации , уменьшения углубления данных и повышения воспроизводимости. [28] [29]
Стандарты отчетности
Исследования, демонстрирующие низкую согласованность и качество отчетности, продемонстрировали потребность в стандартах и руководящих принципах отчетности в науке, что привело к появлению организаций, разрабатывающих такие стандарты, таких как CONSORT (Consolidated Standards of Reporting Trials) и EQUATOR Network .
ЭКВАТОР ( E nhancing в ква Лити и T ransparency O ф здоровья R сследования) [30] Сеть является международной инициативой , направленной на содействие прозрачной и точной отчетности исследований в области здравоохранения исследований с целью повышения ценности и надежности медицинской исследовательской литературы. [31] Сеть EQUATOR была создана с целью повышения осведомленности о важности качественной отчетности об исследованиях, оказания помощи в разработке, распространении и реализации руководящих принципов отчетности для различных типов дизайнов исследований, мониторинга состояния качества отчетности по исследованиям. исследования в медицинской литературе и проведение исследований, касающихся вопросов, влияющих на качество отчетности об исследованиях в области здравоохранения. [32] Сеть действует как «зонтичная» организация, объединяющая разработчиков руководств по составлению отчетов, редакторов медицинских журналов и рецензентов, органы, финансирующие исследования, и другие ключевые заинтересованные стороны, которые имеют общий интерес в улучшении качества исследовательских публикаций и самих исследований.
Приложения
Медицина
Клинические исследования в медицине часто бывают низкого качества, и многие исследования невозможно воспроизвести. [33] [34] По оценкам, 85% финансирования исследований тратится впустую. [35] Кроме того, наличие систематической ошибки влияет на качество исследования. [36] фармацевтическая промышленность оказывает существенное влияние на разработку и выполнение медицинских исследований. Конфликты интересов распространены среди авторов медицинской литературы [37] и среди редакторов медицинских журналов. Хотя почти все медицинские журналы требуют, чтобы их авторы раскрывали информацию о конфликте интересов, редакторы не обязаны этого делать. [38] Финансовые конфликты интересов были связаны с более высокими показателями положительных результатов исследований. В исследованиях антидепрессантов спонсорство фармацевтических препаратов является лучшим предиктором результатов исследования. [39]
Ослепление - еще одно направление метаисследований, поскольку ошибка, вызванная плохим ослеплением, является источником экспериментальной ошибки . В медицинской литературе мало информации о слепоте, и широко распространенное неправильное понимание предмета привело к плохой реализации ослепления в клинических испытаниях . [40] Кроме того, неэффективность ослепления редко измеряется или сообщается. [41] Исследования, показывающие, что в испытаниях антидепрессантов неэффективность «ослепления », привели некоторых ученых к выводу, что антидепрессанты не лучше плацебо . [42] [43] В свете мета-исследований, показывающих неэффективность ослепления, стандарты CONSORT рекомендуют, чтобы все клинические испытания оценивали и сообщали о качестве ослепления. [44]
Исследования показали, что систематические обзоры существующих научных данных неоптимально используются при планировании нового исследования или обобщении результатов. [45] Кумулятивный метаанализ исследований, оценивающих эффективность медицинских вмешательств, показал, что многих клинических испытаний можно было бы избежать, если бы до проведения нового исследования был проведен систематический обзор существующих доказательств. [46] [47] [48] Например, Lau et al. [46] проанализировали 33 клинических испытания (с участием 36974 пациентов) по оценке эффективности внутривенной стрептокиназы при остром инфаркте миокарда . Их совокупный метаанализ показал, что 25 из 33 испытаний можно было бы избежать, если бы систематический обзор проводился до проведения нового испытания. Другими словами, в рандомизации 34542 пациентов не было необходимости. Одно исследование [49] проанализировало 1523 клинических испытания, включенных в 227 метаанализов, и пришло к выводу, что было процитировано «менее четверти соответствующих предыдущих исследований». Они также подтвердили ранее сделанные выводы о том, что в большинстве отчетов о клинических испытаниях нет систематического обзора для обоснования исследования или обобщения результатов. [49]
Доказано, что многие методы лечения, используемые в современной медицине, неэффективны или даже вредны. Исследование, проведенное Джоном Иоаннидисом в 2007 году, показало, что медицинскому сообществу потребовалось в среднем десять лет, чтобы перестать ссылаться на популярные практики после того, как их эффективность была однозначно опровергнута. [50] [51]
Психология
Метанаука выявила значительные проблемы в психологических исследованиях. Поле страдает от высокой систематической ошибки, низкой воспроизводимости и широко распространенного неправильного использования статистических данных . [52] [53] [54] Кризис репликации влияет на психологию сильнее, чем на любую другую область; Две трети получивших широкую огласку результатов невозможно воспроизвести. [55] Мета-исследования показывают, что 80-95% психологических исследований подтверждают их первоначальные гипотезы, что явно подразумевает наличие предвзятости публикации . [56]
Кризис репликации привел к возобновлению усилий по повторной проверке важных результатов. [57] [58] В ответ на опасения по поводу предвзятости публикаций и р- хакинга более 140 психологических журналов приняли независимое рецензирование результатов , в котором исследования предварительно регистрируются и публикуются без учета их результатов. [59] Анализ этих реформ показал, что 61 процент слепых исследований дает нулевые результаты по сравнению с 5-20 процентами в более ранних исследованиях. Этот анализ показывает, что независимая рецензия существенно снижает предвзятость публикации. [56]
Психологи обычно путают статистическую значимость с практической важностью, с энтузиазмом сообщая о большой уверенности в неважных фактах. [60] Некоторые психологи отреагировали с повышенным использованием размера эффекта статистики, а не полагаться только на р значений . [ необходима цитата ]
Физика
Ричард Фейнман отметил, что оценки физических констант были ближе к опубликованным значениям, чем можно было ожидать случайно. Считалось, что это результат предвзятости подтверждения : результаты, согласующиеся с существующей литературой, с большей вероятностью поверили и, следовательно, были опубликованы. Физики теперь применяют ослепление, чтобы предотвратить подобную предвзятость. [61]
Связанные поля
Журналистика
Журналистика, также известная как публикационная наука, представляет собой научное исследование всех аспектов академического издательского процесса. [62] [63] Эта область направлена на повышение качества научных исследований путем внедрения научно-обоснованных практик в академические публикации. [64] Термин «journalology» был придуман Стивеном Замка , бывший редактор главный из в BMJ . Первый Конгресс экспертных оценок , состоявшийся в 1989 году в Чикаго , штат Иллинойс , считается поворотным моментом в становлении журналистики как отдельной области. [64] Журналистика сыграла важную роль в продвижении предварительной регистрации исследований в науке, особенно в клинических исследованиях . В настоящее время ожидается регистрация клинических испытаний в большинстве стран. [64]
Наукометрия
Наукометрия занимается измерением библиографических данных в научных публикациях. Основные исследовательские проблемы включают измерение влияния исследовательских работ и академических журналов, понимание научных цитат и использование таких измерений в контексте политики и управления. [65]
Научная наука о данных
Научная наука о данных - это использование науки о данных для анализа исследовательских работ. Он включает в себя как качественные, так и количественные методы. Исследования в области науки о данных включают обнаружение мошенничества [66] и анализ сети цитирования . [67]
Смотрите также
- Эпистемология
- Доказательная практика
- Доказательная медицина
- Доказательная политика
- Требуются дальнейшие исследования
- HARKing
- Список исследовательских центров метанауки
- Логология (наука)
- Метатеория
- Открытая наука
- Философия науки
- Наука о научной политике
- Социология научного знания
- Самостоятельное выделение средств
Рекомендации
- ^ Иоаннидис, Джон PA; Фанелли, Даниэле; Данн, Дебби Дрейк; Гудман, Стивен Н. (02.10.2015). «Мета-исследование: оценка и совершенствование методов и практики исследований» . PLOS Биология . 13 (10): –1002264. DOI : 10.1371 / journal.pbio.1002264 . ISSN 1545-7885 . PMC 4592065 . PMID 26431313 .
- ^ Бах, автор Бекки (8 декабря 2015 г.). «О связи науки и неопределенности: подкаст с Джоном Иоаннидисом» . Объем . Проверено 20 мая 2019 .
- ^ а б Пашлер, Гарольд; Вагенмакерс, Эрик Ян (2012). «Введение редакторами в специальный раздел о воспроизводимости в психологической науке: кризис уверенности?». Перспективы психологической науки . 7 (6): 528–530. DOI : 10.1177 / 1745691612465253 . PMID 26168108 . S2CID 26361121 .
- ^ а б Иоаннидис, JP (август 2005 г.). «Почему большинство опубликованных результатов исследований ложны» . PLOS Medicine . 2 (8): e124. DOI : 10.1371 / journal.pmed.0020124 . PMC 1182327 . PMID 16060722 .
- ^ Шор, Стэнли (1966). «Статистическая оценка рукописей медицинских журналов». JAMA: Журнал Американской медицинской ассоциации . 195 (13): 1123–8. DOI : 10.1001 / jama.1966.03100130097026 . ISSN 0098-7484 . PMID 5952081 .
- ^ «Цитируемые исследователи» . Проверено 17 сентября 2015 года .
- ^ Медицина - Стэнфордский исследовательский центр профилактики. Джон П.А. Иоаннидис
- ^ Роберт Ли Хотц (14 сентября 2007 г.). «Кажется, что большинство научных исследований запятнано небрежным анализом» . Wall Street Journal . Доу Джонс и компания . Проверено 5 декабря 2016 .
- ^ Ховик Дж, Koletsi D, Пандис N, Флеминг ПС, Loef М, Walach Н, Шмидт S, Ioannidis JA. Качество доказательств для медицинских вмешательств не улучшается и не ухудшается: метаэпидемиологическое исследование Кокрановских обзоров. Журнал клинической эпидемиологии 2020; 126: 154-159 [1]
- ^ «Исследования исследователей» . Генетика природы . 46 (5): 417. 2014. DOI : 10.1038 / ng.2972 . ISSN 1061-4036 . PMID 24769715 .
- ^ Enserink, Мартин (2018). «Исследования по исследованиям». Наука . 361 (6408): 1178–1179. Bibcode : 2018Sci ... 361.1178E . DOI : 10.1126 / science.361.6408.1178 . ISSN 0036-8075 . PMID 30237336 .
- ^ Ренни, Драммонд (1990). «Редакционная рецензия в биомедицинских публикациях». ДЖАМА . 263 (10): 1317–1441. DOI : 10,1001 / jama.1990.03440100011001 . ISSN 0098-7484 . PMID 2304208 .
- ^ Гарриман, Стефани Л .; Ковальчук, Мария К .; Симера, Ивета; Вейджер, Элизабет (2016). «Новый форум для исследования целостности исследований и экспертной оценки» . Целостность исследования и экспертная оценка . 1 (1): 5. doi : 10.1186 / s41073-016-0010-y . ISSN 2058-8615 . PMC 5794038 . PMID 29451544 .
- ^ а б в г д е Иоаннидис, Джон PA; Фанелли, Даниэле; Данн, Дебби Дрейк; Гудман, Стивен Н. (2 октября 2015 г.). «Мета-исследование: оценка и совершенствование методов и практики исследований» . PLOS Биология . 13 (10): e1002264. DOI : 10.1371 / journal.pbio.1002264 . ISSN 1544-9173 . PMC 4592065 . PMID 26431313 .
- ^ Фанелли, Даниэле; Костас, Родриго; Иоаннидис, Джон PA (2017). «Мета-оценка систематической ошибки в науке» . Труды Национальной академии наук Соединенных Штатов Америки . 114 (14): 3714–3719. DOI : 10.1073 / pnas.1618569114 . ISSN 1091-6490 . PMC 5389310 . PMID 28320937 . Проверено 11 июня 2019 .
- ^ Отметьте Хайден, Эрика (2013). «Слабые статистические стандарты, ведущие к научной невоспроизводимости» . Природа . DOI : 10.1038 / nature.2013.14131 . Дата обращения 9 мая 2019 .
- ^ Школьник, JW (2014). «Метанаука может спасти« кризис репликации » » . Природа . 515 (7525): 9. Bibcode : 2014Natur.515 .... 9S . DOI : 10.1038 / 515009a . PMID 25373639 .
- ^ Смит, Ной. «Почему« статистическая значимость »часто не имеет значения» . Блумберг . Проверено 7 ноября 2017 года .
- ^ Гэри Маркус (1 мая 2013 г.). «Кризис в социальной психологии, которой нет» . Житель Нью-Йорка .
- ^ Иона Лерер (13 декабря 2010 г.). «Истина стирается» . Житель Нью-Йорка .
- ^ Стаддон, Джон (2017) Научный метод: как работает наука, не работает или делает вид, что работает. Тейлор и Фрэнсис.
- ^ Йунг, Энди В.К. (2017). «Принимают ли журналы по неврологии репликации? Обзор литературы» . Границы нейробиологии человека . 11 : 468. DOI : 10,3389 / fnhum.2017.00468 . ISSN 1662-5161 . PMC 5611708 . PMID 28979201 .
- ^ Мартин, GN; Кларк, Ричард М. (2017). «Являются ли журналы психологии анти-репликацией? Обзор редакционной практики» . Границы в психологии . 8 : 523. DOI : 10.3389 / fpsyg.2017.00523 . ISSN 1664-1078 . PMC 5387793 . PMID 28443044 .
- ^ Бинсвангер, Матиас (2015). «Как глупость превратилась в совершенство: принуждение профессоров к публикации». In Welpe, Isabell M .; Воллерсхайм, Ютта; Рингелхан, Стефани; Остерло, Маргит (ред.). Стимулы и производительность . Стимулы и эффективность: управление исследовательскими организациями . Издательство Springer International. С. 19–32. DOI : 10.1007 / 978-3-319-09785-5_2 . ISBN 9783319097855.
- ^ Эдвардс, Марк А .; Рой, Сиддхартха (22 сентября 2016 г.). «Академические исследования в 21 веке: поддержание научной честности в условиях извращенных стимулов и гиперконкуренции» . Инженерная экология . 34 (1): 51–61. DOI : 10,1089 / ees.2016.0223 . PMC 5206685 . PMID 28115824 .
- ^ Брукшир, Бетани (21 октября 2016 г.). «Винить плохие стимулы в плохой науке» . Новости науки . Проверено 11 июля 2019 .
- ^ Smaldino, Paul E .; Макэлрит, Ричард (2016). «Естественный отбор плохой науки» . Королевское общество «Открытая наука» . 3 (9): 160384. arXiv : 1605.09511 . Bibcode : 2016RSOS .... 360384S . DOI : 10,1098 / rsos.160384 . PMC 5043322 . PMID 27703703 .
- ^ «Зарегистрированные отчеты о репликации» . Ассоциация психологической науки . Проверено 13 ноября 2015 .
- ^ Чемберс, Крис (2014-05-20). «Психология„регистрация революция “ » . Хранитель . Проверено 13 ноября 2015 .
- ^ Симера, я; Moher, D; Херст, А; Хои, Дж; Schulz, KF; Альтман, Д.Г. (2010). «Прозрачная и точная отчетность повышает надежность, полезность и влияние вашего исследования: принципы отчетности и сеть EQUATOR» . BMC Medicine . 8 : 24. DOI : 10,1186 / 1741-7015-8-24 . PMC 2874506 . PMID 20420659 .
- ^ Simera, I .; Moher, D .; Hoey, J .; Schulz, KF; Альтман, Д.Г. (2010). «Каталог руководящих принципов отчетности для медицинских исследований» . Европейский журнал клинических исследований . 40 (1): 35–53. DOI : 10.1111 / j.1365-2362.2009.02234.x . PMID 20055895 .
- ^ Симера, я; Альтман, Д.Г. (октябрь 2009 г.). «Написание исследовательской статьи, которая« соответствует цели »: сеть EQUATOR и руководство по отчетности». Доказательная медицина . 14 (5): 132–4. DOI : 10.1136 / ebm.14.5.132 . PMID 19794009 . S2CID 36739841 .
- ^ Иоаннидис, JPA (2016). «Почему большинство клинических исследований бесполезны» . PLOS Med . 13 (6): e1002049. DOI : 10.1371 / journal.pmed.1002049 . PMC 4915619 . PMID 27328301 .
- ^ Иоаннидис Я.А. (13 июля 2005 г.). «Противоречивые и изначально более сильные эффекты в высоко цитируемых клинических исследованиях» . ДЖАМА . 294 (2): 218–228. DOI : 10,1001 / jama.294.2.218 . PMID 16014596 .
- ^ Чалмерс, Иэн; Гласзиу, Пол (2009). «Избегайте потерь при производстве и представлении данных исследований». Ланцет . 374 (9683): 86–89. DOI : 10.1016 / S0140-6736 (09) 60329-9 . ISSN 0140-6736 . PMID 19525005 . S2CID 11797088 .
- ^ 24 июня, Джереми Сюй; ET, Джереми Сюй. «Темная сторона медицинских исследований: широко распространенные предубеждения и упущения» . Живая наука . Проверено 24 мая 2019 .
- ^ «Противодействие конфликту интересов» . Природная медицина . 24 (11): 1629. Ноябрь 2018 г. doi : 10.1038 / s41591-018-0256-7 . ISSN 1546-170X . PMID 30401866 .
- ^ Хак, Вакас; Минхаджуддин, Абу; Гупта, Арджун; Агравал, Дипак (2018). «Конфликт интересов редакторов медицинских журналов» . PLOS ONE . 13 (5): e0197141. Bibcode : 2018PLoSO..1397141H . DOI : 10.1371 / journal.pone.0197141 . ISSN 1932-6203 . PMC 5959187 . PMID 29775468 .
- ^ Монкрифф, Дж (март 2002 г.). «Антидепрессивная дискуссия» . Британский журнал психиатрии . 180 (3): 193–4. DOI : 10.1192 / bjp.180.3.193 . ISSN 0007-1250 . PMID 11872507 . Проверено 22 мая 2019 .
- ^ Белло, S; Moustgaard, H; Hróbjartsson, A (октябрь 2014 г.). «Риск раскрытия слепоты нечасто и неполно описывался в 300 публикациях рандомизированных клинических испытаний». Журнал клинической эпидемиологии . 67 (10): 1059–69. DOI : 10.1016 / j.jclinepi.2014.05.007 . ISSN 1878-5921 . PMID 24973822 .
- ^ Тулеу, Екатерина; Легай, Элен; Орлу-Гуль, шахта; Ван, Мэнди (1 сентября 2013 г.). «Ослепление в фармакологических испытаниях: дьявол кроется в деталях» . Архив болезней детства . 98 (9): 656–659. DOI : 10.1136 / archdischild-2013-304037 . ISSN 0003-9888 . PMC 3833301 . PMID 23898156 .
- ^ Кирш, I (2014). «Антидепрессанты и эффект плацебо» . Zeitschrift für Psychologie . 222 (3): 128–134. DOI : 10.1027 / 2151-2604 / a000176 . ISSN 2190-8370 . PMC 4172306 . PMID 25279271 .
- ^ Иоаннидис, Джон PA (27 мая 2008 г.). «Эффективность антидепрессантов: миф о доказательствах, созданный на основе тысячи рандомизированных исследований?» . Философия, этика и гуманитарные науки в медицине . 3 : 14. DOI : 10,1186 / 1747-5341-3-14 . ISSN 1747-5341 . PMC 2412901 . PMID 18505564 .
- ^ Мохер, Дэвид; Альтман, Дуглас Дж .; Шульц, Кеннет Ф. (24 марта 2010 г.). «Заявление CONSORT 2010: обновленное руководство по составлению отчетов о рандомизированных исследованиях в параллельных группах» . BMJ . 340 : c332. DOI : 10.1136 / bmj.c332 . ISSN 0959-8138 . PMC 2844940 . PMID 20332509 .
- ^ Кларк, Майкл; Чалмерс, Иэн (1998). «Разделы для обсуждения в отчетах о контролируемых исследованиях, опубликованных в общих медицинских журналах» . ДЖАМА . 280 (3): 280–2. DOI : 10,1001 / jama.280.3.280 . PMID 9676682 .
- ^ а б Лау, Джозеф; Antman, Elliott M; Хименес-Сильва, Жанетт; Купельник, Брюс; Мостеллер, Фредерик; Чалмерс, Томас С (1992). «Кумулятивный метаанализ терапевтических исследований инфаркта миокарда». Медицинский журнал Новой Англии . 327 (4): 248–54. DOI : 10.1056 / NEJM199207233270406 . PMID 1614465 .
- ^ Фергюссон, декан; Гласс, Кэтлин Крэнли; Хаттон, Брайан; Шапиро, Стэн (2016). «Рандомизированные контролируемые испытания апротинина в кардиохирургии: могло ли клиническое равновесие остановить кровотечение?». Клинические испытания: журнал Общества клинических испытаний . 2 (3): 218–29, обсуждение 229–32. DOI : 10.1191 / 1740774505cn085oa . PMID 16279145 . S2CID 31375469 .
- ^ Кларк, Майк; Брайс, Энн; Чалмерс, Иэн (2014). «Накопительное исследование: систематический отчет о том, как совокупный мета-анализ мог бы предоставить знания, улучшить здоровье, снизить вред и сэкономить ресурсы» . PLOS ONE . 9 (7): e102670. Bibcode : 2014PLoSO ... 9j2670C . DOI : 10.1371 / journal.pone.0102670 . PMC 4113310 . PMID 25068257 .
- ^ а б Робинсон, Карен А; Гудман, Стивен Н. (2011). «Систематическая проверка цитирования предыдущих исследований в отчетах о рандомизированных контролируемых испытаниях». Анналы внутренней медицины . 154 (1): 50–5. DOI : 10.7326 / 0003-4819-154-1-201101040-00007 . PMID 21200038 . S2CID 207536137 .
- ^ Эпштейн, Дэвид. «Когда доказательства говорят« нет », а врачи говорят« да »- Атлантика» . Карманный . Проверено 10 апреля 2020 .
- ^ Тациони, А; Бонитсис, Н.Г .; Иоаннидис, JP (5 декабря 2007 г.). «Постоянство в литературе противоречивых утверждений» . ДЖАМА . 298 (21): 2517–26. DOI : 10,1001 / jama.298.21.2517 . ISSN 1538-3598 . PMID 18056905 .
- ^ Франко, Энни; Малхотра, Нил ; Симоновиц, Габор (1 января 2016 г.). «Занижение сведений в психологических экспериментах: данные из реестра исследований». Социально-психологическая наука и наука о личности . 7 (1): 8–12. DOI : 10.1177 / 1948550615598377 . ISSN 1948-5506 . S2CID 143182733 .
- ^ Мунафо, Маркус (29 марта 2017 г.). «Метанаука: блюз воспроизводимости» . Природа . 543 (7647): 619–620. Bibcode : 2017Natur.543..619M . DOI : 10.1038 / 543619a . ISSN 1476-4687 .
- ^ Стокстад, Эрик (20 сентября 2018 г.). «Эта исследовательская группа стремится выявить слабые места в науке - и они наступят на некоторые пальцы, если они будут вынуждены». Наука . DOI : 10.1126 / science.aav4784 .
- ^ Открытое научное сотрудничество (2015). «Оценка воспроизводимости психологической науки» (PDF) . Наука . 349 (6251): aac4716. DOI : 10.1126 / science.aac4716 . ЛВП : 10722/230596 . PMID 26315443 . S2CID 218065162 .
- ^ а б Аллен, Кристофер П. Дж .; Мелер, Дэвид Марк Антон. «Проблемы открытой науки, преимущества и советы в начале карьеры и за ее пределами» . DOI : 10.31234 / osf.io / 3czyt . Цитировать журнал требует
|journal=
( помощь ) - ^ Симмонс, Джозеф П .; Нельсон, Лейф Д .; Симонсон, Ури (2011). «Ложноположительная психология» . Психологическая наука . 22 (11): 1359–1366. DOI : 10.1177 / 0956797611417632 . PMID 22006061 .
- ^ Штробе, Вольфганг; Страк, Фриц (2014). «Предполагаемый кризис и иллюзия точного воспроизведения» (PDF) . Перспективы психологической науки . 9 (1): 59–71. DOI : 10.1177 / 1745691613514450 . PMID 26173241 . S2CID 31938129 .
- ^ Ашванден, Кристи (6 декабря 2018 г.). «Психологический кризис репликации сделал поле лучше» . FiveThirtyEight . Проверено 19 декабря 2018 .
- ^ Коэн, Джейкоб (1994). «Земля круглая (p <0,05)». Американский психолог . 49 (12): 997–1003. DOI : 10.1037 / 0003-066X.49.12.997 . S2CID 380942 .
- ^ МакКун, Роберт; Перлмуттер, Сол (8 октября 2015 г.). «Слепой анализ: скрыть результаты, чтобы найти истину» . Природа . 526 (7572): 187–189. Bibcode : 2015Natur.526..187M . DOI : 10.1038 / 526187a . PMID 26450040 .
- ^ Галипо, Джеймс; Мохер, Дэвид; Кэмпбелл, Крейг; Хендри, Пол; Кэмерон, Д. Уильям; Палепу, Анита; Эбер, Поль К. (март 2015 г.). «Систематический обзор выявляет пробелы в знаниях относительно эффективности программ подготовки журналистов, связанных со здоровьем» . Журнал клинической эпидемиологии . 68 (3): 257–265. DOI : 10.1016 / j.jclinepi.2014.09.024 . PMID 25510373 .
- ^ Уилсон, Митч; Мохер, Дэвид (март 2019 г.). «Меняющийся ландшафт журналистики в медицине». Семинары по ядерной медицине . 49 (2): 105–114. DOI : 10,1053 / j.semnuclmed.2018.11.009 . hdl : 10393/38493 . PMID 30819390 .
- ^ а б в Кузен-Франкель, Дженнифер (18 сентября 2018 г.). « „ Использование Journalologists“научные методы для изучения академической публикации. Является ли их работа улучшается наукой?». Наука . DOI : 10.1126 / science.aav4758 .
- ^ Leydesdorff, Л. и Милоевич, S., "наукометрия" Arxiv: 1208.4566 (2013), предстоящая в: Lynch, М. (редактор), Международная энциклопедия социальных и поведенческих наук п 85030. (2015)
- ^ Марковиц, Дэвид М .; Хэнкок, Джеффри Т. (2016). «Лингвистическая обфускация в мошеннической науке». Журнал языковой и социальной психологии . 35 (4): 435–445. DOI : 10.1177 / 0261927X15614605 . S2CID 146174471 .
- ^ Дин, Ю. (2010). «Применение взвешенного PageRank к авторитетным сетям цитирования». Журнал Американского общества информационных наук и технологий . 62 (2): 236–245. arXiv : 1102,1760 . DOI : 10.1002 / asi.21452 . S2CID 3752804 .
дальнейшее чтение
- Лидия Денворт, «Серьезная проблема: стандартные научные методы подвергаются критике. Изменится ли что-нибудь?», Scientific American , vol. 321, нет. 4 (октябрь 2019 г.), стр. 62–67. «Использование р значений в течение почти столетия [после 1925] для определения статистической значимости из экспериментальных результатов способствовало иллюзии определенности и [к] воспроизводимости кризисам во многих областях науки . Существует растущая решимость реформ статистического анализ ... Некоторые [исследователи] предлагают изменить статистические методы, в то время как другие отказались бы от порогового значения для определения «значимых» результатов ». (стр.63)
- Харрис, Ричард (2017). Rigor Mortis: Как небрежная наука создает бесполезные лекарства, разрушает надежды и тратит впустую миллиарды . Основные книги. ISBN 9780465097913.
Внешние ссылки
Журналы
- Минерва: журнал науки, обучения и политики
- Целостность исследования и экспертная оценка
- Политика исследований
- Наука и государственная политика
Конференции
- Симпозиум Metascience2019 в Стэнфорде