Научная рецензия

Scholarly рецензирование (также известный как судейство ) является процесс подвергания автора научных работ, исследований и идей для контроля других людей , которые являются экспертами в той же области, до документа с описанием этой работы будет опубликован в журнале , конференциях или как книгу. Рецензирование помогает издателю (то есть главному редактору , редакционной коллегии или программному комитету) решить, следует ли принять работу, считать ее приемлемой с исправлениями или отклонить.

Рецензирование требует наличия сообщества экспертов в данной (и часто узко определенной) области, которые обладают квалификацией и могут проводить достаточно беспристрастную рецензию. Беспристрастный анализ, особенно работы в менее узко определенных или междисциплинарных областях, может оказаться трудным для выполнения, а значимость (хорошая или плохая) идеи никогда не будет широко оценена современниками. Рецензирование обычно считается необходимым для академического качества и используется в большинстве крупных научных журналов. Однако рецензирование не предотвращает публикацию недействительных исследований ^[1], и существует мало свидетельств того, что рецензирование улучшает качество публикуемых статей. ^[2]

Есть попытки реформировать процесс рецензирования, в том числе в области метанауки и журналистики . Реформаторы стремятся повысить надежность и эффективность процесса экспертной оценки и предоставить ему научную основу. ^{[3] [4] [5]} Были проверены альтернативы общепринятым методам рецензирования, ^{[6] [7]} в частности, открытое рецензирование , при котором комментарии видны читателям, как правило, с личностями рецензентов. также раскрыты, например, F1000 , eLife , BMJ и BioMed Central .

История [ править ]

Первая запись редакционного рецензирования перед публикацией относится к 1665 году, сделанным Генри Ольденбургом , редактором-основателем Philosophical Transactions of the Royal Society Лондонского королевского общества . ^{[8] [9] [10]}

Первой рецензируемой публикацией, возможно, были « Медицинские эссе и наблюдения», опубликованные Королевским обществом Эдинбурга в 1731 году. Современная система рецензирования возникла на основе этого процесса 18-го века ^{[11], и к ней} начали привлекать внешние рецензенты. середина 19 века, ^[12] и не стала обычным явлением до середины 20 века. ^[13]

Рецензирование стало пробным камнем научного метода , но до конца 19 века часто выполнялось непосредственно главным редактором или редакционным комитетом. ^{[14] [15] [16]} Редакторы научных журналов в то время принимали решения о публикации, не обращаясь за помощью к извне, т. Е. К внешней группе рецензентов, что давало авторитетным авторам свободу в их журналистском усмотрении. Например, четыре революционные статьи Альберта Эйнштейна Annus Mirabilis в выпуске Annalen der Physik за 1905 год были рецензированы главным редактором журнала Максом Планком и его соредактором Вильгельмом Вином., как будущих лауреатов Нобелевской премии, так и вместе экспертов по тематике этих работ. Гораздо позже Эйнштейн резко критиковал процесс внешнего рецензирования, говоря, что он не уполномочил главного редактора показать его рукопись «специалистам до того, как она будет напечатана», и сообщил ему, что он «опубликует статью в другом месте». "- что он и сделал, и, фактически, позже ему пришлось отозвать публикацию. ^[17]

Хотя некоторые медицинские журналы начали систематически назначать внешних рецензентов, эта практика получила широкое распространение только с середины 20-го века, и внешние рецензенты получили некоторую известность в академических журналах, в том числе получили благодарность со стороны авторов и редакторов. ^{[14] [18]} В редакционной статье Nature 2003 года говорилось, что в начале 20-го века «бремя доказательства лежало, как правило, на противниках, а не на сторонниках новых идей». ^[19] Сама природа ввела официальную экспертную оценку только в 1967 году. ^[20] Такие журналы, как Science и American Journal of Medicine.в 1950-х и 1960-х годах все больше полагались на внешних рецензентов, отчасти для того, чтобы снизить нагрузку на редакцию. ^[18] В ХХ веке экспертная оценка также стала обычным явлением при распределении финансирования науки. Этот процесс, по-видимому, развился независимо от редакционного рецензирования. ^{[8] : 221}

Годе ^[21] дает взгляд на историю рецензирования с точки зрения социальных наук, внимательно следя за тем, что исследуется, в данном случае рецензирование, а не только на поверхностные или очевидные общие черты инквизиции, цензуры и рецензирования журналов. Он основан на исторических исследованиях Гулда, ^[22] Бьяджоли, ^[23] Спьера, ^[16] и Рипа. ^[24] Первый Конгресс рецензирования собрался в 1989 году. ^[25] Со временем доля статей, посвященных рецензированию, неуклонно сокращалась, что свидетельствует о том, что как область социологического исследования его заменили более систематические исследования предвзятости и предвзятости. ошибки. ^[2]Параллельно с определениями «общего опыта», основанными на изучении экспертной оценки как «предварительно сконструированного процесса», некоторые социологи рассматривали экспертную оценку, не считая ее заранее сконструированной. Хиршауэр предположил, что рецензирование журналов можно понимать как взаимную подотчетность суждений коллегам. ^[26] Годе предложил, чтобы рецензирование журналов могло быть понято как социальная форма пограничного суждения - определение того, что можно считать научным (или нет) противопоставление всеобъемлющей системе знаний, и следование предшествующим формам инквизиции и цензуры. ^{[21] [ самостоятельно опубликованный источник? ]}

С практической точки зрения, рецензирование относится к работе, проделанной во время просмотра представленных рукописей . Этот процесс побуждает авторов соблюдать принятые стандарты их дисциплины и сокращает распространение нерелевантных выводов, необоснованных утверждений, неприемлемых интерпретаций и личных взглядов. Публикации, не прошедшие рецензирование, могут быть восприняты академическими учеными и профессионалами с подозрением. ^{[ необходима цитата ]} Работа, не прошедшая рецензирование, не способствует или вносит меньший вклад в академический кредит ученого, такой как индекс Хирша , хотя это в значительной степени зависит от области.

Обоснование [ править ]

Авторам и исследователям, индивидуально или в команде, трудно обнаружить каждую ошибку или изъян в сложной работе. Это не обязательно размышление о тех, кого это касается, но потому, что с новым и, возможно, эклектичным предметом, возможность для улучшения может быть более очевидной для кого-то со специальными знаниями или просто взглянув на него свежим взглядом. Таким образом, показ работы другим увеличивает вероятность того, что слабые места будут выявлены и исправлены. Как для грантового финансирования, так и для публикации в научном журнале обычно требуется, чтобы тема была одновременно новой и существенной. ^{[27] [28]}

Решение о публикации научной статьи или о том, что следует изменить перед публикацией, в конечном итоге принимает издатель ( главный редактор или редакционная коллегия ), которому была представлена ​​рукопись. Точно так же решение о том, финансировать ли предложенный проект или нет, остается за должностным лицом финансирующего агентства. Эти люди обычно ссылаются на мнение одного или нескольких рецензентов при принятии решения. Это в первую очередь по трем причинам: ^{[ необходима цитата ]}

• Нагрузка. Небольшая группа редакторов / оценщиков не может уделять достаточно времени каждой из множества статей, представленных во многие журналы.
• Разнообразие идей. Если бы редактор / оценщик самостоятельно оценивал все представленные материалы, утвержденные материалы отражали бы исключительно их мнение.
• Ограниченный опыт. От редактора / оценщика нельзя ожидать, что он будет достаточно экспертом во всех областях, охватываемых одним журналом или финансирующим агентством, чтобы адекватно оценить все представленные материалы.

Рецензенты часто анонимны и независимы . Однако некоторые рецензенты могут отказаться от своей анонимности, а в других ограниченных обстоятельствах, таких как рассмотрение официальной жалобы на судью или постановление суда, личность рецензента может быть раскрыта. Анонимность может быть односторонней или обоюдной (одинарное или двойное слепое рассмотрение). ^{[ необходима цитата ]}

Поскольку рецензенты обычно выбираются из экспертов в областях, обсуждаемых в статье, процесс рецензирования помогает исключить некоторые недействительные или необоснованные утверждения в опубликованных исследованиях и знаниях. Ученые будут читать опубликованные статьи за пределами своей ограниченной области детальной экспертизы, а затем в некоторой степени полагаться на процесс рецензирования, чтобы обеспечить надежные и заслуживающие доверия исследования, на которых они могут основываться для последующих или связанных исследований. Значительный скандал возникает, когда выясняется, что автор фальсифицировал исследование, включенное в статью, поскольку другие ученые и сама область исследования могли полагаться на недействительное исследование. ^{[ необходима цитата ]}

Для университетов США рецензирование книг перед публикацией является обязательным требованием для полноправного членства в Ассоциации прессы американских университетов . ^[29]

Процедура [ править ]

В случае предлагаемых публикаций издатель ( главный редактор или редакционная коллегия , часто с помощью редакторов-корреспондентов или младших редакторов) отправляет предварительные копии авторской работы или идей исследователям или ученым, которые являются экспертами в данной области (известными как «рефери» или «рецензенты»). Связь обычно осуществляется по электронной почте или через веб-систему обработки рукописей, такую ​​как ScholarOne , Scholastica или Open Journal Systems . В зависимости от области исследования и конкретного журнала на каждую статью обычно приходится от одного до трех рецензентов. Например, Springerзаявляет, что на статью приходится два или три рецензента. ^[30]

Процесс рецензирования включает три этапа: ^[31]

Шаг 1. Лабораторная оценка [ править ]

Редактор оценивает рукопись, чтобы решить, будет ли статья передана рецензентам журнала. На этом этапе многие статьи получают «кабинетный отказ», то есть редактор решает не передавать статью. Авторы могут получить или не получить объяснительное письмо.

Отклонение письменных документов должно быть упрощенным процессом, позволяющим редакторам быстро обходить нежизнеспособные рукописи и предоставлять авторам возможность вести более подходящий журнал. Например, редакторы European Accounting Review подвергают каждую рукопись трем вопросам, чтобы решить, будет ли рукопись передана рецензентам: 1) Соответствует ли статья целям и сфере деятельности журнала, 2) является ли содержание статьи (например, обзор литературы, методы , выводы) достаточно и вносит ли статья значительный вклад в большую часть литературы, и 3) соответствует ли она формату и техническим спецификациям? Если «нет» на любой из этих вопросов, рукопись отклоняется. ^[32]

Частота отказов в письменном виде зависит от журнала. Например, в 2017 году исследователи Всемирного банка составили процент отказов нескольких журналов по мировой экономике; процент отказов офисов варьировался от 21% ( Economic Lacea ) до 66% ( Journal of Development Economics ). ^[33] Американская психологическая ассоциация публикует цены отказов в течение нескольких основных публикаций в этой области, и , хотя они не указуют ли отказ в пре- или пост- оценка стола, их показатели в 2016 году варьировались от низкого уровня в 49% до максимума 90%. ^[34]

Шаг 2. Внешний обзор [ изменить ]

Если статья не отклоняется, редакторы отправляют рукопись рецензентам, которые выбираются с учетом их опыта и удаленности от авторов. На этом этапе рецензенты могут отклонить, принять без изменений (редко) ^[35] или дать указание авторам отредактировать и повторно подать заявку.

Причины принятия статьи редакторами различаются, но Elsevier опубликовала статью, в которой три редактора обсуждают факторы, способствующие принятию статьи. Эти факторы включают в себя: дает ли рукопись «новое понимание важного вопроса», будет ли она полезна для практиков, продвигает или предлагает новую теорию, поднимает новые вопросы, содержит ли подходящие методы и выводы, представляет ли собой веские аргументы, основанные на литературе, и рассказывает хорошую историю. Один редактор отмечает, что ему нравятся статьи, которые он «хотел бы сделать» сам. ^[36]

Каждый из этих рецензентов возвращает редактору оценку работы, отмечая слабые места или проблемы вместе с предложениями по улучшению. Как правило, большинство комментариев рецензентов в конечном итоге просматривается автором, хотя рецензент также может послать издателю комментарии « только для ваших глаз »; научные журналы соблюдают это соглашение почти повсеместно. Затем редактор оценивает комментарии рецензентов, свое собственное мнение о рукописи, прежде чем передать решение обратно автору (ам), обычно с комментариями рецензентов. ^[37]

Оценки рецензентов обычно включают явные рекомендации относительно того, что делать с рукописью или предложением, часто выбираемые из вариантов, предоставленных журналом или финансирующим агентством. Например, Nature рекомендует четыре варианта действий: ^[38]

• безоговорочно принять рукопись или предложение,
• принять его в том случае, если его авторы улучшат его определенным образом
• отклонить его, но рекомендовать пересмотреть и предложить повторную отправку
• прямо отвергнуть это.

Во время этого процесса судьи играют консультативную роль. Редактор (ы), как правило, не обязан соглашаться с мнением рецензентов ^[39], хотя чаще всего он (а) так и поступает. Кроме того, рецензенты научных публикаций не действуют как группа, не общаются друг с другом и, как правило, не знают личности или оценок друг друга. Сторонники утверждают, что, если рецензенты статьи неизвестны друг другу, редактор (ы) может легче проверить объективность рецензий. Обычно не требуется, чтобы рецензенты достигли консенсуса , вместо этого решение часто принимается редактором (редакторами), основанным на ее наилучшей оценке аргументов.

В ситуациях, когда несколько рефери существенно расходятся во мнениях относительно качества работы, существует ряд стратегий для принятия решения. Статья может быть отклонена сразу, или редактор может выбрать, к какому рецензенту следует обратиться к авторам. ^[40] Когда издатель получает как очень положительные, так и очень отрицательные отзывы о той же рукописи, редактор часто запрашивает один или несколько дополнительных обзоров в качестве разрешения конфликта. В качестве другой стратегии в случае связей издатель может предложить авторам ответить на критику рецензента.и разрешить убедительное опровержение, чтобы сломать ничью. Если издатель не чувствует уверенности в оценке убедительности опровержения, издатель может запросить ответ у рецензента, который выступил с первоначальной критикой. Редактор может передавать сообщения между авторами и рецензентом, фактически позволяя им обсуждать точку зрения. ^[41]

Однако даже в этих случаях издатели не позволяют нескольким рецензентам общаться друг с другом, хотя каждый рецензент может часто видеть более ранние комментарии, представленные другими рецензентами. Целью процесса является не достижение консенсуса или убеждение кого-либо изменить свое мнение, а предоставление материала для принятия информированного редакционного решения. Одно раннее исследование разногласий рефери показало, что согласие было больше, чем шанс, если не намного больше, чем шанс, по шести из семи атрибутов статьи (например, обзор литературы и окончательная рекомендация к публикации) ^[42], но это исследование было небольшим и проводилось только в одном журнале. По крайней мере, одно исследование показало, что несогласие рецензентов встречается нечасто, но это исследование также небольшое и проводится только в одном журнале. ^[43]

Традиционно рецензенты часто остаются анонимными для авторов, но этот стандарт меняется как со временем, так и с академической сферой. В некоторых академических областях большинство журналов предлагают рецензенту возможность остаться анонимным или нет, или рецензент может подписать рецензию, тем самым отказываясь от анонимности. В опубликованных статьях в разделе благодарностей иногда содержится благодарность анонимным или именованным рецензентам, которые помогли улучшить статью. Например, журналы Nature предоставляют такую ​​возможность. ^[38]

Иногда авторы могут исключить определенных рецензентов: одно исследование, проведенное в Journal of Investigative Dermatology, показало, что исключение рецензентов удваивает шансы на принятие статьи. ^[44] Некоторых ученых не устраивает эта идея, утверждая, что она искажает научный процесс. Другие утверждают, что это защищает от судей, которые каким-то образом предвзято относятся (например, профессиональное соперничество, недовольство). ^[45] В некоторых случаях авторы могут выбирать рецензентов для своих рукописей. mSphere , журнал открытого доступа по микробиологии, перешел к этой модели. Главный редактор Майк Империале говорит, что этот процесс предназначен для сокращения времени, необходимого для рецензирования статей, и позволяет авторам выбирать наиболее подходящих рецензентов. ^[46]Но скандал в 2015 году показывает, как такой выбор рецензентов может поощрять мошеннические отзывы. Фальшивые обзоры были отправлены в Журнал системы ренин-ангиотензин-альдостерон на имена рекомендованных автором рецензентов, в результате чего журнал исключил этот вариант. ^[47]

Шаг 3. Изменения [ править ]

Если рукопись не была отклонена во время рецензирования, она возвращается авторам для доработки. На этом этапе авторы решают вопросы, поднятые рецензентами. Доктор Уильям Стаффорд Ноубл предлагает десять правил ответа рецензентам. Его правила включают: ^[48]

1. «Сделайте обзор, а затем процитируйте полный набор отзывов»
2. «Будьте вежливы и уважительны по отношению ко всем рецензентам»
3. «Примите вину»
4. «Сделайте ответ самодостаточным»
5. «Отвечайте на каждый вопрос, поднятый рецензентом»
6. «Используйте типографику, чтобы помочь рецензенту сориентироваться в вашем ответе»
7. «По возможности начинайте свой ответ на каждый комментарий с прямого ответа на поднятый вопрос»
8. «По возможности делайте то, что просит рецензент»
9. «Сообщите, что изменилось по сравнению с предыдущей версией»
10. «При необходимости напишите ответ дважды» (т. Е. Напишите версию для «удаления», а затем напишите версию, которую увидят рецензенты)

Набор судей [ править ]

В журнале или книжном издательстве задача выбора рецензентов обычно возлагается на редактора . ^[49] Когда приходит рукопись, редактор запрашивает отзывы у ученых или других экспертов, которые, возможно, уже выразили или не выразили готовность рефери для этого журнала или книжного отдела. Грантовые агентства обычно набирают группу или комитет рецензентов до поступления заявок. ^[50]

Рецензенты должны сообщать редактору о любом конфликте интересов, который может возникнуть. Журналы или отдельные редакторы могут предложить авторам рукописи назвать людей, которых они считают квалифицированными для рецензирования их работы. Для некоторых журналов это требование подачи. Иногда авторам также предоставляется возможность назвать естественных кандидатов, которых следует дисквалифицировать , и в этом случае их могут попросить предоставить обоснование (обычно выражаемое в терминах конфликта интересов). ^{[ необходима цитата ]}

Редакторы запрашивают мнение автора при выборе рецензентов, потому что академическое письмо обычно очень специализировано. Редакторы часто курируют многие специальности и не могут быть экспертами по всем из них. Но после того, как редактор выбирает рецензентов из числа кандидатов, редактор обычно обязан не раскрывать личности рецензентов авторам и в научных журналах друг другу. Политика по таким вопросам различается в зависимости от академической дисциплины. ^{[ необходима цитата ]}Одна из трудностей, связанных с некоторыми рукописями, заключается в том, что может быть немного ученых, которые действительно могут быть квалифицированы как эксперты, людей, которые сами проделали работу, аналогичную рассматриваемой. Это может помешать обеспечению анонимности рецензента и недопущению конфликта интересов. Низкопрестижные или местные журналы и грантовые агентства, которые присуждают небольшие деньги, особенно страдают от найма экспертов. ^{[ необходима цитата ]}

Потенциальным препятствием при наборе судей является то, что им обычно не платят, в основном потому, что это само по себе создало бы конфликт интересов . Кроме того, рецензирование отнимает время от их основной деятельности, такой как его или ее собственное исследование. К преимуществу потенциального рекрутера, большинство потенциальных рецензентов сами являются авторами или, по крайней мере, читателями, которые знают, что система публикации требует, чтобы эксперты жертвовали свое время. Работа судьей может быть даже условием получения стипендии или членства в профессиональной ассоциации. ^{[ необходима цитата ]}

Рефери имеют возможность предотвратить публикацию работы, не соответствующей стандартам данной области, что является определенной обязанностью. Редакторы имеют особое преимущество при найме ученого, когда они наблюдали за публикацией его или ее работ, или если ученый - это тот, кто надеется отправить рукописи издательству этого редактора в будущем. Агентства по предоставлению грантов также склонны искать рецензентов среди своих нынешних или бывших получателей грантов. ^{[ необходима цитата ]}

Peerage of Science - это независимая служба и сообщество, где набор рецензентов происходит через Open Engagement: авторы отправляют свою рукопись в службу, где она становится доступной для любого неаффилированного ученого, а «проверенные пользователи» сами выбирают, что они хотят рецензировать. Мотивация к участию в качестве рецензента исходит из системы репутации, в которой качество рецензируемой работы оценивается и оценивается другими пользователями и вносится в профили пользователей. Peerage of Science не взимает с ученых никаких гонораров и не платит рецензентам. Однако участвующие издатели платят за использование сервиса, получая доступ ко всем текущим процессам и возможность делать предложения публикации авторам. ^{[ необходима цитата ]}

В случае услуг независимого рецензирования автор обычно сохраняет право на работу на протяжении всего процесса рецензирования и может выбрать наиболее подходящий журнал для отправки работы. ^{[51] [52]} Услуги рецензирования могут также предоставить советы или рекомендации по журналам, наиболее подходящим для работы. Журналы по-прежнему могут захотеть провести независимую рецензию без потенциального конфликта интересов, который может вызвать финансовое возмещение, или без риска того, что автор заказал несколько услуг рецензирования, но представляет только наиболее благоприятную из них. ^{[ необходима цитата ]}

Альтернативная или дополнительная система выполнения экспертной оценки заключается в том, что автор платит за ее выполнение. Примером такого поставщика услуг является Rubriq , который для каждой работы назначает рецензентов, которые получают финансовую компенсацию за их усилия. ^[53]

Разные стили [ править ]

Анонимный и приписанный[ редактировать ]

Для большинства научных публикаций имена рецензентов сохраняются анонимно (также называемое «слепое рецензирование»). Альтернативная экспертная оценка с атрибуцией включает раскрытие личности рецензентов. Некоторые рецензенты отказываются от своего права на анонимность, даже если формат журнала по умолчанию - слепое рецензирование.

При анонимном рецензировании рецензенты известны редактору журнала или организатору конференции, но их имена не сообщаются автору статьи. В некоторых случаях личность автора также может быть анонимной для процесса рецензирования, при этом идентифицирующая информация удаляется из документа перед рецензированием. Система предназначена для уменьшения или устранения систематической ошибки. ^[16]

Некоторые эксперты предложили процедуры слепого обзора для рассмотрения спорных тем исследования. ^[54]

В двойном слепом рецензирования , который был вылепленного социологических журналов в 1950 - е годы ^[55] и остается наиболее распространенных в социальных и гуманитарных науках , чем в естественных науках, ^{[ править ]} личность авторов скрыто от рецензентов (« ослепленный »), и наоборот, чтобы знание авторства или беспокойство по поводу неодобрения со стороны автора не повлияло на их обзор. ^[56]Критики процесса двойного слепого рецензирования указывают на то, что, несмотря на любые редакторские усилия по обеспечению анонимности, этот процесс часто не дает этого, поскольку определенные подходы, методы, стили письма, обозначения и т. Д. Указывают на определенную группу людей в поток исследований, и даже конкретному человеку. ^{[57] [58]}

Во многих областях « большой науки » общедоступные графики работы основного оборудования, такого как телескопы или синхротроны , сделают имена авторов очевидными для любого, кто захочет их найти. Сторонники двойного слепого обзора утверждают, что он работает не хуже, чем одинарный слепой, и что он создает ощущение справедливости и равенства в академическом финансировании и публикациях. ^[59] Одинарное слепое рассмотрение сильно зависит от доброй воли участников, но не больше, чем двойное слепое рассмотрение с легко идентифицированными авторами.

В качестве альтернативы одинарному слепому и двойному слепому рецензированию авторам и рецензентам рекомендуется заявлять о конфликте интересов, когда имена авторов, а иногда и рецензентов известны друг другу. Когда сообщается о конфликтах, конфликтующему рецензенту может быть запрещено рецензировать и обсуждать рукопись, или его рецензия может вместо этого интерпретироваться с учетом сообщенного конфликта; последний вариант чаще выбирается, когда конфликт интересов умеренный, например, предыдущие профессиональные связи или дальние семейные отношения. Стимул для рецензентов заявлять о конфликте интересов является вопросом профессиональной этики и личной честности. Даже если отзывы не являются общедоступными, они по-прежнему регистрируются, и доверие к рецензентам зависит от того, как они представляют себя среди своих коллег.IEEE Transactions по разработке программного обеспечения , используйте неслепые обзоры, сообщая редакторам о конфликтах интересов как авторов, так и рецензентов. ^{[ необходима цитата ]}

Более строгий стандарт отчетности известен как аудит . Поскольку рецензентам не платят, нельзя ожидать, что они потратят на проверку столько времени и усилий, сколько требует аудит. Таким образом, академические журналы, такие как Science , такие организации, как Американский геофизический союз , и агентства, такие как Национальные институты здравоохранения и Национальный научный фонд, поддерживают и архивируют научные данные и методы на случай, если другой исследователь пожелает воспроизвести или проверить результаты исследования после публикация. ^{[60] [61] [62]}

Традиционная анонимная рецензия подвергалась критике за отсутствие подотчетности, возможность злоупотреблений со стороны рецензентов или тех, кто управляет процессом рецензирования (то есть редакторы журналов) ^[63], его возможную предвзятость и непоследовательность ^{[64]. ]} наряду с другими недостатками. ^{[65] [66]} Евгений Кунин , старший исследователь Национального центра биотехнологической информации , утверждает, что у системы есть «хорошо известные недостатки», и выступает за « открытую экспертную оценку ». ^[67]

Открытый экспертный обзор [ править ]

В 1999 году был запущен журнал с открытым доступом Journal of Medical Internet Research ^[68] , который с самого начала решил публиковать имена рецензентов внизу каждой опубликованной статьи. Также в 1999 г. British Medical Journal перешел на открытую систему рецензирования, раскрывающую личности рецензентов авторам, но не читателям ^[69], а в 2000 г. медицинские журналы из серии BMC с открытым доступом ^[70], опубликованные BioMed Центральная , запущенная с использованием открытого экспертного обзора. Как и в случае с BMJ, имена рецензентов включаются в отчеты рецензентов. Кроме того, если статья публикуется, отчеты становятся доступными в Интернете как часть «истории до публикации». ^{[ необходима цитата ]}

Несколько других журналов, опубликованных BMJ Group, допускают факультативную открытую рецензию ^[69], как и PLoS Medicine , опубликованная Публичной научной библиотекой . ^[71] BMJ ' быстрого реагирования с позволяет продолжающиеся дебаты и критику следующей публикации. ^[72]

В июне 2006 года Nature запустила эксперимент по параллельному открытому рецензированию: некоторые статьи, которые были отправлены на обычную анонимную процедуру, были также доступны в Интернете для открытого, определенного общественного обсуждения. Результаты оказались менее чем обнадеживающими - только 5% авторов согласились участвовать в эксперименте, и только 54% ​​этих статей получили комментарии. ^{[73] [74]} Редакторы предположили, что исследователи, возможно, были слишком заняты, чтобы принять участие, и не хотели обнародовать свои имена. Осведомленность о том, что статьи одновременно подвергались анонимному рецензированию, также могло повлиять на восприятие.

В феврале 2006 года журнал Biology Direct был запущен BioMed Central , добавив еще одну альтернативу традиционной модели экспертной оценки. Если авторы найдут трех членов редакционной коллегии, каждый из которых вернет отчет или сам запросит внешнюю рецензию, статья будет опубликована. Как и в случае с Philica , рецензенты не могут запретить публикацию, но в отличие от Philica, никакие обзоры не являются анонимными, и ни одна статья не публикуется без рецензирования. У авторов есть возможность отозвать свою статью, отредактировать ее в ответ на рецензии или опубликовать без исправления. Если авторы продолжат публикацию своей статьи, несмотря на критические комментарии, читатели могут четко увидеть любые негативные комментарии вместе с именами рецензентов. ^{[75] [ необходим сторонний источник ]} В социальных науках проводились эксперименты со стилем вики , подписанные экспертные обзоры, например, в выпуске Shakespeare Quarterly . ^[76]

В 2010 году BMJ начал публиковать подписанные отчеты рецензентов вместе с принятыми статьями, после того, как выяснило, что сообщение рецензентам о том, что их подписанные рецензии могут быть опубликованы публично, существенно не повлияло на качество рецензий. ^[77]

В 2011 году была запущена независимая служба экспертной оценки Peerage of Science с несколькими нетрадиционными подходами к академической экспертной оценке. В первую очередь, они включают оценку точности и обоснованности экспертных оценок и одновременное использование одного раунда экспертной оценки несколькими участвующими журналами. ^{[ необходима цитата ]}

Начиная с 2013 года с запуском F1000Research , некоторые издатели объединили открытое рецензирование с рецензированием постпубликации, используя систему версионных статей. В F1000Research статьи публикуются перед рецензированием, а отчеты о рецензировании (и имена рецензентов) публикуются вместе со статьей по мере их поступления. ^[78] Отредактированные автором версии статьи затем связываются с оригиналом. Похожая система рецензирования после публикации с версионными статьями используется Science Open, запущенным в 2014 году. ^[79]

В 2014 году Life внедрила открытую систему рецензирования ^{[80], в} соответствии с которой отчеты о рецензировании и ответы авторов публикуются как неотъемлемая часть окончательной версии каждой статьи.

С 2016 года Synlett экспериментирует с закрытой экспертной оценкой. Рецензируемая статья отправляется группе из 80+ экспертов-рецензентов, которые затем совместно комментируют рукопись. ^[81]

Пытаясь решить проблемы с воспроизводимостью результатов исследований, некоторые ученые просят авторов согласиться поделиться своими необработанными данными в рамках процесса рецензирования. ^[82] Еще в 1962 году, например, ряд психологов пытались получить необработанные наборы данных от других исследователей, с неоднозначными результатами, чтобы повторно проанализировать их. Недавняя попытка привела к получению только семи наборов данных из пятидесяти запросов. Понятие получения, не говоря уже требует, открытых данных в качестве условия экспертной оценки остается спорным. ^[83] В 2020 году отсутствие доступа к необработанным данным на рецензирование привело к отзыву статей в престижных The New England Journal of Medicine и The Lancet.. Многие журналы теперь требуют доступа к необработанным данным для включения в рецензирование. ^[84]

Рецензирование до и после публикации [ редактировать ]

Процесс рецензирования не ограничивается процессом публикации, которым управляют академические журналы. В частности, некоторые формы рецензирования могут проводиться до того, как статья будет отправлена ​​в журнал и / или после того, как она будет опубликована в журнале.

Рецензирование перед публикацией [ править ]

Рукописи обычно просматриваются коллегами перед отправкой, и если рукопись загружена на серверы препринтов, такие как ArXiv , BioRxiv или SSRN , исследователи могут прочитать рукопись и прокомментировать ее. Практика загрузки на серверы препринтов и активность обсуждения сильно зависят от области ^{[85] [86],} и это позволяет проводить открытую рецензию перед публикацией.. Преимущество этого метода - скорость и прозрачность процесса рассмотрения. Любой желающий может оставить отзыв, обычно в форме комментариев и обычно не анонимно. Эти комментарии также являются общедоступными, и на них можно ответить, поэтому общение автора и рецензента не ограничивается типичными 2–4 раундами обмена при традиционной публикации. Авторы могут включать комментарии широкого круга людей вместо отзывов, как правило, от 3–4 рецензентов. Недостатком является то, что сообществу предоставляется гораздо большее количество документов без какой-либо гарантии качества.

Рецензирование после публикации [ редактировать ]

После публикации рукописи процесс рецензирования продолжается по мере чтения публикаций, что называется рецензированием после публикации . Читатели часто отправляют письма редактору журнала или переписываются с редактором через интернет-клуб журнала. Таким образом, все «коллеги» могут предлагать обзор и критику опубликованной литературы. Введение во многих журналах практики « epub перед печатью» сделало возможным одновременную публикацию незапрашиваемых писем в редакцию вместе с оригинальной статьей в печатном номере. ^{[ необходима цитата ]}

Вариантом этой темы являются открытые экспертные комментарии , в которых запрашиваются комментарии специалистов к опубликованным статьям, а авторам предлагается ответить. Журналы, использующие этот процесс, запрашивают и публикуют неанонимные комментарии к «целевой статье» вместе с самой статьей и, конечно же, с оригинальными ответами авторов. Открытый коллегиальный комментарий был впервые реализован антропологом Солом Таксом , который основал журнал Current Anthropology в 1957 году. ^[87] Журнал Behavioral and Brain Sciences , издаваемый Cambridge University Press , был основан Стеваном Харнадом в 1978 году ^{[88] по} образцу.Функция открытых комментариев коллег в Current Anthropology . ^[89] Psycoloquy (1990–2002) ^[90] был основан на той же функции, но на этот раз реализован онлайн. С 2016 года открытые комментарии коллег также предоставляет журнал Animal Sentience .

Помимо журналов, в которых размещаются обзоры собственных статей, существуют также внешние независимые веб-сайты, посвященные рецензированию после публикации, например PubPeer, который позволяет анонимно комментировать опубликованную литературу и побуждает авторов отвечать на эти комментарии. ^[91] Было предложено, чтобы обзоры на этих сайтах после публикации также рассматривались редакционно. ^[92] Мегажурналы F1000Research и ScienceOpen открыто публикуют как личность рецензентов, так и отчет рецензента вместе со статьей.

Некоторые журналы используют рецензирование после публикации в качестве формального метода рецензирования вместо рецензирования до публикации. Впервые это было введено в 2001 году компанией « Атмосферная химия и физика» (ACP). ^[93] Совсем недавно F1000Research и ScienceOpen были запущены в виде мегажурналов, а рецензирование после публикации в качестве формального метода рецензирования. ^{[78] [79]} Как в ACP, так и в F1000Research рецензенты официально приглашаются, как и в журналах предварительной публикации. Статьи, прошедшие рецензирование в этих двух журналах, включаются во внешние научные базы данных. ^[94]

В 2006 году небольшая группа британских академических психологов запустила Philica , мгновенный онлайн-журнал Journal of Everything, чтобы исправить многие из того, что они считали проблемами традиционного рецензирования. Все представленные статьи сразу публикуются и могут быть просмотрены позже. Любой исследователь, желающий рецензировать статью, может сделать это, и обзоры будут анонимными. Рецензии отображаются в конце каждой статьи и используются для того, чтобы дать читателю критику или руководство по работе, а не решить, опубликована она или нет. Это означает, что рецензенты не могут подавлять идеи, если они с ними не согласны. Читатели используют обзоры, чтобы направлять свое чтение, и легко определить особо популярные или непопулярные работы. ^{[ необходима цитата ]}

Социальные сети и неформальная экспертная оценка [ править ]

Недавние исследования привлекли внимание к использованию технологий социальных сетей и научных блогов в качестве средства неформальной экспертной оценки после публикации, как в случае спора о #arseniclife (или GFAJ-1 ). ^[95] В декабре 2010 года статья, опубликованная в Scienceexpress (опережающая версия журнала Science ), вызвала волнение и скептицизм, поскольку ее авторы - во главе с астробиологом НАСА Фелизой Вулф-Саймон.- заявили, что открыли и культивировали определенные бактерии, которые могут заменить фосфор мышьяком в своих физиологических строительных блоках. Во время публикации статьи НАСА опубликовало заявления для прессы, в которых предполагалось, что открытие повлияет на поиск внеземной жизни, вызвав ажиотаж в Твиттере под хэштегом #arseniclife, а также критику со стороны коллег-экспертов, которые выразили скептицизм в своих личных блогах. ^[96] В конечном итоге полемика вокруг статьи привлекла внимание средств массовой информации ^[97], и одна из самых ярых научных критиков - Розмари Редфилд - официально опубликована в июле 2012 года ^[98] относительно неудачной попытки ее и ее коллег воспроизвести данные ученых НАСА. 'оригинальные находки.

Исследователи, отслеживающие влияние дела #arseniclife на обсуждения в социальных сетях и процессы рецензирования, пришли к следующему:

Наши результаты показывают, что интерактивные онлайн-коммуникационные технологии могут позволить членам более широкого научного сообщества выполнять роль рецензентов журналов для легитимации научной информации после того, как она прошла через официальные каналы рецензирования. Кроме того, различные аудитории могут следить за научными противоречиями с помощью этих технологий и наблюдать за неформальным процессом рецензирования после публикации. (стр. 946) ^[95]

Независимая от результатов экспертная оценка [ править ]

Исследования, в которых сообщается о положительном или статистически значимом результате, будут опубликованы с гораздо большей вероятностью, чем те, которые этого не сделали . Противодействием этому предубеждению в пользу позитивности является сокрытие результатов или их недоступность, в результате чего принятие журналов больше похоже на рассмотрение исследовательских предложений агентствами, предоставляющими научные гранты . Версии включают:

1. Слепая рецензия по результатам или слепая рецензия результатов , впервые предложена в 1966 году: рецензенты получают отредактированную версию представленной статьи, в которой опущены результаты и раздел выводов. ^{[99] [100] [101] [102] [103]} В двухэтапной версии второй раунд обзоров или редакционное решение основывается на полной бумажной версии, которая была впервые предложена в 1977 году. ^{[104] [105 ] ]}

   Обзор слепых заключений , предложенный Робином Хэнсоном в 2007 г., расширяет это понятие, предлагая всем авторам представить положительную и отрицательную версию, и только после того, как журнал принял, авторы статьи раскрывают, какая версия является настоящей. ^[106]

2. Предварительно принятые статьи или объективные по результатам журналы или предварительные обзоры публикаций или зарегистрированные отчеты или до представления результатов или досрочного принятия ^{[107] [108] [109] [110] [111] [112] [113] [114] [115 ] ]}расширяет предварительную регистрацию исследования до такой степени, что журналы принимают или отклоняют статьи на основе версии статьи, написанной до того, как были сделаны результаты или выводы (расширенный протокол исследования), но вместо этого описывает теоретическое обоснование, экспериментальный план и статистический анализ . Только после того, как рецензенты примут предложенную гипотезу и методологию, авторы будут собирать данные или анализировать ранее собранные данные. Ограниченным вариантом предварительно принятой статьи был обзор протокола исследования The Lancet за 1997–2015 годы, в котором были рассмотрены и опубликованы протоколы рандомизированных испытаний с гарантией того, что окончательная статья будет по крайней мере отправлена ​​на рецензирование, а не сразу отклонена. ^{[116] [117]} Например,В Nature Human Behavior принят зарегистрированный формат отчета, поскольку он «переносит акцент с результатов исследования на вопросы, которые определяют направление исследования, и методы, используемые для ответа на них». ^[118] Европейский журнал Личность определяет этот формат: «В зарегистрированном отчете, авторы создают предложение исследования , которое включает теоретический и эмпирический фон, исследовательские вопросы / гипотезу и экспериментальные данные (если таковой имеется). После подачи это предложение будет рассмотрено перед сбором данных, и, если оно будет принято, документ, полученный в результате этой рецензируемой процедуры, будет опубликован независимо от результатов исследования ». ^[119]

Следующие журналы использовали независимую экспертную оценку или предварительно принятые статьи:

• Европейский журнал парапсихологии , под Мартин Джонсон (который предложил вариант Registered Reports в 1974 году), ^[120] начал принимать документы на основании представленных проектов , а затем публиковать их, с 1976 по 1993 год, и опубликовал в общей сложности 25 ЗБ ^[105]
• Международный журнал прогнозирования используется неавтоматического результат слепого рецензирования и предварительно приняты статьи из до 1986 года ^[121] через 1996/1997. ^{[108] [122]}
• Журнал « Applied Psychological Measurement» предлагал подписку на «предварительную проверку публикации» с 1989–1996 гг., Которая прекращалась после того, как было отправлено всего 5 статей. ^{[108] [123]}
• JAMA Internal Medicine в результате обследования 2009 года , что 86% его рецензентов будут готовы к работе в процессе рецензирования результат слепого, и провел пилотный эксперимент с двухступенчатой результатом слепого рецензирования, показывая неослеплённые шаг Выгоду положительных исследований больше, чем отрицательных. ^[124], но в настоящее время журнал не использует независимую экспертную оценку результатов. ^{[ необходима цитата ]}

• Центр Open Science рекомендует с помощью "Registered Reports" (предварительно принимаются статьи) ^{[125] [126] [127] [128] [129] [130]} , начиная с 2013 г. По состоянию на октябрь 2017 года, ~ 80 журналов предлагают Зарегистрированные отчеты как правило, имели специальные выпуски Зарегистрированных отчетов или ограниченное принятие Зарегистрированных отчетов (например, только репликации), включая AIMS Neuroscience , Cortex , Perspectives on Psychological Science , Social Psychology , & Comparative policy Studies
  • Компания «Сравнительные политические исследования» опубликовала результаты своего пилотного эксперимента, состоящего из 19 заявок, из которых 3 были предварительно приняты в 2016 году. Процесс работал хорошо, но заявки были взвешены в сторону количественных экспериментальных схем и уменьшили количество «ловли», поскольку податели и рецензенты сосредоточились на теоретических исследованиях. поддержка, существенная важность результатов, с вниманием к статистической силе и последствиям нулевого результата, заключение, что «мы можем четко заявить, что эта форма обзора приводит к статьям самого высокого качества. Мы хотели бы видеть ведущий журнал принять проверку без результатов в качестве политики, по крайней мере, разрешив проверку без результатов в качестве одного из нескольких стандартных вариантов представления ». ^[131]

Критика [ править ]

Возможно, этот раздел необходимо очистить. Это было объединено с Peer review # Criticism .

Различные редакторы критиковали рецензирование. ^{[132] [133]} Кроме того, в Кокрановском обзоре было обнаружено мало эмпирических доказательств того, что экспертная оценка обеспечивает качество биомедицинских исследований, ^{[134] в} то время как второй систематический обзор и метаанализ выявили необходимость в основанной на фактических данных экспертной оценке в биомедицине с учетом недостаточность оценки вмешательств, направленных на улучшение процесса. ^[135]

Для постороннего анонимный процесс рецензирования перед публикацией непонятен. Некоторые журналы обвиняют в том, что они не проводят строгую экспертную оценку, чтобы упростить расширение своей клиентской базы, особенно в тех журналах, авторы которых платят взнос перед публикацией. ^[136] Ричард Смит, доктор медицины, бывший редактор Британского медицинского журнала., утверждает, что экспертная оценка «неэффективна, в основном лотерея, антиинновационная, медленная, дорогая, расточительна научного времени, неэффективна, легко подвергается злоупотреблениям, склонна к предвзятости, неспособна выявлять мошенничество и не имеет отношения к делу. предвзято относится к провинциальным журналам и журналам из стран с низким и средним уровнем дохода; для публикации многих журналов требуются месяцы и даже годы, и этот процесс тратит время исследователей. Что касается затрат, Исследовательская информационная сеть оценила глобальную стоимость экспертной оценки в 1,9 миллиарда фунтов стерлингов в 2008 году ". ^[137]

Кроме того, Австралия «s Инновационной исследовательских университетов группа (коалиция из семи комплексных университетов стремится к инклюзивному передовому опыту в области преподавания, обучение и исследования в Австралии) показали , что«экспертная оценку недостатков , исследователь в своих ранних карьерах, когда они полагаются на конкурентных гранты покрывают свои зарплаты, а неудачные заявки на финансирование часто означают конец исследовательской идеи ". ^[138]

Низкие различия в статьях, понятные всем коллегам [ править ]

Джон Иоаннидис утверждает, что, поскольку экзамены и другие тесты, которые люди сдают на пути от «непрофессионала» к «эксперту», ​​сосредоточены на своевременных ответах на вопросы в соответствии со списком ответов, а не на проведении точных различий (последнее из что было бы неузнаваемо для экспертов с более низкой когнитивной точностью), существует столько же индивидуальных различий в способности отличать причинно-следственную связь от корреляции среди «экспертов», как и среди «непрофессионалов». Иоаннидис утверждает, что в результате научное рецензирование многими «экспертами» позволяет пройти только те статьи, которые понятны с широким диапазоном уровней когнитивной точности, включая очень низкие,«некомпетентная переоценка своих способностей» со стороны авторов, потому что некоторые из рецензирующих «экспертов» когнитивно неспособны отличить различие от предполагаемого обоснования конкретных выводов. Иоаннидис утверждает, что это делает рецензирование причиной выборочной публикации ложных результатов исследования, в то же время останавливая публикацию их строгой критики, и что дальнейший обзор после публикации повторяет ту же предвзятость, выборочно отбирая несколько строгих статей, которые, возможно, сделали это. путем первоначального рецензирования перед публикацией, позволяя оставлять в печати более низкие оценки, которые путают корреляцию и причинно-следственную связь. ^[139]

Экспертная оценка и доверие [ править ]

Исследователи рецензировали рукописи перед публикацией различными способами с 18 века. ^{[140] [141]} Основная цель этой практики - повысить актуальность и точность научных дискуссий. Несмотря на то, что эксперты часто критикуют экспертную оценку по ряду причин, этот процесс по-прежнему часто считается «золотым стандартом» науки. ^[142] Иногда, однако, экспертная оценка одобряет исследования, которые позже оказываются ошибочными, и до публикации редко обнаруживаются вводящие в заблуждение или фальсифицированные результаты. ^{[143] [144]}Таким образом, кажется, есть элемент разногласий между идеологией и практикой экспертной оценки. Отсутствие эффективного сообщения о том, что рецензирование несовершенно, означает, что широкая общественность получает сообщение о том, что исследования, опубликованные в рецензируемых журналах, являются «истинными» и что рецензирование защищает литературу от ошибочной науки. Существует ряд устоявшихся критических замечаний по поводу многих элементов экспертной оценки. ^{[145] [146] [147]} Далее мы описываем случаи более широкого влияния ненадлежащей экспертной оценки на понимание научной литературы общественностью.

Многочисленные примеры из нескольких областей науки показывают, что ученые повысили важность экспертной оценки для исследований, которые были сомнительными или коррумпированными. Например, отрицатели изменения климата опубликовали исследования в журнале « Энергия и окружающая среда» , пытаясь подорвать совокупность исследований, показывающих, как деятельность человека влияет на климат Земли. Политики в Соединенных Штатах, которые отвергают устоявшуюся науку об изменении климата, затем неоднократно цитировали этот журнал в своих выступлениях и отчетах. ^[148]

Иногда экспертная оценка представлялась процессом, который был организован для достижения заранее заданного результата. New York Times получила доступ к конфиденциальным документам экспертной оценки исследований, спонсируемых Национальной футбольной лигой (НФЛ), которые были названы научным доказательством того, что травмы головного мозга не причиняют долгосрочного вреда ее игрокам. ^[149] В процессе экспертной оценки авторы исследования заявили, что все игроки НФЛ участвовали в исследовании, заявление, которое репортеры сочли ложным, изучив базу данных, использованную для исследования. Кроме того, The Timesотметил, что НФЛ стремилась узаконить методы и выводы исследований, ссылаясь на «строгий, конфиденциальный процесс рецензирования», несмотря на свидетельства того, что некоторые рецензенты, казалось, «отчаялись» прекратить их публикацию. Недавние исследования также продемонстрировали, что широкое отраслевое финансирование для опубликованные медицинские исследования часто остаются необъявленными и что такие конфликты интересов должным образом не рассматриваются в экспертной оценке. ^{[150] [151]}

Еще одна проблема, которую не удается уловить коллегам, - это написание статей, когда компании составляют статьи для ученых, которые затем публикуют их в журналах, иногда с небольшими изменениями или без них. ^[152] Эти исследования затем могут быть использованы в политических, нормативных и маркетинговых целях. В 2010 году Финансовый комитет Сената США опубликовал отчет, в котором говорится, что эта практика широко распространена, что она искажает научную литературу и увеличивает количество выписанных рецептов. ^[153] Призрачные статьи появились в десятках журналов с участием профессоров нескольких университетов. ^[154]

Подобно тому, как эксперты в определенной области лучше понимают ценность статей, опубликованных в их области, считается, что ученые лучше понимают ценность опубликованных статей, чем широкая публика, и рассматривают рецензирование как человеческий процесс с участием человека. неудач, ^[155] и что «несмотря на его ограничения, он нам нужен. Это все, что у нас есть, и трудно представить, как бы мы обошлись без него». ^[156] Но эти тонкости упускаются из виду широкой публикой, которая часто заблуждается, полагая, что публикация в журнале с экспертной оценкой является «золотым стандартом» и может ошибочно приравнивать опубликованные исследования к истине. ^[155]Таким образом, необходимо больше внимания уделять тому, как экспертная оценка и результаты рецензируемых исследований доводятся до неспециализированной аудитории; особенно во время появления ряда технических изменений и более глубокого понимания сложностей экспертной оценки. ^{[157] [158] [159] [160]} Это будет необходимо, поскольку система научных публикаций должна противостоять более широким проблемам, таким как опровержения ^{[144] [161] [162]} и «кризис» тиражирования или воспроизводимости. ^{[163] [ 164] [165]}

Просмотры экспертной оценки [ править ]

Рецензирование часто в той или иной форме считается неотъемлемой частью научного дискурса . Предполагается, что его роль «привратника» необходима для поддержания качества научной литературы ^{[166] [167]} и избежания риска получения ненадежных результатов, неспособности отделить сигнал от шума и замедления научного прогресса. ^{[168] [169]}

Недостатки экспертной оценки были встречены призывами к еще более сильной фильтрации и большему контролю. Распространенным аргументом в пользу таких инициатив является вера в то, что этот фильтр необходим для сохранения целостности научной литературы. ^{[170] [171]}

Призывы к большему надзору имеют по крайней мере два следствия, которые противоречат тому, что известно как настоящая стипендия. ^[155]

1. Убеждение, что ученые неспособны самостоятельно оценивать качество работы, что им нужен привратник, который бы информировал их о том, что хорошо, а что нет.
2. Убеждение, что ученым нужен «опекун», чтобы убедиться, что они делают хорошую работу.

Другие утверждают ^[155], что авторы больше всего заинтересованы в качестве конкретной работы. Как выразился Фейнман (1974) ^[172], только авторы могли обладать «дополнительным типом целостности, выходящим за рамки того, чтобы не лгать, а сгибаться назад, чтобы показать, насколько вы, возможно, неправы. ученый." Во всяком случае, текущий процесс экспертной оценки и академическая система могут наказать или, по крайней мере, не стимулировать такую ​​честность.

Напротив, авторитет, присваиваемый ярлыком «рецензируемый», может уменьшить то, что Фейнман называет культурой сомнения, необходимой науке для осуществления самокорректирующегося процесса поиска истины. ^[173] Последствия этого можно увидеть в продолжающемся кризисе репликации , мистификациях и широко распространенном возмущении по поводу неэффективности существующей системы. ^{[145] [140]} Принято считать, что ответ - это усиление контроля, поскольку рецензенты вовсе не лишены скептицизма. Но проблема не в скептицизме тех немногих избранных, которые определяют, проходит ли статья через фильтр. Это подтверждение и сопровождающее его отсутствие скептицизма, которое приходит после. ^[174]Здесь опять же усиление надзора только усиливает впечатление, что экспертная оценка обеспечивает качество, тем самым еще больше уменьшая культуру сомнений и противодействуя духу научного исследования. ^[175]

Качественные исследования - даже некоторые из наших самых фундаментальных научных открытий - датируются столетиями, задолго до того, как экспертная оценка приняла ее нынешнюю форму. ^{[140] [176] [141]} Независимо от того, какая рецензия существовала столетия назад, она приняла другую форму, чем в наше время, без влияния крупных коммерческих издательских компаний или повсеместной культуры публикации или исчезновения . ^[176]Хотя изначально это было трудоемкой и отнимающей много времени задачей, исследователи, тем не менее, прибегали к экспертной оценке не из-за обязательств, а из-за долга, чтобы поддержать целостность своих собственных исследований. Им удавалось сделать это по большей части без помощи централизованных журналов, редакторов или какого-либо формализованного или институционального процесса. Сторонники современных технологий утверждают ^[155], что они позволяют мгновенно общаться с учеными по всему миру, упрощают такие научные обмены и возвращают рецензирование в более чистую научную форму как дискурс, в котором исследователи взаимодействуют друг с другом для лучшего взаимодействия. прояснять, понимать и сообщать свои идеи. ^{[158] [177]}

Такая современная технология включает размещение результатов на серверах препринтов , предварительную регистрацию исследований, открытую экспертную оценку и другие методы открытой науки. ^{[164] [178] [179]} Во всех этих инициативах роль контроля остается заметной, как если бы это была необходимая черта всего научного общения, но критики утверждают ^[147], что правильная реализация в реальном мире может проверить и опровергнуть это предположение; продемонстрировать стремление исследователей к большему, чем могут предложить традиционные журналы; показывают, что исследователям можно доверить проведение собственного контроля качества независимо от рецензий, связанных с журналами. Джон Теннанттакже утверждает, что протест по поводу неэффективности традиционных журналов основан на их неспособности обеспечить достаточно строгую проверку и передачу критического мышления на аутсорсинг скрытому и плохо понимаемому процессу. Таким образом, предположение о том, что журналы и рецензирование необходимы для защиты научной целостности, по-видимому, подрывает сами основы научных исследований. ^[155]

Чтобы проверить гипотезу о том, что фильтрация действительно не нужна для контроля качества, многие традиционные методы публикации должны быть переработаны, редакционные коллегии, если не распущены, должны быть перепрофилированы, а авторам предоставлен контроль над экспертной оценкой их собственных работ. Поручение авторам отвечать за их собственное рецензирование служит двойной цели. ^[155]С одной стороны, это устраняет присуждение качества в рамках традиционной системы, тем самым устраняя престиж, связанный с простым актом публикации. Как это ни парадоксально, устранение этого барьера может на самом деле привести к повышению качества публикуемой работы, поскольку оно устраняет клеймо публикации ради самой публикации. С другой стороны, читатели знают, что фильтра нет, поэтому они должны интерпретировать все, что они читают, со здоровой долей скептицизма, тем самым естественным образом восстанавливая культуру сомнения в научной практике. ^{[180] [181] [182]}

Помимо опасений по поводу качества работы, выполненной благонамеренными исследователями, есть опасения, что действительно открытая система позволит наполнить литературу хламом и пропагандой со стороны тех, кто заинтересован в определенных вопросах. Контраргумент состоит в том, что традиционная модель экспертной оценки уменьшает здоровый скептицизм, который является отличительной чертой научного исследования, и, таким образом, повышает доверие к подрывным попыткам проникновения в литературу. ^[155] Разрешение на публикацию такого «мусора» может сделать отдельные статьи менее надежными, но сделать литературу в целом более устойчивой за счет развития «культуры сомнений». ^[180]

Обвинения в предвзятости и подавлении [ править ]

Взаимодействие редакторов и рецензентов между авторами и читателями может позволить посредникам действовать как привратники . ^[183] Некоторые социологи науки утверждают, что рецензирование делает возможность публикации уязвимой для контроля со стороны элит и личной зависти. ^[184] Процесс экспертной оценки может иногда препятствовать прогрессу и может быть предвзятым против новизны. ^{[19] [185]} Лингвистический анализ отчетов об обзоре показывает, что рецензенты сосредотачиваются на отклонении заявок путем поиска слабых мест, а не на поиске новаторских идей с высоким риском / высокой выгодой, которые могут быть в предложении. ^[186]Рецензенты , как правило, особенно критично выводы , которые противоречат их собственному виду , ^{[187] [188]} и снисходительны к тем , которые соответствуют их. В то же время авторитетные ученые с большей вероятностью будут привлечены в качестве рецензентов, особенно престижными журналами / издателями. В результате идеи, которые соответствуют признанным экспертам, с большей вероятностью увидят печать и появятся в ведущих журналах, чем являются иконоборческими или революционными. Это согласуется с хорошо известными наблюдениями Томаса Куна относительно научных революций . ^[189]Была создана теоретическая модель, симуляции которой предполагают, что экспертная оценка и сверхконкурентное финансирование исследований способствуют укреплению общественного мнения в пользу монополии. ^[190]

Критика традиционной анонимной экспертной оценки утверждает, что она лишена подотчетности, может привести к злоупотреблениям со стороны рецензентов и может быть предвзятой и непоследовательной. ^{[66] [64] [191]}

Также высказывались предположения о гендерной предвзятости в рецензировании, когда авторы-мужчины, вероятно, получат более благоприятное отношение. ^[192] Однако исследование 2021 года не обнаружило доказательств такой предвзятости (и обнаружило, что в некоторых отношениях к авторам-женщинам относились более благосклонно). ^{[193] [194] [195]}

Журналы открытого доступа и экспертная оценка [ править ]

Некоторые критики журналов открытого доступа (OA) утверждали, что по сравнению с традиционными журналами с подпиской в ​​журналах с открытым доступом могут использоваться некачественные или менее формальные методы рецензирования, и, как следствие, качество научной работы в таких журналах пострадает. ^[196] В исследовании, опубликованном в 2012 году, эта гипотеза была проверена путем оценки относительного «воздействия» (с использованием подсчета цитирования) статей, опубликованных в журналах с открытым доступом и по подписке, на том основании, что члены научного сообщества, вероятно, будут менее вероятными. цитировать некачественные работы, и поэтому количество цитирований может служить одним из индикаторов того, действительно ли формат журнала повлиял на рецензирование и качество опубликованных стипендий. ^[197] В конечном итоге это исследование пришло к выводу, что «журналы открытого доступа, проиндексированные в Web of Science и / или Scopus, приближаются к тому же научному воздействию и качеству, что и журналы по подписке, особенно в области биомедицины и журналов, финансируемых за счет платы за обработку статей», и поэтому авторы утверждают, не является причиной для авторов не публиковаться в журналах открытого доступа только из-за ярлыка «открытый доступ».

Неудачи[ редактировать ]

Рецензирование считается неудачным, если рецензируемая статья содержит фундаментальные ошибки, которые подрывают хотя бы один из ее основных выводов и которые могли бы быть выявлены более внимательными рецензентами. Многие журналы не имеют процедуры для устранения неудачных рецензий, кроме публикации писем в редакцию. ^[198] Рецензирование в научных журналах предполагает, что рецензируемая статья подготовлена ​​честно. Процесс иногда выявляет мошенничество, но не предназначен для этого. ^[199] Если экспертная оценка не проходит и статья публикуется с поддельными или иным образом невоспроизводимыми данными, статья может быть отозвана.. Эксперимент 1998 года по рецензированию вымышленной рукописи показал, что рецензенты не смогли обнаружить некоторые ошибки рукописи, и большинство рецензентов могут не заметить, что выводы статьи не подтверждаются ее результатами. ^[200]

Поддельная экспертная оценка [ править ]

Были случаи, когда утверждалось, что экспертная оценка была проведена, но на самом деле это не так; это было задокументировано в некоторых хищнических журналах с открытым доступом (например, « Кто боится рецензирования?» ) или в случае спонсируемых журналов Elsevier . ^[201]

В ноябре 2014 года статья в журнале Nature показала, что некоторые ученые отправляли в журналы поддельные контактные данные рекомендованных рецензентов, так что, если издатель связывался с рекомендованным рецензентом, они были первоначальным автором, рецензирующим свою работу под вымышленным именем. ^[202] Комитет по этике публикации выступила с заявлением , предупреждение о мошеннической практике. ^[203] В марте 2015 года BioMed Central отозвал 43 статьи ^[204], а Springer отозвал 64 статьи в 10 журналах в августе 2015 года. ^[205] Журнал Tumor Biology - еще один пример мошенничества с рецензированием. ^[201]

В 2020 году Журнал исследований наночастиц стал жертвой «организованной сети мошеннических редакторов», которая выдавала себя за уважаемых ученых, создавала тематический выпуск и опубликовала 19 некачественных статей (из 80 присланных). ^{[206] [207]} Журнал получил высокую оценку за открытую и прозрачную борьбу с мошенничеством. ^[206]

Плагиат[ редактировать ]

Рецензенты обычно не имеют доступа к необработанным данным, но видят полный текст рукописи и обычно знакомы с последними публикациями в этой области. Таким образом, они могут лучше обнаружить плагиат прозы, чем мошеннические данные. Например, несколько случаев такого текстового плагиата историками получили широкую огласку. ^[208]

Что касается науки, опрос 3247 ученых, финансируемый Национальным институтом здравоохранения США, показал, что 0,3% признали фальшивые данные и 1,4% признали плагиат. ^[209] Кроме того, 4,7% того же опроса признались в самоплагиате или автоплагиате, когда автор повторно публикует тот же материал, данные или текст, не цитируя свои более ранние работы. ^{[209] [ требуется разъяснение ]}

Примеры [ править ]

• «Возможно, наиболее широко признанный провал экспертной оценки заключается в ее неспособности обеспечить идентификацию высококачественной работы. Список важных научных статей, которые были отклонены некоторыми рецензируемыми журналами, восходит, по крайней мере, к тому времени, которое издавал редактор Philosophical Transaction. 1796 г. - отклонение отчета Эдварда Дженнера о первой вакцинации против оспы ». ^[210]
• Вскоре и Baliunas полемика включала публикацию в 2003 году исследования , обзор , написанной инженером авиакосмической Вилли Вскоре и астроном Солли Балиунас в журнале исследований климата , ^[211] , который был быстро рассмотрен администрацией Буша - младшего в качестве основы для внесения поправок в первый Отчет Агентства по охране окружающей среды об окружающей среде. Статья подверглась резкой критике со стороны многих ученых за ее методологию и неправильное использование данных из ранее опубликованных исследований, что вызвало обеспокоенность по поводу процесса рецензирования статьи. Споры привели к отставке нескольких редакторов журнала и признанию его издателем Отто Кинне, что газета не должна была публиковаться в том виде, в котором она была.
• Трапеций , в котором метод сумм Римана для численного интегрирования была переиздана в исследовании диабета журнала Diabetes Care . ^[212] Этому методу почти всегда учат в старших классах школы, и поэтому он считался примером чрезвычайно известной идеи, которая была переименована в новое открытие. ^[213]
• Конференция, организованная Технологическим институтом Уэссекса, стала целью разоблачения трех исследователей, написавших бессмысленные статьи (в том числе одну, состоящую из случайных фраз). Они сообщили, что документы были «рассмотрены и предварительно приняты», и пришли к выводу, что конференция была попыткой «продать» возможности публикации менее опытным или наивным исследователям. ^[214] Это, однако, может быть лучше охарактеризовано как отсутствие какой-либо фактической экспертной оценки, чем как неудачная экспертная оценка.
• В гуманитарных науках одним из самых печально известных случаев плагиата, не обнаруженного экспертной рецензией, стал Мартин Стоун, бывший профессор философии средневековья и эпохи Возрождения в Hoger Instituut voor Wijsbegeerte в KU Leuven . Мартину Стоуну удалось опубликовать не менее сорока статей и глав книг, которые были почти полностью украдены из чужих работ. Большинство этих публикаций появилось в рецензируемых журналах и сериях книг с высоким рейтингом. ^{[215] [216]}

В популярной культуре [ править ]

В 2017 году Высшая школа экономики в Москве открыла «Памятник анонимному рецензенту». Он имеет форму большого бетонного куба, или кубика, с пятью видимыми сторонами «Принять», «Незначительные изменения», «Основные изменения», «Исправить и отправить повторно» и «Отклонить». Социолог Игорь Чириков , создавший памятник, сказал, что, хотя исследователи относятся к рецензированию как любовь-ненависть, рецензенты, тем не менее, делают ценную, но в основном невидимую работу, и памятник является их данью. ^[217]

См. Также [ править ]

Ссылки [ править ]