Экспертная оценка
Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Для области экспертной оценки Википедии см. WP: PR .
«Независимый обзор» перенаправляется сюда. Не следует путать с The Independent Review .
Для использования в других целях, см Peer review (значения) .

Эксперт Американского национального института здоровья, оценивающий заявку на грант.

Рецензирование - это оценка работы одним или несколькими людьми, обладающими такими же компетенциями, что и производители работы ( коллеги ). Он функционирует как форма саморегулирования квалифицированными специалистами в соответствующей области . Методы экспертной оценки используются для поддержания стандартов качества, повышения производительности и обеспечения доверия. В научных кругах , научная рецензирования часто используются для определения академической бумаги пригодности «s для публикации. Рецензирование может быть разделено на категории по типу деятельности и по области или профессии, в которой оно осуществляется, например, рецензирование в медицине . Его также можно использовать в качестве учебного пособия, чтобы помочь студентам улучшить письменные задания.

Профессиональный

Профессиональная экспертная оценка фокусируется на работе профессионалов с целью повышения качества, соблюдения стандартов или предоставления сертификации. В академических кругах коллегиальная оценка используется для принятия обоснованных решений, связанных с продвижением преподавательского состава и сроками пребывания в должности. [1] Генри Ольденбург (1619–1677) был британским философом немецкого происхождения, которого считают «отцом» современной научной экспертной оценки. [2] [3] [4]

Прототип профессионального рецензирования был рекомендован в « Этике врача», написанном Ишаком ибн Али аль-Рухави (854–931). Он заявил, что приходящий врач должен делать двойные записи о состоянии пациента при каждом посещении. Когда пациент вылечился или умер, записи врача изучались местным медицинским советом других врачей, который решал, соответствовало ли лечение требуемым стандартам медицинской помощи. [5]

Профессиональная экспертная оценка распространена в сфере здравоохранения, где ее обычно называют клинической экспертной оценкой . [6] Кроме того, поскольку деятельность по экспертной оценке обычно сегментирована по клинической дисциплине, существует также экспертная оценка врачом, экспертная оценка медсестер, экспертная оценка стоматологии и т. Д. [7] Во многих других профессиональных областях существует определенный уровень процесса экспертной оценки: бухгалтерский учет, [8] право, [9] [10] инженерия (например, экспертная оценка программного обеспечения , техническая экспертная оценка ), авиация и даже управление лесными пожарами. [11]

Рецензирование используется в образовании для достижения определенных целей обучения, в частности, как инструмент для достижения процессов более высокого порядка в аффективной и когнитивной областях, как это определено в таксономии Блума . Это может принимать различные формы, в том числе точно имитировать процессы экспертной оценки, используемые в науке и медицине. [12] [13]

Научный

Основная статья: Научная рецензия

Scholarly экспертный обзор (также известный как судейство ) представляет собой процесс , имеющие черновой вариант исследователя методов и результатов рассмотрены ( как правило , анонимно) на экспертах (или «коллегами») в той же области. Рецензирование помогает академическому издателю (то есть главному редактору , редакционной коллегии или программному комитету ) решить, следует ли принять работу, считать ее приемлемой с исправлениями или отклонить для официальной публикации в академическом журнале , монографии. или в производстве на качестве научно -практической конференции .

Рецензирование требует наличия сообщества экспертов в данной (и часто узко определенной) области, которые обладают квалификацией и могут проводить достаточно беспристрастную рецензию. Беспристрастный анализ, особенно работы в менее узко определенных или междисциплинарных областях, может оказаться трудным для выполнения, а значимость (хорошая или плохая) идеи никогда не будет широко оценена ее современниками. Рецензирование обычно считается необходимым для академического качества и используется в большинстве крупных научных журналов. Однако рецензирование не полностью предотвращает публикацию недействительных исследований [14], а поскольку экспериментально контролируемые исследования этого процесса трудно организовать, прямых доказательств того, что рецензирование улучшает качество опубликованных статей, мало. [15]

Научная экспертная оценка подвергалась ряду критических замечаний, и на протяжении многих лет предлагались различные предложения по реформированию системы. Многие исследования подчеркивают проблемы, присущие процессу экспертной оценки. (см. Squazzoni et al., 2017 [16] ). Более того, Ragone et al. (2013) [17] показали, что существует низкая корреляция между результатами экспертной оценки и будущим воздействием, измеряемым по цитированию. Брезис и Бируко также показывают, что процесс экспертной оценки не работает должным образом. Они подчеркивают, что рейтинги не являются надежными, например, смена рецензентов может существенно повлиять на результаты проверки. Два основных элемента влияют на предвзятость в процессе сверстников. [18]

  • Первый элемент состоит в том, что судьи проявляют гомофизиальность в своем вкусе и восприятии новаторских идей. Таким образом, рецензенты, которые разрабатывают традиционные идеи, будут давать низкую оценку инновационным проектам, в то время как рецензенты, которые разработали новаторские идеи, склонны гомофильно давать более высокие оценки инновационным проектам.
  • Второй элемент, ведущий к высокой вариативности процесса рецензирования, заключается в том, что рецензенты не тратят столько же времени на анализ проектов (или, что эквивалентно, не обладают одинаковыми способностями). Брезис и Бируку [18] показывают, что эта неоднородность среди рецензентов серьезно повлияет на весь процесс рецензирования и приведет к основному произволу в результатах процесса. [18]

Пиринговый процесс также используется для принятия проектов. (Для проектов процент принятия невелик и составляет от 1% до 20%, в среднем 10%. В европейских звонках по программе H2020 процент принятия составляет 1,8%.) Экспертная оценка более проблематична при выборе проектов, подлежащих рассмотрению. финансируются, поскольку инновационные проекты не получают высоких оценок в существующем процессе экспертной оценки. Процесс рецензирования приводит к соответствию, т. Е. К отбору менее спорных проектов и документов. Это может даже повлиять на тип предложений, которые будут предлагать ученые, поскольку ученым необходимо найти финансирование для своих исследований, как это обсуждалось Мартином, 1997: [19]«Распространенное неформальное мнение состоит в том, что легче получить средства для обычных проектов. Те, кто стремится получить финансирование, вряд ли предложат радикальные или неортодоксальные проекты. Поскольку вы не знаете, кто будет рецензентами, это Лучше всего предположить, что они находятся в середине пути. Поэтому приложение среднего уровня более безопасно ". [18]

Другие попытки реформировать процесс рецензирования исходят, в частности, из областей метанауки и журналистики . Реформаторы стремятся повысить надежность и эффективность процесса экспертной оценки и предоставить ему научную основу. [20] [21] [22] Были проверены альтернативы общепринятым методам рецензирования, [23] [24] в частности, открытое рецензирование , при котором комментарии видны читателям, как правило, с личностями рецензентов. также раскрыты, например, F1000 , eLife , BMJ и BioMed Central .

Правительственная политика

Дополнительная информация: Политика правительства США по экспертной оценке.

Европейский союз использует экспертную оценку в «открытого метода координации» политики в области активной политики на рынке труда с 1999 года [25] В 2004 году программа экспертных обзоров началась в социальной интеграции . [26] Каждая программа спонсирует около восьми встреч коллегиального обзора в год, на которых «принимающая страна» излагает данную политику или инициативу, открытую для рассмотрения полдюжиной других стран и соответствующими НПО европейского уровня. Обычно они встречаются в течение двух дней и включают посещение местных сайтов, где можно увидеть действие политики. Встрече предшествует составление экспертного заключения.по каким участвующим «равным странам» направляют комментарии. Результаты опубликованы в сети.

Экономическая комиссия ООН для Европы , через ЕЭК ООН обзоров результативности экологической деятельности , использование экспертной оценку, именуемую «взаимное обучение», чтобы оценить прогресс , достигнутый странами - членов в улучшении экологической политики.

Штат Калифорния - единственный штат США, в котором требуется научная экспертная оценка. В 1997 году губернатор Калифорнии подписал законопроект Сената 1320 (Sher), глава 295, статут 1997 года, который требует, чтобы до того, как какой-либо совет, департамент или офис CalEPA примут окончательную версию нормотворчества, научные выводы , выводы и предположения, на которых основано предлагаемое правило, должны быть представлены на независимую внешнюю научную экспертную оценку. Это требование включено в раздел 57004 Кодекса здравоохранения и безопасности штата Калифорния [27].

Медицинский

Основная статья: Клиническая экспертная оценка

Медицинская экспертная оценка может быть разделена на четыре классификации: [28]

  1. Клиническая экспертная оценка - это процедура оценки участия пациента в оказании помощи. Это часть прогрессирующей оценки профессиональной практики и ориентированной на профессиональную практику оценки - важные сторонники сертификации и привилегий поставщиков. [29]
  2. Экспертная оценка навыков клинического преподавания врачей и медсестер. [30] [31]
  3. Научная рецензия журнальных статей.
  4. Вторичный раунд экспертной оценки клинической ценности статей, одновременно опубликованных в медицинских журналах . [32]

Кроме того, « медицинская экспертная оценка » использовалась Американской медицинской ассоциацией для обозначения не только процесса повышения качества и безопасности в организациях здравоохранения, но также и процесса оценки клинического поведения или соответствия стандартам членства в профессиональном сообществе. [33] [34] Клиническая сеть считает, что это самый идеальный метод гарантии того, что распределенное исследование является надежным и что любые клинические лекарства, которые она защищает, защищены и жизнеспособны для людей. Таким образом, терминология плохо стандартизирована и специфична, особенно в качестве поискового термина в базе данных. [35]

Технический

Основная статья: Техническая экспертная оценка

В инженерии экспертная техническая оценка - это разновидность инженерной экспертизы. Технические партнерские проверки - это четко определенный процесс проверки для поиска и исправления дефектов, проводимый группой коллег с назначенными ролями. Технические коллегиальные обзоры проводятся коллегами, представляющими области жизненного цикла, на которые влияет анализируемый материал (обычно ограничивается 6 или менее людьми). Технические партнерские обзоры проводятся на этапах разработки, между этапными обзорами, по готовым продуктам или завершенным частям продуктов. [36]

Расширенная экспертная оценка

Расширенная экспертная оценка - это процесс включения людей и групп с опытом, выходящим за рамки опыта работающих ученых, в процессы обеспечения качества исследований . При систематическом проведении это может привести к более надежным или применимым результатам, чем процесс коллегиального обзора, проводимый исключительно учеными . [37]

Педагогический инструмент

Рецензирование, или равная оценка учащихся, широко используется в среднем и послесреднем образовании как часть процесса написания. Этот инструмент совместного обучения включает в себя группы студентов, которые анализируют работы друг друга и предоставляют отзывы и предложения для доработки. [38] Несмотря на то , что рецензирование широко используется в классах английского языка и композиции , рецензирование приобрело популярность и в других дисциплинах, которые требуют написания текста как части учебной программы. Эти другие дисциплины включают в себя социальные и точные науки. [39] [40]Рецензирование в классах помогает учащимся больше инвестировать в свою работу и в учебную среду в целом. Понимание того, как их работа читается различными читателями до того, как она будет оценена учителем, также может помочь учащимся прояснить идеи и понять, как убедительно донести до различных членов аудитории свои сочинения. Это также дает студентам профессиональный опыт, который они могут использовать позже, когда их попросят проанализировать работу коллег перед публикацией. [41]

Критики экспертной оценки в классах говорят, что она может быть неэффективной из-за отсутствия у студентов практики высказывания конструктивной критики или отсутствия опыта в писательском мастерстве в целом. [42] В ответ на эти опасения преподаватели могут предоставить примеры, моделировать экспертную оценку с классом или сосредоточиться на конкретных областях обратной связи во время процесса экспертной оценки. [43] Преподаватели могут также экспериментировать с рецензированием в классе или рецензированием в качестве домашнего задания или с рецензированием с использованием технологий, предоставляемых системами управления обучением в Интернете.

Смотрите также

  • Объективность (философия)
  • Академическое издание
  • Научная литература

использованная литература

  1. ^ Schimanski, Лесли A .; Альперин, Хуан Пабло (2018). «Оценка стипендий в академических процессах продвижения и пребывания в должности: прошлое, настоящее и будущее» . F1000 Исследования . 7 : 1605 DOI : 10,12688 / f1000research.16493.1 . ISSN  2046-1402 . PMC  6325612 . PMID  30647909 .
  2. ↑ Хэтч, Роберт А. (февраль 1998 г.). «Научная революция: сети переписки» . Университет Флориды . Архивировано 16 января 2009 года . Проверено 21 августа +2016 .
  3. ↑ Ольденбург, Генри (1665). «Послание Посвященное». Философские труды Королевского общества . 1 : 0. doi : 10.1098 / rstl.1665.0001 . S2CID 186211404 . 
  4. ↑ Холл, Мари Боас (2002). Генри Ольденбург: формирование Королевского общества . Оксфорд: Издательство Оксфордского университета . Bibcode : 2002heol.book ..... B . ISBN 978-0-19-851053-6.
  5. ^ Спир, Ray (2002). «История рецензирования». Тенденции в биотехнологии . 20 (8): 357–8. DOI : 10.1016 / S0167-7799 (02) 01985-6 . PMID 12127284 . 
  6. Перейти ↑ Dans, PE (1993). «Клиническая экспертная оценка: полировка потускневшего изображения» . Анналы внутренней медицины . 118 (7): 566–8. DOI : 10.7326 / 0003-4819-118-7-199304010-00014 . PMID 8442628 . S2CID 45863865 . Архивировано из оригинального 21 июля 2012 года .  
  7. ^ Милгром П., Вайнштейн П., Ратенер П., Рид В. А., Моррисон К.; Вайнштейн; Ратенер; Читать; Моррисон (1978). «Стоматологические осмотры для контроля качества: экспертная оценка по сравнению с самооценкой» . Американский журнал общественного здравоохранения . 68 (4): 394–401. DOI : 10,2105 / AJPH.68.4.394 . PMC 1653950 . PMID 645987 .  CS1 maint: несколько имен: список авторов ( ссылка )
  8. ^ «Руководство по программе экспертной оценки AICPA» . Американский институт бухгалтеров. Архивировано 28 октября 2012 года . Проверено 4 сентября 2012 года .
  9. ^ "Peer Review" . Комиссия по юридическим услугам Великобритании. 12 июля 2007 года Архивировано из оригинала 14 октября 2010 года.
  10. ^ «Обзоры и рейтинги адвокатов Мартиндейла-Хаббелла» . Мартиндейл. Архивировано 18 января 2020 года . Проверено 27 января 2020 года .
  11. ^ «Панели экспертной оценки - цель и процесс» (PDF) . Лесная служба Министерства сельского хозяйства США. 6 февраля 2006 года архивации (PDF) с оригинала на 5 июня 2011 года . Проверено 4 октября 2010 года .
  12. ^ Симс Джеральд К. (1989). «Рецензирование учащихся в классе: инструмент обучения и выставления оценок» (PDF) . Журнал агрономического образования . 18 (2): 105–108. DOI : 10,2134 / jae1989.0105 . Архивировано 22 декабря 2012 года (PDF) . Проверено 4 сентября 2012 года . Процесс рецензирования был двойным слепым, чтобы обеспечить анонимность как для авторов, так и для рецензентов, но в остальном он проводился так же, как и в научных журналах.
  13. ^ Лю, Цзяньго; Писарчик, Дон Торндайк; Тейлор, Уильям В. (2002). «Рецензирование в классе» (PDF) . Биология . 52 (9): 824–829. DOI : 10,1641 / 0006-3568 (2002) 052 [0824: PRITC] 2.0.CO; 2 . Архивировано 22 декабря 2012 года (PDF) . Проверено 4 сентября 2012 года .
  14. ^ KupferschmidtAug. 17, Кай; 2018; Ам, 9:15 (14 августа 2018 г.). «Исследователь, оказавшийся в центре эпического мошенничества, остается загадкой для тех, кто его разоблачил» . Наука | AAAS . Проверено 11 августа 2019 .CS1 maint: числовые имена: список авторов ( ссылка )
  15. ^ Couzin-Франкель J (сентябрь 2013). «Биомедицинские публикации. Секретные и субъективные экспертные оценки не поддаются изучению». Наука . 341 (6152): 1331. DOI : 10.1126 / science.341.6152.1331 . PMID 24052283 . 
  16. ^ Скваццони, Фламинио; Брезис, Элиза; Марушич, Ана (1 октября 2017 г.). «Наукометрия экспертной оценки» . Наукометрия . 113 (1): 501–502. DOI : 10.1007 / s11192-017-2518-4 . ISSN 1588-2861 . PMC 5629222 . PMID 29056787 .   
  17. ^ Ragone, Azzurra; Мириленка, Екатерина; Касати, Фабио; Марчезе, Маурицио (1 ноября 2013 г.). «Об экспертной оценке в информатике: анализ ее эффективности и предложения по улучшению» . Наукометрия . 97 (2): 317–356. DOI : 10.1007 / s11192-013-1002-Z . ISSN 0138-9130 . S2CID 16803499 .  
  18. ^ a b c d Brezis, Elise S .; Бируков, Александр (1 апреля 2020 г.). «Произвол в процессе экспертной оценки» . Наукометрия . 123 (1): 393–411. DOI : 10.1007 / s11192-020-03348-1 . ISSN 1588-2861 . S2CID 211017926 .   Текст был скопирован из этого источника, доступного по международной лицензии Creative Commons Attribution 4.0 .
  19. ^ Мартин, Б. "Глава 5: экспертная оценка как научное соответствие" . www.bmartin.cc .
  20. ↑ Ренни, Драммонд (7 июля 2016 г.). «Сделаем экспертную оценку научной». Новости природы . 535 (7610): 31–33. Bibcode : 2016Natur.535 ... 31R . DOI : 10.1038 / 535031a . PMID 27383970 . S2CID 4408375 .  
  21. ^ Славы Николай (11 ноября 2015). «Максимальное использование экспертной оценки» . eLife . 4 : e12708. DOI : 10.7554 / eLife.12708 . ISSN 2050-084X . PMC 4641509 . PMID 26559758 .   
  22. ^ Couzin-FrankelSep. 19, Дженнифер (18 сентября 2018 г.). « « Журналисты »используют научные методы для изучения научных публикаций. Улучшает ли их работа науку?» . Наука | AAAS . Проверено 18 июля 2019 .
  23. ^ Косгроув, Эндрю; Шейфе, Барбара (27 ноября 2018 г.). «Прозрачное рецензирование: результаты» . Геномная биология . 19 (1): 206. DOI : 10.1186 / s13059-018-1584-0 . ISSN 1474-760X . PMC 6260718 . PMID 30482224 .   
  24. ^ Паттерсон, Марк; Шекман, Рэнди (26 июня 2018 г.). «Новый поворот в экспертной оценке» . eLife . 7 : e36545. DOI : 10.7554 / eLife.36545 . ISSN 2050-084X . PMC 6019064 . PMID 29944117 .   
  25. ^ «Программа взаимного обучения - занятость, социальные вопросы и вовлечение - Европейская комиссия» . ec.europa.eu .
  26. ^ «Социальные равноправные - обзоры онлайн-казино» . www.peer-review-social-inclusion.eu . Архивировано 11 апреля 2021 года . Проверено 30 сентября 2021 года .
  27. ^ "Что такое научная экспертная оценка?" . ceparev.berkeley.edu . Архивировано 30 марта 2017 года . Проверено 30 марта 2017 года .
  28. ^ «ОБЗОР СОБСТВЕННИКОВ» (PDF) . Руководство для профессиональных, клинических и административных процессов . Архивировано (PDF) из оригинала 30 октября 2020 года . Проверено 6 августа 2020 .
  29. ^ Дейо-Свендсен, Марк Э .; Филлипс, Майкл Р .; Олбрайт, Джилл К .; Шиллинг, Кейт А.; Палмер, Карл Б. (октябрь – декабрь 2016 г.). «Систематический подход к клинической экспертной оценке в больнице с критическим доступом» . Управление качеством в здравоохранении . 25 (4): 213–218. DOI : 10.1097 / QMH.0000000000000113 . ISSN 1063-8628 . PMC 5054974 . PMID 27749718 .   
  30. ^ "Medschool.ucsf.edu" (PDF) . Архивировано 14 августа 2010 года из оригинального (PDF) .
  31. ^ Людвик Р., Дикман BC, Хердтнер С., Дуган М., Рош М. (ноябрь – декабрь 1998 г.). «Документирование стипендии клинического обучения посредством экспертной оценки». Медсестра-педагог . 23 (6): 17–20. DOI : 10.1097 / 00006223-199811000-00008 . PMID 9934106 . 
  32. ^ Haynes RB, Cotoi C, Holland J и др. (2006). «Рецензирование медицинской литературы для практикующих врачей второго порядка» . ДЖАМА . 295 (15): 1801–8. DOI : 10,1001 / jama.295.15.1801 . PMID 16622142 . 
  33. ^ Снельсон, Элизабет А. (2010). Руководство для врачей по уставам организаций медицинского персонала (PDF) . ama-assn.org . п. 131. Архивировано из оригинального (PDF) 6 августа 2011 года.
  34. ^ «Медицинский экспертный обзор» . Ama-assn.org . Архивировано из оригинала 6 марта 2010 года.
  35. ^ «Экспертная оценка: что это такое и почему мы это делаем?» . www.medicalnewstoday.com . 29 марта 2019 архивации с оригинала на 28 августа 2020 года . Проверено 6 августа 2020 .
  36. ^ Справочник по системной инженерии НАСА (PDF) . НАСА . 2007. СП-610С. Архивировано 19 октября 2013 года (PDF) . Проверено 19 июля 2019 .
  37. ^ Funtowicz, S (6 декабря 2001). «Экспертная оценка и контроль качества». В Смелсере, Нил Дж; Балтес, Пол Б. (ред.). Международная энциклопедия социальных и поведенческих наук . С. 11179–11183.
  38. ^ Сондергаард, Харальд; Малдер, Рауль А. (2012). «Совместное обучение через формирующую экспертную оценку: педагогика, программы и потенциал» . Образование в области компьютерных наук . 22 (4): 343–367. Bibcode : 2012CSEd ... 22..343S . DOI : 10.1080 / 08993408.2012.728041 . ISSN 0899-3408 . S2CID 40784250 . Архивировано 5 мая 2021 года . Проверено 18 августа 2021 года .  
  39. ^ Гилфорд, Уильям Х. (1 сентября 2001 г.). «Обучение рецензированию и процессу научного письма» . Достижения в физиологическом образовании . 25 (3): 167–175. DOI : 10.1152 / авансы.2001.25.3.167 . ISSN 1043-4046 . PMID 11824193 . Архивировано 18 августа 2021 года . Проверено 18 августа 2021 года .  
  40. ↑ Бейкер, Кимберли М. (1 ноября 2016 г.). «Рецензирование как стратегия улучшения письменного процесса студентов» . Активное обучение в высшем образовании . 17 (3): 179–192. DOI : 10.1177 / 1469787416654794 . ISSN 1469-7874 . S2CID 49527249 . Архивировано 30 сентября 2021 года . Проверено 18 августа 2021 года .  
  41. ^ «Преимущества экспертной оценки» . www.southwestern.edu . Архивировано 19 августа 2021 года . Проверено 19 августа 2021 года .
  42. ^ «Каковы недостатки коллегиального обзора студентов? | Синоним» . classroom.synonym.com . Архивировано 30 сентября 2021 года . Проверено 20 августа 2021 года .
  43. ^ «Проведение экспертной оценки - семинар для писателей» . Архивировано 20 августа 2021 года . Проверено 20 августа 2021 года .

дальнейшее чтение

  • Бази, Тони (2020). «Рецензирование: одинарное слепое, двойное слепое или всестороннее слепое?». Международный журнал урогинекологии (опубликован 9 декабря 2019 г.). 31 (3): 481–483. DOI : 10.1007 / s00192-019-04187-2 . PMID  31820012 . S2CID  208869313 .
  • Томкинс, Эндрю; Чжан, Мин; Хевлин, Уильям Д. (2017) [Составлено в октябре 2017 года]. Фиск, Сьюзен Т. (ред.). «Предвзятость рецензента в однократном или двойном слепом рецензировании» . Труды Национальной академии наук Соединенных Штатов Америки (опубликовано в ноябре 2017 г.). 114 (48): 12708–12713. DOI : 10.1073 / pnas.1707323114 . PMC  5715744 . PMID  29138317 .
  • Мартин, Элоиза (2016). «Как работает двойная слепая экспертная оценка и что нужно, чтобы быть хорошим судьей» . Современная социология . Шалфей . 64 (5): 691–698. DOI : 10.1177 / 0011392116656711 .
  • Хеймс, Ирэн (2007). Рецензирование и управление рукописью в научных журналах: рекомендации по передовой практике . Оксфорд, Великобритания: Blackwell Publishing . ISBN 978-1-4051-3159-9.

внешние ссылки

  • Памятник экспертной оценке, Москва
Источник « https://en.wikipedia.org/w/index.php?title=Peer_review&oldid=1050792211 »
Contribute a better translation