Экспертная оценка
Из Википедии, свободной энциклопедии
Перейти к навигации Перейти к поиску
Чтобы узнать о разделе экспертной оценки Википедии, см. WP:PR .
«Независимый обзор» перенаправляется сюда. Не путать с The Independent Review .
Чтобы узнать о других значениях, см. Рецензирование (значения) .

Рецензент Американского национального института здравоохранения, оценивающий заявку на грант.

Экспертная оценка — это оценка работы одним или несколькими людьми, обладающими такими же компетенциями, как и производители работы ( коллеги ). Он функционирует как форма саморегулирования квалифицированных представителей профессии в соответствующей области . Методы рецензирования используются для поддержания стандартов качества, повышения производительности и обеспечения доверия. В академических кругах научная экспертная оценка часто используется для определения пригодности научной статьи для публикации. Экспертная оценка может быть классифицирована по типу деятельности и по области или профессии, в которой осуществляется деятельность, например, медицинская экспертная оценка . Его также можно использовать в качестве учебного пособия, чтобы помочь учащимся улучшить письменные задания.

Профессиональный

Профессиональная экспертная оценка фокусируется на работе профессионалов с целью повышения качества, соблюдения стандартов или обеспечения сертификации. В академических кругах экспертная оценка используется для обоснования решений, касающихся продвижения преподавателей и пребывания в должности. [1] Генри Ольденбург (1619–1677) был британским философом немецкого происхождения, которого считают «отцом» современного научного рецензирования. [2] [3] [4]

Прототип процесса профессиональной экспертной оценки был рекомендован в « Этике врача », написанной Исхаком ибн Али ар-Рухави (854–931). Он заявил, что посещающий врач должен делать дубликаты записей о состоянии пациента при каждом посещении. Когда пациент вылечился или умер, записи врача рассматривались местным врачебным советом из других врачей, которые решали, соответствовало ли лечение требуемым стандартам медицинской помощи. [5]

Профессиональная экспертная оценка распространена в сфере здравоохранения, где ее обычно называют клинической экспертной рецензией . [6] Кроме того, поскольку экспертная оценка обычно сегментируется по клинической дисциплине, существует также экспертная оценка врачей, экспертная оценка медсестер, экспертная оценка стоматологии и т. д. [7] Многие другие профессиональные области имеют определенный уровень процесса экспертной оценки: бухгалтерский учет, [8] юриспруденция, [9] [10] инженерия (например, экспертная оценка программного обеспечения , техническая экспертная оценка ), авиация и даже управление лесными пожарами. [11]

Экспертная оценка используется в образовании для достижения определенных целей обучения, в частности, как инструмент для достижения процессов более высокого порядка в аффективной и когнитивной областях, как это определено таксономией Блума . Это может принимать различные формы, в том числе точно имитировать процессы научной рецензирования, используемые в науке и медицине. [12] [13]

научный

Основная статья: Научная экспертная оценка

Научная экспертная оценка (также известная как рецензирование ) — это процесс рассмотрения (обычно анонимно) черновой версии методов и результатов исследователя экспертами (или «коллегами») в той же области. Рецензирование помогает академическому издателю (то есть главному редактору , редакционной коллегии или программному комитету ) решить, следует ли принять работу, считать ее приемлемой с исправлениями или отклонить для официальной публикации в академическом журнале , монографии . или в материалах научной конференции .

Для экспертной оценки требуется сообщество экспертов в данной (часто узко определенной) области, обладающих квалификацией и способных проводить достаточно беспристрастную оценку. Беспристрастный обзор, особенно работы в менее узко определенных или междисциплинарных областях, может быть трудновыполним, и значение (хорошее или плохое) идеи может никогда не быть широко оценено среди ее современников. Рецензирование обычно считается необходимым для академического качества и используется в большинстве крупных научных журналов. Однако рецензирование не полностью предотвращает публикацию недействительных исследований [14] , а поскольку экспериментально контролируемые исследования этого процесса трудно организовать, прямых доказательств того, что рецензирование улучшает качество опубликованных статей, немного. [15]

Научная экспертная оценка неоднократно подвергалась критике, и на протяжении многих лет предлагались различные предложения по реформированию системы. Во многих исследованиях подчеркивались проблемы, присущие процессу рецензирования. (см. Squazzoni et al. 2017 [16] ). Более того, Ragone et al., (2013) [17] показали, что существует низкая корреляция между результатами рецензирования и будущим влиянием, измеряемым цитированием. Брезис и Бирукоу также показывают, что процесс рецензирования не работает должным образом. Они подчеркивают, что рейтинги ненадежны, например, смена рецензентов может оказать существенное влияние на результаты обзора. Два основных элемента влияют на предвзятость в процессе сверстников. [18]

  • Первый элемент заключается в том, что судьи проявляют гомофилию в своем вкусе и восприятии новаторских идей. Таким образом, рецензенты, развивающие традиционные идеи, будут склонны давать низкие оценки инновационным проектам, в то время как рецензенты, разработавшие инновационные идеи, склонны из-за гомофилии ставить более высокие оценки инновационным проектам.
  • Второй элемент, приводящий к большому расхождению в процессе рецензирования, заключается в том, что рецензенты не тратят одинаковое количество времени на анализ проектов (или, что то же самое, не обладают одинаковыми способностями). Brezis и Biruku [18] показывают, что эта неоднородность среди судей серьезно повлияет на весь процесс рецензирования и приведет к основному произволу в результатах процесса. [18]

Равный процесс также используется для принятия проектов. (Для проектов уровень одобрения невелик и составляет от 1% до 20%, в среднем 10%. В европейских конкурсах H2020 уровень принятия составляет 1,8%.) Экспертная оценка более проблематична при выборе проектов для рассмотрения. финансируется, поскольку инновационные проекты не занимают высоких позиций в существующем процессе рецензирования. Процесс рецензирования приводит к соответствию, т. е. к выбору менее противоречивых проектов и статей. Это может даже повлиять на тип предложений, которые будут предлагать ученые, поскольку ученым необходимо найти финансирование для своих исследований, как обсуждалось Мартином, 1997: [19]«Распространенное неформальное мнение состоит в том, что легче получить средства для традиционных проектов. Те, кто стремится получить финансирование, вряд ли будут предлагать радикальные или неортодоксальные проекты. Поскольку вы не знаете, кто будет судьями, это лучше всего предположить, что они являются промежуточными. Следовательно, промежуточное приложение безопаснее». [18]

Другие попытки реформировать процесс рецензирования исходят, в частности, из областей метанауки и журналистики . Реформаторы стремятся повысить надежность и эффективность процесса рецензирования и обеспечить его научную основу. [20] [21] [22] Были проверены альтернативы общепринятым практикам рецензирования, [23] [24] в частности открытое рецензирование , когда комментарии видны читателям, как правило, с именами рецензентов. также раскрыты, например, F1000 , eLife , BMJ и BioMed Central .

Правительственная политика

Дополнительная информация: Политика рецензирования правительства США .

Европейский союз использует экспертную оценку в «Открытом методе координации» политики в области активной политики на рынке труда с 1999 года. [25] В 2004 году началась программа экспертной оценки в области социальной интеграции . [26] Каждая программа ежегодно спонсирует около восьми совещаний по экспертной оценке, на которых «принимающая страна» выставляет данную политику или инициативу на рассмотрение полдюжины других стран и соответствующих неправительственных организаций европейского уровня. Обычно они собираются в течение двух дней и включают посещение местных сайтов, где можно увидеть политику в действии. Совещанию предшествует составление экспертного заключениякакие участвующие «равные страны» представляют комментарии. Результаты публикуются в сети.

Европейская экономическая комиссия Организации Объединенных Наций через Обзоры результативности экологической деятельности ЕЭК ООН использует экспертную оценку, называемую «равным обучением», для оценки прогресса, достигнутого ее странами-членами в улучшении их экологической политики.

Штат Калифорния — единственный штат США, в котором обязательна научная экспертная оценка. В 1997 году губернатор Калифорнии подписал законопроект Сената 1320 (Шер), глава 295, устав 1997 года, который предписывает, чтобы до того, как какой-либо совет, департамент или офис CalEPA примет окончательную версию нормотворчества, научные выводы , выводы и предположения, на которых основано предлагаемое правило, должны быть представлены на независимое внешнее научное рецензирование. Это требование включено в раздел 57004 Кодекса здоровья и безопасности штата Калифорния. [27]

Медицинский

Основная статья: Клиническая экспертная оценка

Медицинскую экспертную оценку можно разделить на четыре классификации: [28]

  1. Клиническая экспертная оценка — это процедура оценки вовлеченности пациента в процесс лечения. Это часть прогрессивной оценки профессиональной практики и централизованной оценки профессиональной практики — важные сторонники сертификации и привилегий поставщиков. [29]
  2. Коллегиальная оценка навыков клинического преподавания как для врачей, так и для медсестер. [30] [31]
  3. Научное рецензирование журнальных статей.
  4. Вторичный раунд экспертной оценки клинической ценности статей, одновременно публикуемых в медицинских журналах . [32]

Кроме того, « медицинская экспертная оценка » использовалась Американской медицинской ассоциацией для обозначения не только процесса улучшения качества и безопасности в организациях здравоохранения, но и процесса оценки клинического поведения или соответствия стандартам членства в профессиональном обществе. [33] [34] Клиническая сеть считает, что это самый идеальный метод, гарантирующий, что распределенное исследование надежно и что любые клинические лекарства, которые она защищает, защищены и жизнеспособны для отдельных лиц. Таким образом, терминология имеет плохую стандартизацию и специфичность, особенно в качестве условия поиска в базе данных. [35]

Технические

Основная статья: Техническая экспертная оценка

В инженерии техническая экспертная оценка является типом инженерной проверки. Технические экспертные проверки — это четко определенный процесс проверки для обнаружения и устранения дефектов, проводимый командой коллег с назначенными ролями. Технические экспертные оценки проводятся коллегами, представляющими области жизненного цикла, на которые влияет рецензируемый материал (обычно не более 6 человек). Технические экспертные оценки проводятся на этапах разработки, между промежуточными проверками, готовых продуктов или завершенных частей продуктов. [36]

Расширенная экспертная оценка

Расширенное рецензирование — это процесс включения людей и групп с опытом, превышающим опыт работающих ученых, в процессы обеспечения качества исследований. При систематическом проведении это может привести к более надежным или применимым результатам, чем процесс рецензирования, проводимый исключительно учеными. [37]

Педагогический инструмент

Рецензирование или коллегиальная оценка учащихся широко используется в среднем и послесреднем образовании как часть процесса написания. Этот инструмент совместного обучения включает в себя группы студентов, которые анализируют работу друг друга и предоставляют отзывы и предложения по исправлению. [38] Несмотря на то, что экспертная оценка широко используется на уроках английского языка и сочинения , она приобрела популярность и в других дисциплинах, которые требуют письма как части учебной программы. Эти другие дисциплины включают в себя социальные и естественные науки . [39] [40]Экспертная оценка в классе помогает учащимся больше вкладываться в свою работу и в классную среду в целом. Понимание того, как их работа читается разнообразной аудиторией до того, как она будет оценена учителем, также может помочь учащимся прояснить идеи и понять, как убедительно достучаться до разных членов аудитории через их письмо. Это также дает студентам профессиональный опыт, который они могут использовать позже, когда их попросят просмотреть работу коллеги перед публикацией. [41]

Критики рецензирования в классе говорят, что оно может быть неэффективным из-за отсутствия у учащихся практики конструктивной критики или отсутствия опыта письма в целом. [42] В качестве ответа на эти опасения преподаватели могут привести примеры, смоделировать экспертную оценку с классом или сосредоточиться на конкретных областях обратной связи в процессе экспертной оценки. [43] Преподаватели могут также экспериментировать с рецензированием в классе в качестве домашнего задания или рецензированием с использованием технологий, предоставляемых онлайн-системами управления обучением.

Смотрите также

  • Объективность (философия)
  • Академическое издательство
  • Научная литература

использованная литература

  1. ^ Шимански, Лесли А .; Альперин, Хуан Пабло (2018). «Оценка стипендий в процессах академического продвижения и пребывания в должности: прошлое, настоящее и будущее» . F1000Исследования . 7 : 1605. doi : 10.12688/f1000research.16493.1 . ISSN  2046-1402 . ПМС  6325612 . PMID  30647909 .
  2. ^ Хэтч, Роберт А. (февраль 1998 г.). «Научная революция: сети корреспонденции» . Университет Флориды . Архивировано из оригинала 16 января 2009 года . Проверено 21 августа 2016 г.
  3. ^ Ольденбург, Генри (1665). «Послание-посвящение». Философские труды Королевского общества . 1 : 0. doi : 10.1098/rstl.1665.0001 . S2CID 186211404 . 
  4. ^ Холл, Мари Боас (2002). Генри Ольденбург: формирование Королевского общества . Оксфорд: Издательство Оксфордского университета . Бибкод : 2002heol.book.....B . ISBN 978-0-19-851053-6.
  5. ^ Спир, Рэй (2002). «История процесса рецензирования». Тенденции биотехнологии . 20 (8): 357–8. doi : 10.1016/S0167-7799(02)01985-6 . PMID 12127284 . 
  6. ^ Дэнс, ЧП (1993). «Клиническая экспертная оценка: полировка потускневшего изображения» . Анналы внутренней медицины . 118 (7): 566–8. doi : 10.7326/0003-4819-118-7-199304010-00014 . PMID 8442628 . S2CID 45863865 . Архивировано из оригинала 21 июля 2012 года.  
  7. ^ Милгром П., Вайнштейн П., Ратенер П., Рид В.А., Моррисон К.; Вайнштейн; Ратенер; Читать; Моррисон (1978). «Стоматологические осмотры для контроля качества: экспертная оценка или самооценка» . Американский журнал общественного здравоохранения . 68 (4): 394–401. doi : 10.2105/AJPH.68.4.394 . ПМС 1653950 . PMID 645987 .  CS1 maint: несколько имен: список авторов ( ссылка )
  8. ^ «Руководство по программе рецензирования AICPA» . Американский институт CPA. Архивировано из оригинала 28 октября 2012 года . Проверено 4 сентября 2012 г.
  9. ^ "Экспертная оценка" . Комиссия по юридическим услугам Великобритании. 12 июля 2007 г. Архивировано из оригинала 14 октября 2010 г.
  10. ^ "Обзоры и рейтинги адвокатов Мартиндейла-Хаббелла" . Мартиндейл. Архивировано из оригинала 18 января 2020 года . Проверено 27 января 2020 г.
  11. ^ «Группы экспертной оценки - цель и процесс» (PDF) . Лесная служба Министерства сельского хозяйства США. 6 февраля 2006 г. Архивировано (PDF) из оригинала 5 июня 2011 г .. Проверено 4 октября 2010 г.
  12. ^ Симс Джеральд К. (1989). «Рецензирование учащимися в классе: инструмент преподавания и оценивания» (PDF) . Журнал агрономического образования . 18 (2): 105–108. дои : 10.2134/jae1989.0105 . Архивировано (PDF) из оригинала 22 декабря 2012 г .. Проверено 4 сентября 2012 г. Процесс рецензирования был двойным слепым, чтобы обеспечить анонимность как авторов, так и рецензентов, но в остальном он обрабатывался способом, аналогичным тому, который используется в научных журналах.
  13. ^ Лю, Цзянго; Писарчик, Дон Торндайк; Тейлор, Уильям В. (2002). «Рецензирование в классе» (PDF) . Бионаука . 52 (9): 824–829. doi : 10.1641/0006-3568(2002)052[0824:PRITC]2.0.CO;2 . Архивировано (PDF) из оригинала 22 декабря 2012 г .. Проверено 4 сентября 2012 г.
  14. ^ Купфершмидт, август. 17 лет, Кай; 2018; утра, 9:15 (14 августа 2018 г.). «Исследователь в центре эпической аферы остается загадкой для тех, кто его разоблачил» . Наука | АААС . Проверено 11 августа 2019 г. .CS1 maint: числовые названия: список авторов ( ссылка )
  15. ↑ Кузен-Франкель Дж. (сентябрь 2013 г.). «Биомедицинские публикации. Скрытная и субъективная рецензия не поддается изучению». Наука . 341 (6152): 1331. doi : 10.1126/science.341.6152.1331 . PMID 24052283 . 
  16. ^ Скваццони, Фламинио; Брезис, Элиза; Марушич, Ана (1 октября 2017 г.). «Наукометрия рецензирования» . наукометрия . 113 (1): 501–502. doi : 10.1007/s11192-017-2518-4 . ISSN 1588-2861 . ПВК 5629222 . PMID 29056787 .   
  17. ^ Рагоне, Адзурра; Мириленко, Екатерина; Казати, Фабио; Марчезе, Маурицио (1 ноября 2013 г.). «О рецензировании в области информатики: анализ его эффективности и предложения по улучшению» . наукометрия . 97 (2): 317–356. doi : 10.1007/s11192-013-1002-z . ISSN 0138-9130 . S2CID 16803499 .  
  18. ^ a b c d Брезис, Элиза С .; Бирюков Александр (1 апреля 2020 г.). «Произвольность в процессе рецензирования» . наукометрия . 123 (1): 393–411. doi : 10.1007/s11192-020-03348-1 . ISSN 1588-2861 . S2CID 211017926 .   Текст был скопирован из этого источника, доступного по международной лицензии Creative Commons Attribution 4.0 .
  19. ^ Мартин, Б. «Глава 5: Рецензирование как научное соответствие» . www.bmartin.cc .
  20. ↑ Ренни, Драммонд (7 июля 2016 г.). «Давайте сделаем рецензирование научным». Новости природы . 535 (7610): 31–33. Бибкод : 2016Natur.535...31R . дои : 10.1038/535031a . PMID 27383970 . S2CID 4408375 .  
  21. ↑ Славов, Николай (11 ноября 2015 г.). «Максимальное использование экспертной оценки» . электронная жизнь . 4 : e12708. doi : 10.7554/eLife.12708 . ISSN 2050-084X . ПМС 4641509 . PMID 26559758 .   
  22. ^ Кузен-Франкель, сент. 19, Дженнифер (18 сентября 2018 г.). « Журналисты используют научные методы для изучения научных публикаций. Совершенствует ли их работа науку? » . Наука | АААС . Проверено 18 июля 2019 г. .
  23. ^ Косгроув, Эндрю; Шейфет, Барбара (27 ноября 2018 г.). «Прозрачное экспертное исследование: результаты» . Биология генома . 19 (1): 206. doi : 10.1186/s13059-018-1584-0 . ISSN 1474-760X . ПМС 6260718 . PMID 30482224 .   
  24. ^ Паттерсон, Марк; Шекман, Рэнди (26 июня 2018 г.). «Новый поворот в рецензировании» . электронная жизнь . 7 : e36545. doi : 10.7554/eLife.36545 . ISSN 2050-084X . ПМС 6019064 . PMID 29944117 .   
  25. ^ «Программа взаимного обучения - Занятость, социальные вопросы и интеграция - Европейская комиссия» . ec.europa.eu .
  26. ^ «Социальный одноранговый — обзоры онлайн-казино» . www.peer-review-social-inclusion.eu . Архивировано из оригинала 11 апреля 2021 года . Проверено 30 сентября 2021 г.
  27. ^ "Что такое научное рецензирование?" . ceparev.berkeley.edu . Архивировано из оригинала 30 марта 2017 года . Проверено 30 марта 2017 г.
  28. ^ "ОБЗОР КОЛЛЕКТИВОВ" (PDF) . Руководство для профессиональных, клинических и административных процессов . Архивировано (PDF) из оригинала 30 октября 2020 г .. Проверено 6 августа 2020 г. .
  29. ^ Дейо-Свендсен, Марк Э .; Филлипс, Майкл Р.; Олбрайт, Джилл К.; Шиллинг, Кейт А .; Палмер, Карл Б. (октябрь – декабрь 2016 г.). «Систематический подход к клинической экспертной оценке в больнице критического доступа» . Управление качеством в здравоохранении . 25 (4): 213–218. doi : 10.1097/QMH.0000000000000113 . ISSN 1063-8628 . ПМС 5054974 . PMID 27749718 .   
  30. ^ "Medschool.ucsf.edu" (PDF) . Архивировано из оригинала (PDF) 14 августа 2010 г.
  31. ^ Людвик Р., Дикман Б. К., Хердтнер С., Дуган М., Рош М. (ноябрь – декабрь 1998 г.). «Документирование стипендии клинического обучения посредством экспертной оценки». Воспитатель медсестры . 23 (6): 17–20. doi : 10.1097/00006223-199811000-00008 . PMID 9934106 . 
  32. ^ Хейнс Р.Б., Котой С., Холланд Дж. и др. (2006). «Рецензирование второй степени медицинской литературы для практикующих врачей» . ДЖАМА . 295 (15): 1801–1808 гг. дои : 10.1001/jama.295.15.1801 . PMID 16622142 . 
  33. ^ Снельсон, Элизабет А. (2010). Руководство для врачей по уставу организации медицинского персонала (PDF) . ama-assn.org . п. 131. Архивировано из оригинала (PDF) 6 августа 2011 г.
  34. ^ "Медицинская экспертная оценка" . Ama-assn.org . Архивировано из оригинала 6 марта 2010 года.
  35. ^ «Рецензирование: что это такое и почему мы это делаем?» . www.medicalnewstoday.com . 29 марта 2019 года. Архивировано из оригинала 28 августа 2020 года . Проверено 6 августа 2020 г. .
  36. ^ Справочник по системной инженерии НАСА (PDF) . НАСА . 2007. СП-610С. Архивировано (PDF) из оригинала 19 октября 2013 г .. Проверено 19 июля 2019 г. .
  37. ↑ Funtowicz , S (6 декабря 2001 г.). «Рецензирование и контроль качества». В Смелзере, Нил Дж.; Балтес, Пол Б. (ред.). Международная энциклопедия социальных и поведенческих наук . стр. 11179–11183.
  38. ^ Зондергаард, Харальд; Малдер, Рауль А. (2012). «Совместное обучение через формирующую экспертную оценку: педагогика, программы и потенциал» . Образование в области компьютерных наук . 22 (4): 343–367. Бибкод : 2012CSEd...22..343S . дои : 10.1080/08993408.2012.728041 . ISSN 0899-3408 . S2CID 40784250 . Архивировано из оригинала 5 мая 2021 года . Проверено 18 августа 2021 г.  
  39. ^ Гилфорд, Уильям Х. (1 сентября 2001 г.). «Обучение рецензированию и процесс научного письма» . Достижения в физиологии образования . 25 (3): 167–175. doi : 10.1152/advanced.2001.25.3.167 . ISSN 1043-4046 . PMID 11824193 . Архивировано из оригинала 18 августа 2021 года . Проверено 18 августа 2021 г.  
  40. ↑ Бейкер, Кимберли М. (1 ноября 2016 г.). «Рецензирование как стратегия улучшения письменного процесса учащихся» . Активное обучение в высшей школе . 17 (3): 179–192. DOI : 10.1177 / 1469787416654794 . ISSN 1469-7874 . S2CID 49527249 . Архивировано из оригинала 30 сентября 2021 года . Проверено 18 августа 2021 .  
  41. ^ «Преимущества экспертной оценки» . www.southwestern.edu . Архивировано из оригинала 19 августа 2021 года . Источник +19 августа 2021 .
  42. ^ «Каковы недостатки студенческой экспертной оценки? | Синоним» . class.synonym.com . Архивировано из оригинала 30 сентября 2021 года . Проверено 20 августа 2021 г.
  43. ^ «Проведение экспертной оценки - Мастерская писателей» . Архивировано из оригинала 20 августа 2021 года . Проверено 20 августа 2021 г.

дальнейшее чтение

  • Бази, Тони (2020). «Экспертная оценка: одиночный слепой, двойной слепой или полностью слепой?». Международный урогинекологический журнал (опубликован 9 декабря 2019 г.). 31 (3): 481–483. doi : 10.1007/s00192-019-04187-2 . PMID  31820012 . S2CID  208869313 .
  • Томкинс, Эндрю; Чжан, Мин; Хевлин, Уильям Д. (2017) [Составлено в октябре 2017 г.]. Фиске, Сьюзен Т. (ред.). «Предвзятость рецензента в одиночном и двойном слепом рецензировании» . Труды Национальной академии наук Соединенных Штатов Америки (опубликовано в ноябре 2017 г.). 114 (48): 12708–12713. doi : 10.1073/pnas.1707323114 . ПВК 5715744  . PMID 29138317 . 
  • Мартин, Элоиза (2016). «Как работает двойное слепое рецензирование и что нужно, чтобы стать хорошим рецензентом» . Современная социология . МУДРЕЦ . 64 (5): 691–698. дои : 10.1177/0011392116656711 .
  • Хеймс, Ирэн (2007). Экспертное рецензирование и управление рукописями в научных журналах: рекомендации по передовой практике . Оксфорд, Великобритания: издательство Blackwell Publishing . ISBN 978-1-4051-3159-9.

внешняя ссылка

  • Памятник экспертной оценке, Москва
Получено с " https://en.wikipedia.org/w/index.php?title=Peer_review&oldid=1066444355 "
Contribute a better translation