Из Википедии, свободной энциклопедии
Перейти к навигации Перейти к поиску

Statcheck - это пакет R, предназначенный для обнаружения статистических ошибок в рецензируемых статьях по психологии [1] путем поиска статистических результатов в статьях, повторения вычислений, описанных в каждой статье, и сравнения двух значений, чтобы увидеть, совпадают ли они. [2] Он использует тот факт, что в психологических исследованиях обычно сообщается о своих результатах в соответствии с руководящими принципами, опубликованными Американской психологической ассоциацией (APA). [3] Это приводит к нескольким недостаткам: он может обнаруживать только результаты, сообщенные полностью и в точном соответствии с рекомендациями APA, [4]и он не может обнаружить статистику, которая включена только в таблицы в документе. [5] Еще одним ограничением является то , что Statcheck не может иметь дело со статистическими поправками к статистике испытаний, таких как Теплица-Geisser или Бонферрони поправок, которые фактически делают тесты более консервативными. [6] Некоторые журналы начали апробировать Statcheck в рамках процесса экспертной оценки . Statcheck - это бесплатное программное обеспечение, опубликованное под лицензией GNU GPL v3. [7]

Срок действия [ править ]

В 2017 году разработчики Statcheck опубликовали препринт , в котором говорится, что программа точно выявляла статистические ошибки в 95% случаев. [8] Это исследование достоверности включало более 1000 проверенных вручную тестов, из которых 5,00% оказались несоответствующими. [9]Исследование показало, что Statcheck распознает 60% всех статистических тестов. Повторный анализ этих данных показал, что если программа помечала тест как несогласованный, он был правильным в 60,4% случаев. И наоборот, если тест был действительно несогласованным, Statcheck отмечал его примерно в 51,8% случаев (эта оценка включала необнаруженные тесты и предполагала, что у них такой же уровень несоответствий, что и у обнаруженных тестов). В целом точность Statcheck составила 95,9%, что на полпроцента выше, чем ожидаемый уровень вероятности в 95,4%, когда все тесты принимаются просто за чистую монету. Statcheck был консервативно предвзят (примерно на одно стандартное отклонение) в отношении тестов с пометкой. [10]

В более поздних исследованиях Statcheck использовался для статей, опубликованных в канадских психологических журналах, и был обнаружен такой же уровень статистических ошибок отчетности, что и у первоначальных авторов на основе 30-летней выборки таких статей. В том же исследовании было обнаружено множество типографских ошибок в онлайн-версиях относительно старых документов, и исправление этих ошибок снизило расчетный процент тестов, о которых было сообщено с ошибками. [11]

История [ править ]

Statcheck был впервые разработан в 2015 году Мишель Нуйтен из Тилбургского университета и Сашей Эпскамп из Амстердамского университета . [12] [8] Позже в том же году Нуйтен и ее коллеги опубликовали статью с использованием Statcheck по более чем 30 000 статей по психологии и сообщили, что «половина всех опубликованных статей по психологии ... содержала по крайней мере одно значение p, которое не соответствовало его тесту. ". [13] Исследование было впоследствии положительно написано в журнале Nature . [14] [15] В 2016 году Нуйтен и Эпскамп получили премию Лимера-Розенталя в области открытых социальных наук от Инициативы Беркли за прозрачность в социальных науках за создание Statcheck.[16]

В 2016 году исследователь из Тилбургского университета Крис Хартгеринк использовал Statcheck для сканирования более 50 000 статей по психологии и опубликовал результаты в PubPeer ; Впоследствии он опубликовал данные, извлеченные из этих статей, в статье в журнале Data . [14] [17] Хартгеринк сказал Motherboard, что «мы проверяем, насколько достоверна реальная наука, которую представляет наука». [18] Он также сказал Vox, что намеревался использовать Statcheck для выполнения функции, аналогичной программе проверки орфографии . [12] Действия Хартгеринка также были отправлены по электронной почте.предупреждения для каждого исследователя, который является автором или соавтором статьи, отмеченной им. Эти пометки и их размещение на публичном форуме оказались противоречивыми, что побудило Немецкое психологическое общество выступить с заявлением, осуждающим такое использование Statcheck. [14] Психолог Дороти В.М. Бишоп , у которой были две собственные статьи, отмеченные Statcheck, раскритиковала программу за то, что она публично пометила многие статьи (включая одну из ее собственных), несмотря на то, что не обнаружила в ней никаких статистических ошибок. [19] Другие критики утверждали, что Statcheck сообщал о наличии ошибок в документах, которые на самом деле их не содержали, из-за неспособности инструмента правильно считывать статистику из определенных документов. [20]

Журналы , которые начали пилотирования использование Statcheck как часть процесса рецензирования включают Psychological Science , [21] в канадский журнал сексуальности человека , [22] и журнал экспериментальной социальной психологии . [23] открытый доступ издатель PsychOpen также использовал его на все документы , принятых к публикации в их журналах , так как 2017. [24]

См. Также [ править ]

  • Злоупотребление статистикой
  • Неправильное использование p-значений
  • Метанаука

Ссылки [ править ]

  1. ^ Nuijten, Michèle Б. (2017-02-28). «БайесМед и статистика» . Aps Observer . 30 (3) . Проверено 18 октября 2018 .
  2. ^ Бейкер, Моня (2016-11-25). «Программа для проверки статистики будоражит психологию» . Природа . 540 (7631): 151–152. Bibcode : 2016Natur.540..151B . DOI : 10.1038 / 540151a . ISSN 0028-0836 . PMID 27905454 .  
  3. ^ Рен, Джонатан Д. (2018-06-15). «Алгоритмический аутсорсинг обнаружения статистических ошибок и других проблем» . Журнал EMBO . 37 (12): e99651. DOI : 10.15252 / embj.201899651 . ISSN 0261-4189 . PMC 6003655 . PMID 29794111 .   
  4. ^ Коломбо, Маттео; Дуэв, Георгий; Nuijten, Michèle B .; Шпренгер, янв (2018-04-12). «Несоответствия статистической отчетности в экспериментальной философии» . PLOS ONE . 13 (4): e0194360. Bibcode : 2018PLoSO..1394360C . DOI : 10.1371 / journal.pone.0194360 . ISSN 1932-6203 . PMC 5896892 . PMID 29649220 .   
  5. ^ ван дер Зи, Тим; Анайя, Иордания; Браун, Николас JL (2017-07-10). «Статистическая изжога: попытка переварить четыре публикации о пицце из лаборатории Cornell Food and Brand Lab» . BMC Nutrition . 3 (1): 54. DOI : 10,1186 / s40795-017-0167-х . ISSN 2055-0928 . PMC 7050813 . PMID 32153834 .   
  6. ^ Шмидт, Томас (2016). «Источники ложных срабатываний и ложноотрицательных результатов в алгоритме Statcheck». arXiv : 1610.01010 [ q-bio.QM ].
  7. ^ https://github.com/MicheleNuijten/statcheck/blob/master/DESCRIPTION
  8. ^ а б Чавла, Далмит Сингх (2017-11-28). «Сомнительное программное обеспечение оказывается на удивление точным в обнаружении ошибок в статьях по психологии» . Наука . Проверено 18 октября 2018 .
  9. ^ Nuijten, Мишель Б. «Достоверность инструмента« Statcheck »в обнаружении несоответствий в статистической отчетности» . PsyArXiv .
  10. ^ Шмидт, Томас. "Не работает Statcheck: Все числа" . PsyArXiv .
  11. ^ Грин, Кристофер Д .; Аббас, Сахир; Белливо, Арли; Берибийский, Наталья; Дэвидсон, Ян Дж .; ДиДжиованни, Джулиан; Хейдари, Кристалл; Мартин, Шейн М .; Осенбруг, Эрик (август 2018 г.). «Statcheck в Канаде: какая доля статей журнала CPA содержит ошибки в сообщении p-значений?» . Канадская психология . 59 (3): 203–210. DOI : 10,1037 / cap0000139 . ISSN 1878-7304 . S2CID 149813772 .  
  12. ^ a b Резник, Брайан (30.09.2016). «Бот просмотрел тысячи исследований в поисках простых математических ошибок. Результаты вызывают беспокойство» . Vox . Проверено 18 октября 2018 .
  13. ^ Nuijten, Michèle B .; Хартгеринк, Крис HJ; ван Ассен, Марсель АЛМ; Эпскамп, Саша; Wicherts, Jelte M. (23.10.2015). «Распространенность ошибок статистической отчетности в психологии (1985–2013)» . Методы исследования поведения . 48 (4): 1205–1226. DOI : 10,3758 / s13428-015-0664-2 . ISSN 1554-3528 . PMC 5101263 . PMID 26497820 .   
  14. ^ a b c Бураний, Стивен (2017-02-01). «Высокотехнологичная война против научного мошенничества» . Хранитель . Проверено 18 октября 2018 .
  15. ^ Бейкер, Моня (2015-10-28). «Умное программное обеспечение обнаруживает статистические ошибки в статьях по психологии» . Природа . DOI : 10.1038 / nature.2015.18657 . ISSN 1476-4687 . S2CID 187878096 . Проверено 19 октября 2018 .  
  16. ^ "Мишель Нуйтен" . Инициатива Беркли по прозрачности в социальных науках . 2016-12-16 . Проверено 19 октября 2018 .
  17. ^ Хартгеринк, Крис (2016-09-23). «688 112 статистических результатов: статьи по психологии интеллектуального анализа данных для результатов статистических тестов» . Данные . 1 (3): 14. doi : 10.3390 / data1030014 .
  18. ^ Buranyi, Стивен (2016-09-05). «Ученые беспокоятся о« экспертной оценке алгоритма » » . Материнская плата . Проверено 18 октября 2018 .
  19. ^ «Вот почему более 50 000 исследований по психологии собираются иметь записи в PubPeer» . Часы возврата . 2016-09-02 . Проверено 18 октября 2018 .
  20. ^ Stokstad, Эрик (2018-09-21). «Отряд правды». Наука . 361 (6408): 1189–1191. Bibcode : 2018Sci ... 361.1189S . DOI : 10.1126 / science.361.6408.1189 . ISSN 0036-8075 . PMID 30237339 .  
  21. ^ Фридман, Леонард П .; Венугопалан, Гаутам; Висман, Розанна (2017-05-02). «Воспроизводимость-2020: прогресс и приоритеты» . F1000 Исследования . 6 : 604. DOI : 10,12688 / f1000research.11334.1 . ISSN 2046-1402 . PMC 5461896 . PMID 28620458 .   
  22. ^ Сакалук, Джон К .; Грэм, Синтия А. (17 ноября 2017 г.). «Содействие прозрачному освещению конфликтов интересов и статистическому анализу в журнале Sex Research» . Журнал сексуальных исследований . 55 (1): 1–6. DOI : 10.1080 / 00224499.2017.1395387 . ISSN 0022-4499 . PMID 29148841 .  
  23. ^ JESP пилотирует использование statcheck . Журнал экспериментальной социальной психологии . Проверено 19 октября 2018 .
  24. ^ «PsychOpen использует инструмент Statcheck для проверки качества» . PsychOpen . 2017-04-10 . Проверено 23 октября 2018 .

Внешние ссылки [ править ]

  • Официальный сайт
  • statcheck .io