Оценка Peer , или самооценка , это процесс , при котором студенты или их задания сверстников класса или тесты , основанные на учительские тестов . [1] Эта практика используется для экономии времени учителей и улучшения понимания студентами материалов курса, а также для улучшения их метакогнитивных навыков. Рубрики часто используются вместе с самооценкой и оценкой коллег. [2]
Преимущества самооценки и оценки коллег
Экономит время учителей
Задания оценок учащимся могут сэкономить время учителя [3], потому что весь класс можно выставить вместе за то время, которое потребовалось бы учителю для оценки одной работы. Более того, вместо того, чтобы заставлять учителя торопиться с каждой работой, учащиеся могут не торопиться, чтобы исправить их. Студенты могут тратить больше времени на работу, потому что им нужно поставить только одну оценку и, следовательно, они могут выполнять более тщательную работу. [4]
Более быстрая обратная связь
Если учащиеся оценивают работы в классе или оценивают устные презентации своих сверстников [5], уменьшается время, необходимое учащимся для получения их отзывов. Вместо того, чтобы ждать отзывов о своей работе, самооценка и коллегиальная оценка позволяют оценивать задания вскоре после завершения. Тогда студентам не нужно ждать, пока они перейдут к новому материалу, и информация больше не будет свежей в их памяти. [6]
Было также показано, что более быстрое время обработки обратной связи увеличивает вероятность принятия ее получателем. Контролируемый эксперимент, проведенный в режиме массового открытого онлайн-курса (MOOC), показал, что итоговые оценки учащихся улучшаются, когда обратная связь предоставляется быстро, но не при задержке на 24 часа. [7]
Педагогический
Роль учителя по оценке заставляет учеников больше сосредотачиваться на оценках, не стремясь получить обратную связь. [8] Студенты могут учиться, оценивая работы [6] или оценивая устные презентации других. [9] Часто учителя не повторяют ответы на тесты и не дают ученикам возможность узнать, что они сделали неправильно. Самооценка и оценка коллег позволяют учителям помочь ученикам понять ошибки, которые они сделали. Это улучшит последующую работу и даст студентам время для усвоения информации и может привести к лучшему пониманию. [10] Исследование, проведенное Сэдлером и Гудом, показало, что учащиеся, которые самостоятельно оценивали свои тесты, лучше справлялись с последующими тестами. Студенты могли видеть, что они сделали неправильно, и могли исправлять такие ошибки в более поздних заданиях. После выставления оценок ученики не обязательно добивались более высоких результатов. [11]
Метакогнитивный
Благодаря самооценке и оценке со стороны коллег студенты могут видеть ошибки в своем мышлении и исправлять любые проблемы в будущих заданиях. Оценивая задания, учащиеся могут узнать, как более точно выполнять задания и как улучшить результаты своих тестов. [6]
Профессора Лин-Аглер, Мур и Забруцки провели эксперимент, в ходе которого они обнаружили, что «студенты могут использовать свой предыдущий опыт подготовки и сдачи теста, чтобы помочь им установить связь между распределением учебного времени». [12] Учащиеся могут не только улучшить свои способности к подготовке к тесту после участия в самооценке и оценке со стороны коллег, но и повысить свою способность оценивать других за счет улучшения метакогнитивного мышления. [13]
Отношение
Если применяется самооценка и оценка со стороны коллег, учащиеся могут рассматривать тесты не как наказание, а как полезную обратную связь. [13] Хэл Малехорн говорит, что с помощью взаимного оценивания одноклассники могут работать вместе для «общего интеллектуального благополучия» и что это может создать для учащихся «атмосферу сотрудничества» вместо той, в которой учащиеся соревнуются за оценки. [14] Кроме того, когда студенты оценивают работы своих сокурсников, они также размышляют над своими собственными работами. Этот рефлексивный процесс стимулирует действия по улучшению. [15]
Однако в деле Верховного суда Независимый школьный округ Овассо против Фалво на школу был подан иск в связи с преследованием человека после того, как другие ученики узнали, что он получил низкий балл за экзамен. [16] Малехорн пытается показать, что идеализированная версия взаимного оценивания может сделать для отношения к классу. На практике ситуации, когда студенты становятся жертвами, могут иметь место, как это видно из дела Верховного суда.
Соглашение об оценке учителем
Одна из проблем, связанных с самооценкой и оценкой коллег, заключается в том, что учащиеся могут ставить более высокие оценки, чем учителя. Учителя хотят сократить время выставления оценок, но не за счет потери точности. [17]
Служба поддержки
Исследование Saddler and Good показало, что между оценками, выставленными учителями и учениками, существует высокий уровень согласия, если ученики способны понимать требования учителя к качеству. Они также сообщают, что оценка учителей может быть более точной в результате использования самооценки и оценки коллег. Если учителя смотрят на то, как учащиеся выставляют оценки, у них будет больше информации, из которой можно выставить более точную оценку. [18]
Оппозиция
Однако Саддлер и Гуд предупреждают, что есть некоторые разногласия. Они предлагают учителям внедрить системы умеренной оценки учащихся, чтобы выявить неудовлетворительную работу. [18] Другое исследование показало, что завышение оценок действительно произошло, поскольку ученики, как правило, ставили себе более высокие оценки, чем учитель. Это говорит о том, что самооценка и коллегиальная оценка не являются точным методом выставления оценок из-за разницы в результатах. [19]
Сравнение
Согласно исследованию Сэддлера и Гуда, учащиеся со сверстниками, как правило, не успевают, а учащиеся, оцениваемые самостоятельно, - выше. Тем не менее, подавляющее большинство учеников все же набирают 5% от оценки учителя. Относительно мало учащихся-самогонщиков недооценивают, а сравнительно мало учащихся-сверстников склонны к переоценке. [17]
Возможно, одну из самых ярких моделей взаимной оценки можно найти в дизайн-студиях. [20] [21] Одно из преимуществ таких студий заключается в структурированных контрастах, которые могут помочь новичкам заметить различия, которые в противном случае могли бы быть доступны только для экспертов. [22] На самом деле, это хорошо известная стратегия дизайнеров - использовать сравнения для вдохновения. [23] [24] Некоторые исследователи разработали системы, поддерживающие сравнительные примеры, чтобы выявить полезные сравнения в образовательных учреждениях. [25] [26] [27] Однако остается неясным, что делает сравнение хорошим; Общее руководство по хорошей обратной связи Сэдлера описывает три характеристики: конкретную, действенную и оправданную [28] и широко применяется в исследованиях обратной связи. Однако, поскольку каждая часть работы, подлежащей оценке, настолько различается по содержанию, путь к этим качествам в конкретном исполнении с обратной связью остается в значительной степени неизвестным. Эффективная обратная связь не только написана конкретно и обоснованно, но и, что более важно, содержит хорошее содержание; хороший в том смысле, что он указывает на важные вещи, приносит новые идеи и заставляет своих получателей взглянуть на проблему под другим углом или полностью переосмыслить ее. Это требует настройки для конкретного содержимого.
Рубрики
Цель
Учащимся необходимо следовать инструкциям, прежде чем они смогут ставить оценки по другим открытым вопросам. Часто они представлены в виде рубрик , в которых излагаются различные цели и их стоимость при выставлении оценок. [13] Рубрики часто используются для написания заданий. [29]
Примеры целей
- Выражение идей
- Организация содержания
- Оригинальность
- Знание предмета
- Содержание
- Согласование учебной программы
- Остаток средств
- Голос
Групповая работа
Одна область, в которой применяется самооценка и оценка коллег, - это групповые проекты. Учителя могут ставить проектам итоговую оценку, но им также необходимо определить, какой оценки заслуживает каждый человек в группе. Учащиеся могут выставлять оценки своим сверстникам, и индивидуальные оценки могут быть основаны на этих оценках. Тем не менее, есть проблемы с этим методом выставления оценок: если ученики выставляют друг друга несправедливо, они могут исказить оценки. [30]
Чрезмерная щедрость
Некоторые студенты могут поставить всем другим студентам очень высокие оценки, что приведет к снижению их баллов по сравнению с другими. Эту проблему можно решить, попросив учащихся поставить себе оценку, и, таким образом, их щедрость распространится и на них самих и повысит их оценку на ту же величину. Однако это не компенсирует учащимся, которые выставляют себе слишком суровые оценки. [31]
Творческий учет
Некоторые студенты будут ставить всем низкие оценки, а себе очень высокие оценки, чтобы исказить данные. Этому можно противостоять, проверив оценки учеников и убедившись, что они соответствуют тому, в какой группе их оценили их сверстники. [32]
Индивидуальные штрафы
Если все учащиеся выступят против одного учащегося, потому что считают, что этот человек мало работал, то он или она получит очень низкую оценку. Это допустимо, если рассматриваемый ученик действительно проделал очень мало работы, но за такими случаями следует внимательно следить. [32]
Участие в классе
Несмотря на то, что сложно выставить оценки учащимся по участию в классе из-за его субъективного характера, одним из методов оценки участия является использование самооценки и оценки со стороны коллег. Профессора Райан, Маршалл, Портер и Джиа провели эксперимент, чтобы убедиться, что использование учащихся для оценки участия было эффективным. Они обнаружили, что существует разница между оценкой участия учителя и оценки ученика. Тем не менее, это не имело академического значения, что указывало на то, что на итоговые оценки ученика не влияла разница в оценке учителя и ученика. Они пришли к выводу, что самооценка и оценка коллег - эффективный способ оценить участие в классе. [33]
Экспертная оценка в масштабе
Механизм коллегиальной оценки также является золотым стандартом во многих творческих задачах, варьирующихся от проверки качества научных статей до грантовых предложений дизайн-студий. Однако по мере увеличения количества оценок, которые необходимо провести, возникают проблемы. Во-первых, поскольку никто, проводящий оценку, не имеет глобального понимания всего пула представленных материалов, могут быть внесены местные предубеждения в суждениях (например, диапазон шкалы, используемой для оценки, может зависеть от пула представлений, которые проверяет оценщик) и шума. в рейтинг, полученный по результатам индивидуальной экспертной оценки, может быть добавлен. С другой стороны, поскольку ранжированный результат представляет наибольший интерес во многих ситуациях (например, выделение исследовательских грантов на заявки или присвоение буквенных оценок студентам), способы систематического агрегирования взаимной оценки для восстановления ранжированного порядка представлений имеют множество практических последствий. .
Чтобы решить эту проблему, некоторые исследователи изучали (1) схемы оценки (например, порядковое оценивание, [34] (2) алгоритмы для агрегирования парной оценки для более надежной оценки глобального ранжирования представленных материалов, [35] и (3) создание более оптимальных пар для обмениваться отзывами либо путем рассмотрения конфликта интересов [36], либо (4) путем моделирования структуры, которая уменьшает ошибку между суждениями на индивидуальном уровне и на уровне сообщества о ценности научной статьи. [37]
Законность
Законность самооценки и оценки коллег была оспорена в Верховном суде США по делу Независимый школьный округ Овассо против Фалво . Кристья Фалво подала в суд на школьный округ, в котором учился ее сын, за то, что в нем использовалась методика взаимной оценки, и его дразнили низким баллом. Право учителя на самооценку и оценку коллег было поддержано судом. [38]
Заметки
- ↑ Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов, стр. 2
- ^ Malehorn, Hal Десять мер лучше , чем градуировка : 323
- ^ Сирби, Майк и Тим Эверс . Оценка использования взаимной оценки в высшем образовании: тематическое исследование в Музыкальной школе, с.371.
- ↑ Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов, стр. 2
- ^ Ирландия, Кристофер (2012). «Экспертная электронная оценка устных презентаций» . E - Assessment Scotland 2012: Feeding Back, Forming the Future. DOI : 10,13140 / RG.2.1.4007.4408 . Цитировать журнал требует
|journal=
( помощь ) - ^ a b c Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов стр. 2
- ^ Кулкарни, Chinmay Е., Майкл С. Бернштейн, и Скотт Р. Klemmer. «PeerStudio: быстрая обратная связь с коллегами делает упор на пересмотр и улучшает производительность». Материалы второй (2015) конференции ACM по обучению @ scale. ACM, 2015.
- ^ Дж. Скотт Армстронг (2012). «Естественное обучение в высшем образовании» . Энциклопедия наук об обучении .
- ↑ Potter, M., English, J. & Ireland, C. (2014) Насколько далеко могут зайти сверстники в поддержке обучения студентов? Взгляд студента. В: 11-я конференция ALDinHE: Пространства и места для развития обучения, 14–16 апреля 2014 г., Университет Хаддерсфилда, Хаддерсфилд, Соединенное Королевство. https://www.researchgate.net/publication/301601738_How_far_can_peers_go_in_supporting_student_learning_A_Student%27s_Perspective
- ^ Нгар-Фан, Лю и Дэвид Карлесс Обратная связь со сверстниками: обучающий элемент взаимной оценки, стр.281
- ↑ Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов, стр.24
- ^ Лин-Аглер, Линь Мяо, ДеВэйн Мур и Карен М. Забруцки ВЛИЯНИЕ ЛИЧНОСТИ НА МЕТАКОГНИТИВНЫЕ САМООЦЕНКИ стр.461
- ^ a b c Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов стр.
- ^ Malehorn, Hal Десять мер лучше , чем градуировка : 323
- ^ Кристанто, Йосеп Дви (2018). «Предварительная оценка сверстников с использованием технологий: изучение восприятия студентов в курсе статистических методов» . REiD (Исследования и оценка в образовании) . 4 (2): 105–116.
- ↑ Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов, стр.1
- ^ a b Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов с.16
- ^ a b Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов стр.23
- ^ Стронг, Брент, Марк Дэвис и Вэл Хоукс САМООЦЕНКА НА БОЛЬШИХ УЧЕБНЫХ ЗАВЕДЕНИЯХ стр.52
- ^ Даннелс, Дина П. и Келли Норрис Мартин. «Критика критики: жанровый анализ отзывов новичков и опытных дизайнерских студий». Журнал деловых и технических коммуникаций 22.2 (2008): 135-159.
- ^ Гольдшмидт, Gabriela, Хагай Хошман и Итай Дафни. «Студия дизайна« Крит »: общение учитель – ученик». AI ЭДАМ 24.3 (2010): 285-302.
- ^ Шварц, Дэниел Л., Джессика М. Цанг и Кристен П. Блэр. Азбука того, как мы учимся: 26 научно подтвержденных подходов, как они работают и когда их использовать. WW Norton & Company, 2016.
- ^ Херринг, Скарлетт Р. и др. «Вдохновение !: понимание того, как и почему примеры используются в практике творческого дизайна». Труды конференции SIGCHI по человеческому фактору в вычислительных системах. ACM, 2009.
- ^ Ньюман, Марк У. и Джеймс А. Landay. «Карты сайта, раскадровки и спецификации: набросок практики дизайна веб-сайтов». Материалы 3-й конференции «Проектирование интерактивных систем: процессы, практики, методы и приемы». ACM, 2000.
- ^ Камбре, Джулия, Скотт Klemmer и Chinmay Кулкарни. «Juxtapeer: сравнительная экспертная оценка дает более качественную обратную связь и способствует более глубокому анализу». Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах. ACM, 2018.
- ^ Кан, Хёнсу Б. и др. «Paragon: онлайн-галерея для улучшения обратной связи с дизайном с помощью наглядных примеров». Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах. ACM, 2018.
- ^ Поттер, Тиффани и др. «ComPAIR: новый онлайн-инструмент, использующий адаптивное сравнительное суждение для поддержки обучения с обратной связью». Вопросы преподавания и обучения 5.2 (2017): 89-113.
- ^ Сэдлер, Д. Ройс. «Формирующее оценивание и дизайн учебных систем». Педагогическая наука 18.2 (1989): 119-144.
- ^ Ответы Андраде, Хайди и Ин Ду Студент на самооценку, основанную на критериях, стр.287
- ^ Ли, Лоуренс К.Ю. Некоторые уточнения взаимной оценки групповых проектов, стр.5
- ^ Ли, Лоуренс К.Ю. Некоторые уточнения экспертной оценки групповых проектов, стр.8
- ^ а б Ли, Лоуренс К.Ю. Некоторые уточнения экспертной оценки групповых проектов стр.9
- ^ Райан, Джина Дж. И др. Коллеги, профессор и самооценка участия в классе стр.56
- ↑ Раман, Картик и Торстен Иоахимс. «Методы порядкового равного оценивания». Материалы 20-й международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных. ACM, 2014.
- ^ Чен, Си и др. «Агрегирование попарного ранжирования в условиях краудсорсинга». Материалы шестой международной конференции ACM по веб-поиску и интеллектуальному анализу данных. ACM, 2013.
- ^ Коттури, Ясмин и др. «Преодоление конфликта интересов: алгоритмы и интерфейсы для беспристрастной оценки сверстников». 2013.
- ^ Noothigattu, Ritesh, Nihar Б. Шах и Ариэль Д. Прокаччиа. «Выбор того, как выбирать бумаги». Препринт arXiv arXiv: 1808.09057 (2018).
- ↑ Сэдлер, Филип М. и Эдди Гуд Влияние самооценки и оценки сверстниками на обучение студентов, стр.9
Рекомендации
- Андраде, Хайди и Ин Ду «Ответы учащихся на самооценку, основанную на критериях». Оценка и оценка в высшем образовании 32.2 (2007): 159–181.
- Гопинатх, К. «Альтернативы оценке участия в классе преподавателем». Журнал «Образование для бизнеса» 75,1 (1999): 10.
- Ли, Лоуренс К.Ю. «Некоторые уточнения экспертной оценки групповых проектов». Оценка и оценка в высшем образовании 26.1 (2001): 5–18.
- Лин-Аглер, Линь Мяо, ДеВэйн Мур и Карен М. Забруцки «ВЛИЯНИЕ ЛИЧНОСТИ НА МЕТАКОГНИТИВНЫЕ САМООЦЕНКИ». Журнал студента колледжа 38.3 (2004): 453–461.
- Малехорн, Хэл «Десять мер лучше, чем оценка». Информационный центр 67.6 (1994): 323.
- Мок, Магдалена Мо Чинг и др. «Самооценка в высшем образовании: опыт использования метакогнитивного подхода в пяти тематических исследованиях». Оценка и оценка в высшем образовании 31.4 (2006): 415–433.
- Нгар-Фан, Лю и Дэвид Карлесс «Обратная связь между сверстниками: обучающий элемент взаимной оценки». Преподавание в высших учебных заведениях 11.3 (2006 г.): 279–290.
- Райан, Джина Дж. И др. «Сверстник, профессор и самооценка участия в классе». Активное обучение в высшем образовании 8.1 (2007): 49–61.
- Сэдлер, Филип М. и Эдди Гуд «Влияние самооценки и оценки сверстниками на обучение студентов». Оценка образования 11.1 (2006): 1–31.
- Сирби, Майк и Тим Эверс "Оценка использования взаимной оценки в высшем образовании: тематическое исследование в Музыкальной школе" Оценка и оценка в высшем образовании 22.4 (1997): 371.
- Стронг, Брент, Марк Дэвис и Вэл Хоукс «САМООЦЕНКА НА КРУПНЫХ КЛАССАХ ОБЩЕГО ОБРАЗОВАНИЯ». Обучение в колледже 52,2 (2004): 52–57.
- ван ден Берг, Инеке, Вильфрид Адмираал и Альберт Пилот «Оценка коллег в университетском обучении: оценка дизайна семи курсов». Оценка и оценка в высшем образовании 31.1 (2006): 19–36.
- Раман, Картик и Торстен Иоахимс. «Методы порядкового равного оценивания». Материалы 20-й международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных. ACM, 2014.
- Чен, Си и др. «Агрегирование попарного ранжирования в условиях краудсорсинга». Материалы шестой международной конференции ACM по веб-поиску и интеллектуальному анализу данных. ACM, 2013.
- Коттури, Ясмин и др. «Преодоление конфликта интересов: алгоритмы и интерфейсы для беспристрастной оценки сверстников». 2013.
- Нутигатту, Ритеш, Нихар Б. Шах и Ариэль Д. Прокачча. «Выбор того, как выбирать бумаги». Препринт arXiv arXiv: 1808.09057 (2018).
- Кулкарни, Чинмей Э., Майкл С. Бернштейн и Скотт Р. Клеммер. «PeerStudio: быстрая обратная связь с коллегами делает упор на пересмотр и улучшает производительность». Материалы второй (2015) конференции ACM по обучению @ scale. ACM, 2015.
- Даннелс, Дина П. и Келли Норрис Мартин. «Критика критики: жанровый анализ отзывов новичков и опытных дизайнерских студий». Журнал деловых и технических коммуникаций 22.2 (2008): 135-159.
- Шварц, Дэниел Л., Джессика М. Цанг и Кристен П. Блэр. Азбука того, как мы учимся: 26 научно подтвержденных подходов, как они работают и когда их использовать. WW Norton & Company, 2016.
- Херринг, Скарлетт Р. и др. «Вдохновение !: понимание того, как и почему примеры используются в практике творческого дизайна». Труды конференции SIGCHI по человеческому фактору в вычислительных системах. ACM, 2009.
- Ньюман, Марк В. и Джеймс А. Лэнди. «Карты сайта, раскадровки и спецификации: набросок практики дизайна веб-сайтов». Материалы 3-й конференции «Проектирование интерактивных систем: процессы, практики, методы и приемы». ACM, 2000.
- Камбр, Джулия, Скотт Клеммер и Чинмей Кулкарни. «Juxtapeer: сравнительная экспертная оценка дает более качественную обратную связь и способствует более глубокому анализу». Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах. ACM, 2018.
- Кан, Хёнсу Б. и др. «Paragon: онлайн-галерея для улучшения обратной связи с дизайном с помощью наглядных примеров». Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах. ACM, 2018.
- Поттер, Тиффани и др. «ComPAIR: новый онлайн-инструмент, использующий адаптивное сравнительное суждение для поддержки обучения с обратной связью». Вопросы преподавания и обучения 5.2 (2017): 89-113.
- Сэдлер, Д. Ройс. «Формирующее оценивание и дизайн учебных систем». Педагогическая наука 18.2 (1989): 119-144.
- Гольдшмидт, Габриэла, Хагай Хохман и Итай Дафни. «Студия дизайна« Крит »: общение учитель – ученик». AI ЭДАМ 24.3 (2010): 285-302.
дальнейшее чтение
- Карлесс, Дэвид, « Превосходство в оценке университетов: уроки из отмеченной наградами практики» , Лондон: Routledge, 2015 г. ISBN 9781317580720 ( обзор Ying Zhan in Higher Education , июнь 2015 г., Springer)