Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Добавленная стоимость моделирования (также известный как измерение добавленной стоимости , анализ добавленной стоимости и оценки добавленной стоимости ) является методом оценки учителей , что вклад мер , учителя в данном году, сравнивая текущие результаты тестов своих учеников к оценкам тех же учеников в предыдущие школьные годы, а также к десяткам других учеников того же класса. Таким образом, моделирование добавленной стоимости стремится изолировать вклад или добавленную стоимость., которые каждый учитель предоставляет в определенный год, что можно сравнить с показателями успеваемости других учителей. VAM считаются более справедливыми, чем просто сравнение оценок успеваемости учащихся или получение баллов без учета потенциально мешающих переменных контекста, таких как прошлые результаты или доход. Также можно использовать этот подход для оценки добавленной стоимости директора школы или школы в целом.

Критики говорят, что использование тестов для оценки отдельных учителей не было научно подтверждено, и большая часть результатов обусловлена ​​случайностью или условиями, не зависящими от учителя, такими как внешнее репетиторство. [1] Исследования показывают, однако, что различия в эффективности учителей, измеряемые добавленной стоимостью учителей, связаны с небольшими экономическими последствиями для учащихся. [2]

Метод [ править ]

Исследователи используют статистические процессы по результатам прошлых тестов учащегося, чтобы предсказать его будущие результаты тестов, исходя из предположения, что учащиеся обычно набирают примерно столько же очков каждый год, как и в прошлые годы. Затем фактическая оценка учащегося сравнивается с прогнозируемой. Предполагается, что разница между прогнозируемыми и фактическими оценками, если таковая имеется, связана с учителем и школой, а не с естественными способностями ученика или социально-экономическими обстоятельствами.

Таким образом, моделирование с добавленной стоимостью пытается изолировать вклад учителя от факторов, находящихся вне его контроля, которые, как известно, сильно влияют на успеваемость учащегося, включая общий интеллект учащегося , бедность и участие родителей.

Объединяя все эти индивидуальные результаты, статистики могут определить, насколько конкретный учитель улучшает успеваемость учеников по сравнению с тем, насколько обычный учитель мог бы улучшить успеваемость учеников.

Статистики используют иерархическое линейное моделирование, чтобы предсказать результат для данного ученика в данном классе в данной школе. Этот прогноз основан на совокупных результатах всех студентов. Прогнозируемый балл каждого ученика может учитывать уровень ученика (например, прошлые успеваемость, социально-экономический статус, раса / этническая принадлежность), уровень учителя (например, сертификация, годы опыта, полученная высшая степень, практика преподавания, учебные материалы, учебная программа) и уровень школы. (например, размер, тип, настройки) переменные во внимание. Какие переменные включены, зависит от модели.

Использует [ редактировать ]

По состоянию на 2010 год эту систему приняли несколько школьных округов США, в том числе государственные школы Чикаго , Департамент образования города Нью-Йорка и государственные школы округа Колумбия . Рейтинги использовались для решения вопросов удержания учителей и присуждения премий, а также в качестве инструмента для определения тех учителей, которые больше всего выиграют от подготовки учителей. [1] В рамках программы " Гонка за первенство" и других программ, пропагандирующих лучшие методы оценки работы учителей, округа рассматривают моделирование добавленной стоимости в качестве дополнения к наблюдению за учителями в классах. [1]

Законодатель штата Луизиана Фрэнк А. Хоффманн внес законопроект, разрешающий использование методов моделирования с добавленной стоимостью в государственных школах штата в качестве средства поощрения сильных учителей и выявления успешных педагогических методов, а также предоставления средств для обеспечения дополнительного профессионального развития для те учителя были определены как более слабые, чем другие. Несмотря на противодействие со стороны Федерации учителей Луизианы, 26 мая 2010 года законопроект был принят Сенатом штата Луизиана и сразу же был подписан губернатором Бобби Джиндалом . [3]

Эксперты не рекомендуют использовать моделирование добавленной стоимости в качестве единственного фактора, определяющего какое-либо решение. [4] Вместо этого они рекомендуют использовать его как важный фактор в многогранной программе оценки. [5]

Ограничения [ править ]

В рамках системы оценки, основанной на нормах, успеваемость учителя сравнивается с результатами, полученными у других учителей в выбранной группе сравнения. Следовательно, можно использовать эту модель, чтобы сделать вывод о том, что учитель лучше, хуже или такой же, как и типичный учитель, но невозможно использовать эту модель, чтобы определить, желателен ли данный уровень успеваемости.

Поскольку ожидаемая оценка каждого ученика в значительной степени определяется фактическими оценками ученика в предыдущие годы, эту модель сложно использовать для оценки учителей детского сада и первого класса. Некоторые исследования ограничивают модель учителями третьего класса и выше.

Школы могут быть не в состоянии получить предыдущие оценки новых учащихся из бывших школ учащихся, или оценки могут оказаться бесполезными из-за несопоставимости некоторых тестов. Школа с высокой текучестью учащихся может столкнуться с трудностями при сборе достаточных данных для применения этой модели. Когда учащиеся меняют школу в середине года, их успехи в течение года не зависят исключительно от последних учителей.

Оценки добавленной стоимости более чувствительны к влиянию учителя по математике, чем по языку. [4] Это может быть связано с широким распространением плохо составленных тестов на чтение и языковые навыки или с тем, что учителя в конечном итоге имеют меньшее влияние на языковое развитие. [4] Учащиеся изучают языковые навыки из многих источников, особенно из семей, в то время как математические навыки они изучают в основном в школе.

Наблюдаются некоторые различия в оценках от года к году и от класса к классу. Этот вариант аналогичен показателям успеваемости в других областях, таких как Высшая лига бейсбола, и, таким образом, может отражать реальные естественные вариации в успеваемости учителя. [4] Из-за этого различия оценки являются наиболее точными, если они получены от большого количества студентов (обычно 50 или более). В результате эту модель трудно использовать для оценки учителей первого года обучения, особенно в начальной школе, поскольку они могли обучать только 20 учеников. Рейтинг, основанный на одной классной комнате, вероятно, позволит правильно классифицировать учителя примерно в 65% случаев. Это число возрастет до 88%, если будут доступны данные за десять лет. [6] Кроме того, поскольку доверительный интервалширокий, этот метод является наиболее надежным при выявлении учителей, которые постоянно находятся в верхних или нижних 10%, а не в попытках провести тонкие различия между учителями, которые достигают более или менее типичных достижений, например, при попытке определить, следует ли оценивать учителя. как немного выше или немного ниже медианы. [6]

Оценки добавленной стоимости предполагают, что студенты случайным образом распределяются между учителями. В действительности учеников редко распределяют по учителям или по школам случайным образом. По словам экономиста и профессора, доктора Джесси М. Ротштейна из Калифорнийского университета в Беркли , «неслучайное распределение студентов по учителям может исказить оценку добавленной стоимости причинных эффектов учителей». [7] Вопрос о возможной предвзятости при использовании показателей добавленной стоимости был предметом значительного недавнего исследования, и другие исследователи пришли к выводу, что меры добавленной стоимости действительно дают хорошие оценки эффективности учителей. См., Например, недавнюю работу проекта «Меры эффективного обучения» [8]и анализ того, как показатели добавленной стоимости соотносятся с будущими доходами, проведенный профессором Раджем Четти из Гарварда и его коллегами. [9]

Исследование [ править ]

Идея оценке эффективности учителей на основе изучения доходов студентов впервые была введена [10] в научной литературе в 1971 году Эриком Hanushek , [11] в настоящее время старший научный сотрудник консервативного [12] [13] [14] Институт Гувера , американский научно- исследовательский центр государственной политики, расположенный при Стэнфордском университете в Калифорнии . Впоследствии он был проанализирован Ричардом Мурнэйном из Гарвардского университета среди других. [15] Этот подход использовался во множестве различных анализов для оценки различий в эффективности учителей в школах, и оценка показала большие и постоянные различия между учителями в темпе обучения своих учеников. [16]

Статистик Уильям Сандерс , старший менеджер по исследованиям в SAS, представил эту концепцию школьным операциям, когда он разработал модели добавленной стоимости для школьных округов в Северной Каролине и Теннесси . Впервые созданный в качестве инструмента оценки учителей для школьных программ в Теннесси в 1990-х годах, использование этого метода расширилось с принятием закона « Ни одного ребенка, оставленного без внимания» в 2002 году. Основываясь на своем опыте и исследованиях, Сандерс утверждал, что «если вы будете использовать строгие правила. , надежные методы и окружить их защитными приспособлениями, вы можете надежно отличить высокоэффективных учителей от средних учителей и от неэффективных учителей ". [1]

В исследовании 2003 года, проведенном корпорацией RAND для Корпорации Карнеги в Нью-Йорке , говорится, что моделирование с добавленной стоимостью «обещает отделить влияние учителей и школ от мощного воздействия таких факторов, не связанных с образованием, как семейное происхождение», и что исследования показали, что при использовании таких моделей существует большая разница в оценках учителей, что может сделать моделирование с добавленной стоимостью эффективным инструментом для оценки и вознаграждения работы учителей, если эта изменчивость может быть подтверждена как связанная с эффективностью отдельных учителей. [17]

The Los Angeles Times сообщила об использовании программы в школах этого города, создав доступный для поиска веб-сайт, который предоставил оценку, рассчитанную системой моделирования добавленной стоимости для 6000 учителей начальных школ в округе. Министр образования США Арне Дункан похвалил газету за репортаж об оценках учителей, назвав их образцом повышенной прозрачности, но при этом отметил, что большая открытость должна быть сбалансирована с опасениями, касающимися «конфиденциальности, справедливости и уважения к учителям». [1] В феврале 2011 г. Дерек Бриггс и Бен Доминг из Национального центра политики в области образования.(NEPC) выпустили отчет о повторном анализе того же набора данных из Объединенного школьного округа Лос-Анджелеса, пытаясь воспроизвести результаты, опубликованные в Times , и они обнаружили серьезные ограничения предыдущего исследования, сделав вывод, что «исследование, на которое опиралась Los Angeles Times. отчет об эффективности учителей в августе 2010 года явно не соответствовал опубликованным рейтингам ". [18]

Фонд Билла и Мелинды Гейтс спонсирует многолетнее исследование моделирования с добавленной стоимостью в рамках своей программы «Меры эффективного обучения». Первоначальные результаты, опубликованные в декабре 2010 года, показывают, что как моделирование с добавленной стоимостью, так и восприятие учащимися нескольких ключевых качеств учителя, таких как контроль над классом и усердная работа учащихся, правильно определяют эффективных учителей. [4] Исследование оценок студентов было проведено Рональдом Фергюсоном . Исследование также показало, что учителя, которые преподают по тесту , намного менее эффективны и имеют значительно более низкие оценки моделирования с добавленной стоимостью, чем учителя, которые способствуют глубокому концептуальному пониманию всей учебной программы. [4]Однако повторный анализ результатов отчета MET, проведенный Джесси Ротштейном, экономистом и профессором Калифорнийского университета в Беркли , ставит под сомнение некоторые из этих интерпретаций. [19] Ротштейн утверждает, что анализ, представленный в отчете, не подтверждает выводы, и что «при правильной интерпретации ... [они] подрывают, а не подтверждают основанные на добавленной стоимости подходы к оценке учителей». [20] Однако более поздняя работа в рамках проекта MET подтверждает использование подходов с добавленной стоимостью. [8]

Руководители и лидеры [ править ]

Общая идея моделирования добавленной стоимости также была распространена на директоров и руководителей школ. Несмотря на то, что о важности школьных руководителей велось немало анекдотических дискуссий, было проведено очень мало систематических исследований их влияния на успеваемость учащихся. Недавний анализ, проведенный в Техасе, предоставил доказательства эффективности лидеров, изучив, как успехи учащихся в школе меняются после основных изменений. Этот ориентированный на результат подход к измерению эффективности директоров очень похож на моделирование добавленной стоимости, которое применялось к оценке учителей. Раннее исследование в Техасе показало, что директора школ очень сильно влияют на успеваемость учащихся. [21] По самым скромным оценкам, эффективный школьный руководитель улучшает успеваемость всех учащихся в школе, при этом в среднем за два месяца обучения учащиеся получают дополнительный результат в каждом учебном году. Эти успехи, по крайней мере частично, достигаются благодаря тому, что директор влияет на выбор и удержание хороших учителей. Однако неэффективные директора имеют такое же большое негативное влияние на успеваемость в школе, что позволяет предположить, что вопросы оценки так же важны для школьного руководства, как и для учителей.

Критика и опасения [ править ]

В отчете, выпущенном Институтом экономической политики в августе 2010 года, признается, что «американские государственные школы обычно плохо справляются с систематической подготовкой и оценкой учителей», но выражает обеспокоенность тем, что использование результатов стандартизированных тестовв качестве измерительного инструмента не приведет к повышению производительности. В отчете EPI рекомендуется, чтобы показатели успеваемости, основанные на результатах стандартизированных тестов, были одним из многих факторов, которые следует рассматривать как «более точное представление о том, что на самом деле учителя делают в классе и как это способствует обучению учащихся». В исследовании было названо моделирование добавленной стоимости более справедливым средством сравнения учителей, которое позволяет лучше измерить образовательные методики и общую успеваемость в школе, но утверждалось, что результаты тестов учащихся не были достаточно надежными в качестве средства принятия «кадровых решений с высокими ставками». [22]

Эдвард Хэртель, возглавлявший исследовательскую группу Института экономической политики, писал, что методологии, продвигаемые в рамках программы « Гонка за первенство », уделяют «слишком много внимания мерам роста успеваемости учащихся, которые еще не были должным образом изучены для целей оценки». оценка учителей и директоров школ »и что методы моделирования с добавленной стоимостью нуждаются в более тщательной оценке и должны использоваться только« в тщательно изученных пилотных проектах ». [1]

Исследователь политики в области образования Джеральд Брейси также утверждал, что корреляция между учителями и краткосрочными изменениями результатов тестов может не иметь отношения к фактическому качеству обучения. Следовательно, «он не может допускать причинно-следственные выводы об отдельных учителях. В лучшем случае это первый шаг для выявления учителей, которым может потребоваться дополнительное профессиональное развитие». [23]

Американская статистическая ассоциация издана 8 апреля 2014 заявления с критикой использования моделей с добавленной стоимостью в образовательной оценке, не исключая полезность таких моделей. ASA сослалось на ограничения входных данных, влияние факторов, не включенных в модели, и большие стандартные ошибки, приводящие к нестабильным годовым рейтингам. [24]

Джон Юинг в « Уведомлениях Американского математического общества» критиковал использование моделей с добавленной стоимостью в образовательной оценке как форму «математического запугивания» и «риторического оружия». Юинг сослался на проблемы с исходными данными и влияние факторов, не включенных в модель. [25]

Альтернативы [ править ]

Было реализовано несколько альтернатив для оценки учителей:

  • Оценка учащимися : если им задать проверенные вопросы, учащиеся даже четвероклассников могут точно определить эффективных учителей. [4] Оценка курса является обычным делом в университетах, но редко учитывается при принятии решения о удержании или увольнении преподавателя за тривиальную долю. [ необходима цитата ]
  • Мероприятия вне класса : часть оценки учителя обычно включает участие в мероприятиях по обучению персонала. Например, преподавателю, получившему степень магистра, почти всегда платят больше, даже если степень магистра не влияет на успеваемость учащихся. [26] [ необходима цитата ]

Большинство экспертов рекомендуют использовать несколько критериев для оценки эффективности учителей. [27]

См. Также [ править ]

  • Эффективность педагога
  • Ипсативная оценка , при которой учащиеся сравниваются с их предыдущими результатами.
  • Оценка качества учителей
  • Добавленная контекстная ценность

Ссылки [ править ]

  1. ^ a b c d e f Диллон, Сэм. «Метод оценивания учителей провоцирует баталии» , The New York Times , 31 августа 2010 г. По состоянию на 1 сентября 2010 г.
  2. ^ Также сложно рассчитать точную оценку, если у учеников много учителей в течение года. Эрик Ханушек , «Ценить учителей: сколько стоит хороший учитель?» Образование Next 11, вып. 3 (лето 2011 г.) .; Радж Четти, Джон Н. Фридман и Джона Э. Рокофф, « Измерение влияния учителей II : добавленная стоимость учителей и результаты учащихся во взрослом возрасте», American Economic Review, том 104, номер 9, сентябрь 2014 г., стр. 2633– 2679.
  3. ^ Персонал. «Законопроект об оценке с добавленной стоимостью теперь является законом» , «Еженедельный сборник законодательных актов Федерации учителей штата Луизиана , 28 мая 2010 г. По состоянию на 1 сентября 2010 г.
  4. ^ a b c d e f g «Изучение преподавания: первые результаты программы измерения эффективности обучения» . Фонд Билла и Мелинды Гейтс. Декабрь 2010 г. Краткое содержание - The Los Angeles Times (11 декабря 2010 г.). Цитировать журнал требует |journal=( помощь )
  5. ^ Шеррер, Джимми (2011). «Измерение преподавания с помощью моделирования с добавленной стоимостью: несовершенная панацея». Бюллетень НАССП . 95 (2): 122–140. DOI : 10.1177 / 0192636511410052 . S2CID 145460616 . 
  6. ^ a b Оттерман, Шарон (26 декабря 2010 г.). «Препятствия возникают в возрастающих усилиях по оценке учителей» . Нью-Йорк Таймс .
  7. ↑ Ротштейн, Джесси М. (февраль 2010 г.). «Качество учителей в образовательном производстве: отслеживание, упадок и успеваемость учащихся» (PDF) . Ежеквартальный экономический журнал . Архивировано из оригинального (PDF) 20 июля 2013 года . Проверено 7 декабря 2013 .
  8. ^ a b Томас Дж. Кейн, Дэниел Ф. Маккаффри, Трей Миллер и Дуглас О. Стайгер, выявили ли мы эффективных учителей? Проверка мер эффективного обучения с использованием случайного распределения. Проект MET: Фонд Билла и Мелинды Гейтс (январь 2013 г.)
  9. ^ Четти, Радж ; Фридман, Джон Н .; Рокофф, Иона. «Измерение воздействия учителей I: Оценка предвзятости в оценках добавленной стоимости учителей» . Американский экономический обзор . Американская экономическая ассоциация .
  10. ^ Грин, Элизабет (2014). Создание лучшего учителя: как работает обучение (и как научить этому всех) . WW Norton & Company . стр.  40 -44. ISBN 978-0-393-08159-6. Создание лучшего учителя.
  11. ^ Эрик А. Ханушек, "Характеристики учителей и достижения учащихся: оценка с использованием микроданных", American Economic Review , 61 (2), май 1971 г., стр. 280-288; Эрик А. Ханушек, «Компромисс между количеством и качеством детей» , Журнал политической экономии , 100 (1), февраль 1992 г., стр. 84-117.
  12. ↑ Линдси, Леон (2 июня 1983 г.). «Консервативный аналитический центр Стэнфорда находится под огнем критики» . Монитор христианской науки . Проверено 30 августа 2013 года .
  13. ↑ Де Лама, Джордж (3 марта 1993 г.). «Когда Республиканская партия потеряла власть, консервативный аналитический центр стал более спокойным местом» . Чикаго Трибьюн . Проверено 30 августа 2013 года .
  14. ^ "Башне Гувера мозгового центра исполняется 50 лет" . Ежедневные новости Лос-Анджелеса . 19 июля 1991 . Проверено 30 августа 2013 года .
  15. ^ Ричард Дж. Мурнейн, Влияние школьных ресурсов на обучение детей из внутренних районов города , Баллинджер.
  16. ^ Эрик А. Ханушек и Стивен Г. Ривкин, «Обобщения об использовании дополнительных показателей качества учителей» , American Economic Review , 100 (2), май 2010 г., стр. 267-271. DOI : 10,1257 / aer.100.2.267
  17. ^ Маккаффри, Дэниел Ф .; Локвуд, младший; Корец, Даниэль М .; и Гамильтон, Лаура С. «Оценка моделей с добавленной стоимостью для подотчетности учителей» , RAND Corporation , 2003. По состоянию на 1 сентября 2010 г.
  18. ↑ Бриггс, Д. и Доминг, Б. «Должная осмотрительность и оценка учителей» , Национальный центр политики в области образования , 2011 г. По состоянию на 3 апреля 2011 г.
  19. Перейти ↑ Rothstein, R. «Review of Learning About Teaching» , Национальный центр образовательной политики , декабрь 2010 г.
  20. ^ «Отчет Гейтса, рекламирующий« добавленную стоимость », пришел к неверному заключению | Национальный центр образовательной политики» . Nepc.colorado.edu. 2011-01-13 . Проверено 13 января 2014 .
  21. ^ Грегори Бранч, Эрик Ханушек и Стивен Г. Ривкин, «Школьные лидеры имеют значение: измерение влияния эффективных директоров» , Education Next 13 (1), зима 2013.
  22. ^ Бейкер, Ева Л .; Barton, Paul E .; Дарлинг-Хэммонд, Линда ; Хертель, Эдвард; Ladd, Hellen F .; Линн, Роберт Л .; Равич, Дайан ; Ротштейн, Ричард; Шавелсон, Ричард Дж .; и Шепард, Лорри А. «Проблемы с использованием результатов тестов учащихся для оценки учителей» , Институт экономической политики , 29 августа 2010 г. По состоянию на 1 сентября 2010 г.
  23. ^ Брейси, Джеральд , "Value Subtracted: A" Debate "with William Sanders" , HuffPost , 1 мая 2007 г. Доступно 17 сентября 2012 г.
  24. ^ Американская статистическая ассоциация , «Заявление ASA об использовании моделей добавленной стоимости для оценки образования» , 8 апреля 2014 г. По состоянию на 4 августа 2017 г.
  25. ^ Юинг, Джон, «Mathematical Intimidation: Driven Data» , Notices of the American Mathematical Society , 58: 5, май 2011 г. По состоянию на 4 августа 2017 г.
  26. ^ Харрис, Дуглас Н .; Сасс, Тим Р. (2011). «Подготовка учителей, качество учителей и успеваемость учащихся». Журнал общественной экономики . 95 (7–8): 798–812. CiteSeerX 10.1.1.567.1794 . DOI : 10.1016 / j.jpubeco.2010.11.009 . 
  27. ↑ Патрисия Х. Хинчи (декабрь 2010 г.). «Правильная оценка учителей: что политики могут извлечь из исследований» . Краткое изложение политики NEPC .

Внешние ссылки [ править ]

  • Оценки базы данных Los Angeles Учитель и газетный со стороны Los Angeles Times