Из Википедии, бесплатной энциклопедии
  (Перенаправлено из оценки на основе консенсуса )
Перейти к навигации Перейти к поиску

Оценка, основанная на консенсусе, расширяет общую практику принятия консенсусных решений и теоретическое наблюдение, что опыт может быть точно оценен большим количеством новичков или подмастерьев. Он создает метод определения стандартов измерения для очень неоднозначных областей знания, таких как эмоциональный интеллект , политика, религия, ценности и культура в целом. С этой точки зрения общие знания, формирующие культурный консенсус, можно оценивать во многом так же, как опыт или общий интеллект.

Стандарты измерения общего интеллекта [ править ]

Оценка на основе консенсуса основана на простом открытии: выборки лиц с разной компетенцией (например, экспертов и учеников) оценивают соответствующие сценарии, используя шкалы Лайкерта , с аналогичными средними оценками. Таким образом, с точки зрения структуры CBA, культурные стандарты для балльных ключей могут быть получены из оцениваемой совокупности. Питер Легри и Джозеф Псотка, работая вместе в течение последних десятилетий, предложили, чтобы психометрические показатели g можно было ненавязчиво измерять с помощью шкал, подобных опросам, требующей суждений. Здесь можно использовать либо оценку отклонения для каждого человека из группы, либо среднее значение эксперта; или корреляция Пирсонамежду их суждениями и групповым средним. Эти две техники идеально сочетаются друг с другом. Легри и Псотка впоследствии создали шкалы, которые просили людей оценивать частоту слов; судить о бинарных вероятностях хорошего продолжения; определить значение знаний; и приблизительное распределение занятости. Пункты были тщательно определены, чтобы избежать объективной референции, и поэтому шкалы требовали от респондентов высказывать суждения, которые выставлялись в соответствии с широко разработанными согласованными стандартами. Результативность этой батареи суждений коррелировала приблизительно 0,80 с общепринятыми показателями психометрического g . Ключи ответа были получены согласованно. В отличие от вопросов по математике или физике, выбор предметов, сценариев и вариантов для оценки психометрических функций руководствовались примерно теорией, которая подчеркивала комплексное суждение, но явные ключи были неизвестны до тех пор, пока оценки не были сделаны: они были определены на основе среднего значения ответов каждого с использованием оценок отклонений, корреляций или факторных оценок.

Стандарты измерения культурных знаний [ править ]

Один из способов понять связь между экспертными знаниями и консенсусом - это учесть, что во многих областях производительности экспертиза в значительной степени отражает знания, полученные из опыта. Поскольку новички, как правило, имеют меньше опыта, их мнения ошибаются в разных направлениях. Однако по мере накопления опыта мнения подмастерьев и экспертов становятся более последовательными. Согласно этой точке зрения, ошибки случайны. Таким образом, рейтинговые данные, собранные из больших выборок респондентов разного уровня подготовки, можно использовать для приблизительного расчета средних оценок, которые могло бы дать значительное количество экспертов, если бы было много экспертов. Поскольку стандартное отклонение среднего будет приближаться к нулю, когда количество наблюдений станет очень большим,оценки, основанные на группах разной компетентности, дадут сходные оценки лучших стандартов работы. Средства ответов этих групп могут быть использованы для создания эффективных оценок.рубрики или стандарты измерения для оценки производительности. Этот подход особенно актуален для оценки субъективных областей знаний, которые масштабируются с использованием шкал ответов Лайкерта, и этот подход был применен для разработки стандартов оценки для нескольких областей, в которых мало экспертов.

Результаты экспериментов [ править ]

На практике анализы продемонстрировали высокий уровень конвергенции между экспертными стандартами и стандартами CBA, при этом значения, количественно определяющие эти стандарты, сильно коррелированы ( R s Пирсона в диапазоне от 0,72 до 0,95), а оценки, основанные на этих стандартах, также сильно коррелированы ( R s в диапазоне от 0,95). От .88 до .99) при условии, что размер выборки в обеих группах велик (Legree, Psotka, Tremble & Bourne, 2005). Эта конвергенция между оценками CBA и оценками экспертов и соответствующими данными о валидности указывает на то, что CBA и оценка на основе экспертов могут использоваться взаимозаменяемо при условии, что данные рейтингов собираются с использованием больших выборок экспертов и новичков или подмастерьев.

Факторный анализ [ править ]

CBA часто вычисляется с помощью корреляции Пирсона R оценок каждого человека по шкале Лайкерта по набору пунктов со средним значением оценок всех людей по тем же самым пунктам. Тогда корреляция является мерой близости этого человека к консенсусу. Он также иногда рассчитывается как стандартизированный балл отклонения от согласованных средних значений групп. Эти две процедуры математически изоморфны. Если культура считается общим знанием; а среднее значение оценок группы в определенной области знаний считается мерой культурного консенсуса в этой области; затем обе процедуры оценивают CBA как меру культурного понимания отдельного человека.

Однако может случиться так, что консенсус не распределяется равномерно по всем подчиненным элементам по теме. Возможно, содержание элементов знаний распределено по доменам с различным консенсусом. Например, консерваторы, которые являются либертарианцами, могут иначе относиться к вторжению в частную жизнь, чем консерваторы, которые серьезно относятся к закону и порядку. Фактически, стандартный факторный анализ выдвигает этот вопрос на первый план.

При анализе центроидов или главных компонентов(PCA) оценки первого фактора создаются путем умножения каждой оценки на корреляцию фактора (обычно среднего значения всех стандартизованных оценок для каждого человека) с оценками каждого элемента. Это умножение взвешивает каждый элемент на основе корреляции модели индивидуальных различий по каждому пункту (оценки компонентов). Если консенсус по этим вопросам распределен неравномерно, некоторые вопросы могут быть больше сосредоточены на общих вопросах общего фактора. Если элемент сильно коррелирует с характером общих индивидуальных различий, то он имеет больший вес в общих оценках факторов. Это взвешивание неявно также взвешивает балл CBA, поскольку именно те элементы, которые имеют общий шаблон консенсуса CBA, имеют больший вес в факторном анализе.

Факторный анализ транспонированной методологии Q , созданный Уильямом Стефенсоном (психолог) , явно выявляет эту взаимосвязь. Баллы CBA статистически изоморфны баллам компонентов в PCA для анализа Q-фактора. Они представляют собой загрузку ответов каждого человека на среднее значение ответов всех людей. Таким образом, анализ Q-фактора может обеспечить превосходную меру CBA, если его можно использовать сначала для выбора людей, которые представляют доминирующее измерение, по сравнению с элементами, которые лучше всего представляют измерение подчиненных атрибутов области (например, либерализм в политической области). Затем факторный анализ может предоставить CBA отдельных лиц по этой конкретной оси области.

На практике, когда элементы нелегко создать и упорядочить для обеспечения высоконадежной шкалы, анализ Q-фактора не нужен, поскольку исходный факторный анализ также должен выбирать те элементы, которые имеют общий консенсус. Так, например, в шкале пунктов для политических взглядов пункты могут спрашивать об отношении к большому правительству; закон и порядок; экономические вопросы; трудовые вопросы; или либертарианские проблемы. Какой из этих пунктов наиболее сильно влияет на политические установки опрошенных групп, может быть трудно определить априори. Однако, поскольку факторный анализ представляет собой симметричное вычисление на матрице элементов и людей, исходный факторный анализ элементов (когда это шкала Лайкерта) выбирает не только те элементы, которые находятся в аналогичной области, но и в более общем плане те элементы, которые имеют аналогичный консенсус.Дополнительным преимуществом этой методики факторного анализа является то, что элементы автоматически упорядочиваются по фактору, так что наивысшие рейтинги Лайкерта также являются наивысшими стандартными баллами CBA. После выбора этот фактор определяет оценки CBA (компонент).

Критика [ править ]

Наиболее распространенная критика стандартов CBA - это вопрос, как среднее может быть максимальным стандартом. В этой критике утверждается, что CBA не подходит для тестов на максимальную эффективность психологических характеристик, особенно интеллекта. Даже в этом случае методы CBA обычно используются для различных измерений нетрадиционного интеллекта (например, практического, эмоционального, социального и т. Д.). Подробная критика представлена ​​в Gottfredson (2003) и MacCann, Roberts, Matthews, & Zeidner (2004), а также в других местах научной литературы.

См. Также [ править ]

Ссылки [ править ]

  • Готтфредсон, LS (2003). Анализ практической теории интеллекта: его утверждения и доказательства. Интеллект, 31 (4), 343–397.
  • Легри, П.Дж., Псотка Дж., Трембл, Т.Р. и Борн, Д. (2005). Использование измерения на основе консенсуса для оценки эмоционального интеллекта. В R. Schulze & R. Roberts (Eds.), International Handbook of Emotional Intelligence. (стр 99–123). Берлин, Германия: Hogrefe & Huber.
  • Макканн, К., Робертс, Р. Д., Мэтьюз, Г., и Зейднер, М. (2004). Оценка консенсуса и взвешивание эмпирических вариантов тестов эмоционального интеллекта (EI) на основе результатов. Личность и индивидуальные различия, 36, 645–662.

Внешние ссылки [ править ]