Матрица « мультитрейт-мультиметод» ( MTMM ) - это подход к проверке достоверности конструкции, разработанный Кэмпбеллом и Фиске (1959). [1] Он систематизирует конвергентные и дискриминантные свидетельства достоверности для сравнения того, как мера соотносится с другими мерами.
Определения и ключевые компоненты
В этом подходе используются множественные признаки , чтобы исследовать (а) похожие или (б) несходные признаки ( конструкции ), чтобы установить конвергентную и дискриминантную валидность между признаками. Точно так же в этом подходе используются несколько методов для изучения различных эффектов (или их отсутствия), вызванных отклонениями, характерными для метода.
При проверке достоверности конструкции с помощью матрицы MTMM необходимо учитывать шесть основных факторов, а именно:
- Оценка конвергентной валидности - тесты, предназначенные для измерения одной и той же конструкции, должны сильно коррелировать между собой.
- Оценка дискриминантной (дивергентной) валидности - конструкция, измеряемая тестом, не должна сильно коррелировать с различными конструкциями.
- Единица метода признака - каждая задача или тест, используемый для измерения конструкции, считается единицей метода признака; в том, что дисперсия, содержащаяся в мере, является отчасти признаком, а отчасти методом. Как правило, исследователи хотят иметь низкую дисперсию по конкретным методам и высокую дисперсию признаков.
- Multitrait-multimethod - Для установления (а) дискриминантной валидности и (б) относительного вклада характерной особенности или специфической дисперсии метода необходимо использовать более одного признака и более одного метода. Этот принцип согласуется с идеями, предложенными Платтом в концепции сильного вывода (1964). [2]
- Совершенно другая методология - при использовании нескольких методов необходимо учитывать, насколько разные фактические показатели. Например, предоставление двух показателей самоотчета на самом деле не являются разными мерами; тогда как использование шкалы интервью или психосоматического чтения было бы.
- Характеристики черт - черты должны быть достаточно разными, чтобы отличаться друг от друга, но достаточно похожими, чтобы их стоило изучить в MTMM.
Пример
В приведенном ниже примере представлена типовая матрица и показано, что означают корреляции между мерами. Диагональная линия обычно заполняется коэффициентом надежности меры (например, коэффициентом альфа). Описания в скобках [] указывают на то, что ожидается, когда валидность конструкции (например, депрессия или тревога) и валидность показателей будут высокими.
Контрольная работа | Бек Депрессия Инв. | Интервью Гепнера о депрессии | Бек Тревога Инв. | Интервью Hepner Anxiety |
---|---|---|---|---|
BDI | (Коэффициент надежности) [близко к 1,00] | |||
HDIv | Гетерометод-монотрейт [высший из всех, кроме надежности] | (Коэффициент надежности) [близко к 1,00] | ||
BAI | Монометод-гетеротрейт [низкий, менее монохромный] | Гетерометод-гетеротрейт [самый низкий из всех] | (Коэффициент надежности) [близко к 1,00] | |
HAIv | Гетерометод-гетеротрейт [самый низкий из всех] | Монометод-гетеротрейт [низкий, менее монотрейтный] | Гетерометод-монотрейт [высший из всех, кроме надежности] | (Коэффициент надежности) [близко к 1,00] |
В этом примере первая строка и первый столбец отображают оцениваемую черту (например, тревогу или депрессию), а также метод оценки этой черты (например, интервью или опрос, измеренный с помощью вымышленных мер). Термин гетерометод указывает на то, что в этой ячейке сообщается о корреляции между двумя отдельными методами . Монометод указывает на обратное, поскольку используется тот же метод (например, интервью, интервью). Heterotrait указывает на то, что ячейка сообщает о двух предположительно разных чертах. Monotrait указывает на обратное - что используется одна и та же черта.
При оценке фактической матрицы желательно изучить долю дисперсии, разделяемую между признаками и методами, чтобы определить, насколько конкретная дисперсия метода вызвана методом измерения, а также взглянуть на то, насколько уникальна эта характеристика, поскольку по сравнению с другой чертой.
То есть, например, характеристика должна иметь большее значение, чем конкретный метод измерения. Например, если человек оценивается как находящийся в сильной депрессии по одному показателю, то другой тип меры также должен указывать на то, что человек находится в сильной депрессии. С другой стороны, люди, которые выглядят сильно подавленными в инвентаре депрессии Бека, не обязательно должны получать высокие оценки тревожности в инвентаре тревожности Бека. Поскольку описи были написаны одним и тем же человеком и похожи по стилю, может существовать некоторая корреляция, но это сходство в методах не должно сильно влиять на оценки, поэтому корреляция между этими измерениями различных характеристик должна быть низкой.
Анализ
Для анализа данных из матрицы MTMM использовались различные статистические подходы. Стандартный метод Кэмпбелла и Фиске может быть реализован с помощью программы MTMM.EXE, доступной по адресу: https://web.archive.org/web/20160304173400/http://gim.med.ucla.edu/FacultyPages/Hays/utils / Можно также использовать подтверждающий факторный анализ [3] из-за сложности рассмотрения всех данных в матрице. Однако тест Савиловского I [4] [5] рассматривает все данные в матрице с помощью статистического теста на тенденцию без распределения.
Испытание проводится путем сведения треугольников гетеропроект-гетерометод и гетеропроект-монометод, а также диагоналей достоверности и надежности в матрицу из четырех уровней. Каждый уровень состоит из минимального, среднего и максимального значения. Нулевая гипотеза состоит в том, что эти значения неупорядочены, что проверяется против альтернативной гипотезы о возрастающем упорядоченном тренде. Статистику теста определяют путем подсчета количества инверсий (I). Критическое значение для альфа = 0,05 - 10, а для альфа = 0,01 - 14.
Одной из наиболее часто используемых моделей для анализа данных MTMM является модель True Score, предложенная Сарисом и Эндрюсом ( [6] ). Модель True Score может быть выражена с помощью следующих стандартизированных уравнений:
1) Y ij = r ij TS ij + e ij *, где: Y ij - стандартизированная наблюдаемая переменная, измеренная с помощью i- го признака и j- го метода. r ij - коэффициент надежности, который равен: r ij = σ Y ij / σ TS ij TS ij - стандартизированная истинная переменная оценки e ij * - случайная ошибка, которая равна: e ij * = e ij / σ Y ij Вследствие этого: r ij 2 = 1 - σ 2 (e ij *) где: r ij 2 - надежность
2) TS ij = v ij F i + m ij M j, где: v ij - коэффициент достоверности, который равен: v ij = σ F i / σ TS ij F i - стандартизованный латентный фактор для i- й переменной представляющий интерес (или признак) m ij - эффект метода, который равен: m ij = σ M j / σ TS ij M j - стандартизованный латентный фактор для реакции на j- й метод Вследствие этого: v ij 2 = 1 - m ij 2 где: v ij 2 - срок действия
3) Y ij = q ij F i + r ij m ij M j + e *, где: q ij - коэффициент качества, который равен: q ij = r ij • v ij Вследствие этого: q ij 2 = r ij 2 • v ij 2 = σ 2 F i / σ 2 Y ij где: q ij 2 - качество
Предположения следующие:
* Ошибки случайны, поэтому среднее значение ошибок равно нулю: µ e = E (e) = 0 * Случайные ошибки не коррелированы друг с другом: cov (e i , e j ) = E (e i e j ) = 0 * Случайные ошибки не коррелируют с независимыми переменными: cov (TS, e) = E (TS e) = 0 , cov (F, e) = E (F e) = 0 и cov (M, e) = E (M e) = 0 * Предполагается, что факторы метода не коррелированы друг с другом и с факторами характеристик: cov (F, M) = E (FM) = 0
Обычно респондент должен ответить как минимум на три разных вопроса (т. Е. На характеристики), измеренные с использованием как минимум трех разных методов. Эта модель использовалась для оценки качества тысяч вопросов опроса, в частности, в рамках Европейского социального исследования .
Рекомендации
- ^ Кэмпбелл, Д.Т., & ФискеД.В. (1959) Конвергентная и дискриминантная проверка с помощью матрицы мультитрейт-мультиметодов. Психологический вестник , 56 , 81-105 »
- ^ Джон Р. Платт (1964). «Сильный вывод». Наука 146 (3642).
- ^ Figueredo, А., Ferketich, С., Кнапп, Т. (1991). Сосредоточьтесь на психометрии: подробнее о MTMM: роль подтверждающего факторного анализа. Медсестринское дело и здоровье , 14 , 387-391
- ^ Sawilowsky, S. (2002). Быстрый тест на тенденцию, не требующий распространения, который свидетельствует о валидности конструкции. Измерение и оценка в консультировании и развитии , 35 , 78-88.
- ^ Cuzzocrea, J., & Sawilowsky, S. (2009). Устойчивость к независимости и мощность теста I на наличие тенденции в конструктивной валидности. Журнал современных прикладных статистических методов , 8 (1), 215-225.
- ^ Сари, WE и Эндрюс, FM (1991). Оценка средств измерений с использованием подхода структурного моделирования. Стр. 575 - 599 in Ошибки измерения в опросах, под редакцией Бимера, П.П. и др. Нью-Йорк: Вили.