Методы масштабирования наилучшего – наихудшего ( BWS ) [1] включают моделирование выбора (или эксперимент с дискретным выбором - «DCE») и были изобретены Джорданом Лувьером в 1987 году, когда он работал на факультете Университета Альберты . Как правило, с помощью BWS респондентам показывают подмножество элементов из основного списка и просят указать лучшие и худшие элементы (или наиболее и наименее важные, или наиболее и наименее привлекательные и т. Д.). Задача повторяется несколько раз, систематически изменяя конкретное подмножество элементов, обычно в соответствии со статистическим планом.. Обычно анализ проводится, как и в случае с АКД в более общем плане, исходя из предположения, что респонденты делают выбор в соответствии со случайной полезной моделью (RUM). RUM предполагают, что оценка того, насколько респондент предпочитает пункт A пункту B, обеспечивается тем, как часто пункт A выбирается перед пунктом B при повторных выборах. Таким образом, частоты выбора оценивают полезности в соответствующей скрытой шкале. BWS по существу стремится предоставить больше информации о выборе в нижней части этой шкалы без необходимости задавать дополнительные вопросы, относящиеся к элементам с более низким рейтингом.
История
Лувьер связывает эту идею с ранней работой Энтони А. Дж. Марли в его докторской диссертации, который вместе с Дунканом Люсом в 1960-х годах провел большую часть новаторских исследований в области математической психологии и психофизики для аксиоматизации теории полезности. Марли столкнулся с проблемами аксиоматизации определенных типов данных ранжирования и при обсуждении своего тезиса предположил, что изучение «низших» и «высших» пунктов в списке могло бы стать плодотворной темой для будущих исследований. Затем идея томилась в течение трех десятилетий, пока в начале 1990-х не появились первые рабочие документы и публикации. Полный учебник с описанием теории, методов и приложений был опубликован в сентябре 2015 г. ( Cambridge University Press ) Джорданом Лувьером ( Университет Южной Австралии ), Терри Н. Флинном (TF Choices Ltd.) и Энтони А. Дж. Марли ( Университет Виктории и США). Университет Южной Австралии). [1] В книге собраны разрозненные исследования различных академических и практических дисциплин в надежде, что удастся избежать повторений и ошибок в реализации. Три автора (по отдельности и вместе) уже опубликовали многие ключевые научные рецензируемые статьи, описывающие теорию BWS, [2] [3] [4] практику, [5] [6] и ряд приложений в области здравоохранения, [ 5] социальная помощь, [7] маркетинг, [6] транспорт, голосование [8] и экономика окружающей среды. [9] Однако в настоящее время метод стал популярным в более широком сообществе исследователей и практиков, а другие исследователи изучают его использование в самых разных областях, таких как оценка студентами преподавания, [10] маркетинг вина, [11] количественная оценка озабоченности по поводу СДВГ. лекарства, [12] важность экологической устойчивости [13] и установление приоритетов в генетическом тестировании . [14]
Цели
BWS преследует две разные цели - как метод сбора данных и / или как теория того, как люди делают выбор, когда сталкиваются с тремя или более предметами. Это различие имеет решающее значение, учитывая продолжающееся неправильное использование термина maxdiff для описания метода. Как отмечают Марли и Лувьер, maxdiff - это давно устоявшаяся академическая математическая теория с очень конкретными предположениями о том, как люди делают выбор: [2] она предполагает, что респонденты оценивают все возможные пары элементов в отображаемом наборе и выбирают ту пару, которая отражает максимум различие в предпочтениях или важности.
Как теория процесса (теория принятия решений)
Рассмотрим набор, в котором респондент оценивает четыре пункта: A, B, C и D. Если респондент говорит, что A - лучший, а D - худший, эти два ответа сообщают нам о пяти из шести возможных подразумеваемых парных сравнений:
- А> В, А> С, А> D, В> D, С> D
Единственное парное сравнение, которое невозможно вывести, - это сравнение B и C. При выборе одного из пяти пунктов опрос MaxDiff дает информацию о семи из десяти подразумеваемых парных сравнений. Таким образом, BWS можно рассматривать как разновидность метода парных сравнений .
Тем не менее, респонденты могут получить наилучшие-наихудшие данные любым из множества способов. Вместо того, чтобы оценивать все возможные пары ( модель maxdiff ), они могут выбрать лучшее из n элементов, худшее из оставшихся n-1 или наоборот. Или, действительно, они могут использовать совершенно другой метод. Таким образом, должно быть ясно, что maxdiff - это подмножество BWS . Модель maxdiff оказалась полезной при доказательстве свойств ряда оценок в BWS. [2] [3] [4] Однако его реализм как описания того, как люди могут на самом деле предоставлять лучшие и худшие данные, может быть поставлен под сомнение по следующей причине. По мере увеличения количества элементов количество возможных пар увеличивается в мультипликативной манере: n элементов дает n (n-1) пар (где имеет значение порядок наилучший-наихудший). Предположение, что респонденты действительно оценивают все возможные пары, является сильным предположением, и за 14 лет презентаций три соавтора практически никогда не нашли участника курса или конференции, который признался бы, что использовал этот метод для принятия решения о своем лучшем и худшем выборе. [1] Практически все признали, что использовали последовательные модели (лучшее - потом худшее или худшее - лучшее). [15]
Ранние работы (включая работу самого Лувьера) действительно использовали термин maxdiff для обозначения BWS, но с привлечением Марли в команду, разрабатывающую метод, правильная академическая терминология распространилась по всей Европе и Азиатско-Тихоокеанскому региону (если не в Северной Америке, который продолжает использовать термин maxdiff). В самом деле, остается открытым вопрос, реализуют ли основные производители программного обеспечения процедур maxdifff с дискретным выбором модели maxdiff для оценки параметров, несмотря на продолжающуюся рекламу возможностей maxdiff.
Как метод сбора данных
Второе использование BWS - это метод сбора данных (а не теория того, как люди производят лучший и худший продукт). BWS может, особенно в эпоху интернет-опросов, использоваться для систематического сбора данных, который (1) вынуждает всех респондентов предоставлять лучшие и худшие данные одинаково (например, спрашивая сначала лучший, затем седеющий). выбрал выбранный вариант, то спрашиваю худший); (2) Обеспечивает сбор полного рейтинга, если реализован повторный опрос BWS для сбора «внутреннего рейтинга». Во многих контекстах BWS для сбора данных рассматривался просто как способ получения таких данных для облегчения расширения данных (для оценки условных логит-моделей с гораздо большим количеством наборов выбора) или для оценки обычных ранговых упорядоченных логит-моделей. [16]
Типы («дела»)
Переименование метода, чтобы прояснить, что масштабирование maxdiff - это BWS, но BWS не обязательно является maxdiff, было принято Лувьером в консультации с двумя его ключевыми участниками (Флинном и Марли) при подготовке книги и было представлено в статье Флинн. [17] В этом документе также использовалась возможность прояснить, что на самом деле существует три типа («случаев») BWS: Случай 1 («объектный случай»), Случай 2 («профильный случай») и Случай. 3 («многопрофильный корпус»). Эти три случая во многом различаются сложностью выбора предлагаемых товаров.
Случай 1 («случай объекта»)
В примере 1 представлены элементы, которые могут быть позиционными заявлениями, политическими целями, маркетинговыми лозунгами или элементами любого типа, не имеющими атрибутов и структуры уровней. Он в основном используется, чтобы избежать ошибок шкалы, которые, как известно, влияют на данные шкалы оценок ( Лайкерта ). [18] [19] Это особенно полезно при выявлении степени важности или согласия, которую респонденты приписывают на основе набора утверждений, и когда исследователь хочет убедиться, что элементы конкурируют друг с другом (чтобы респонденты не могли легко оценить несколько элементов как имеет такое же значение).
Случай 2 («профильный случай»)
Случай 2 преобладает в отношении здоровья, и элементы являются уровнями атрибутов, описывающих один профиль типа, знакомого разработчикам моделей выбора. Вместо того, чтобы делать выбор между профилями, респондент должен делать лучший и худший (наибольший и наименьший) выбор в рамках профиля. Таким образом, для примера мобильного (сотового) телефона выбор будет наиболее приемлемыми и наименее приемлемыми характеристиками данного телефона. Случай 2 оказался мощным в выявлении предпочтений среди уязвимых групп, таких как пожилые [20] [21] лица, осуществляющие уход [22], и дети [23], которым традиционные многопрофильные эксперименты с дискретным выбором затруднительны. Действительно, первое сравнение случая 2 с DCE в одной модели показало, что, хотя подавляющее большинство (более старших) респондентов предоставили пригодные для использования данные из задачи BWS, только около половины сделали это для DCE. [20]
Корпус 3 («многопрофильный корпус»)
Случай 3, пожалуй, наиболее знаком разработчикам моделей выбора, поскольку он является просто расширением модели дискретного выбора: количество профилей должно быть не менее трех, и вместо того, чтобы просто выбирать тот, который респондент купил бы, он выбирает лучшее. и худший профиль.
Конструкции для учебы
В исследованиях случая 1 BWS обычно используются сбалансированные неполные блочные конструкции (BIBD). Это приводит к тому, что каждый элемент появляется одинаковое количество раз, а также заставляет каждый элемент конкурировать друг с другом одинаковое количество раз. Эти особенности привлекательны тем, что респондент не может получить ошибочную информацию о предметах (какие предметы "действительно" интересуют дизайнера). [1] Они также гарантируют, что не может быть никаких «связей» по важности / значимости на самом верху или внизу шкалы.
В исследованиях варианта 2 BWS могут использоваться ортогональные планы основных эффектов (OMEP) или эффективные планы, хотя первые на сегодняшний день преобладают.
Случай 3 В исследованиях BWS может использоваться любой из типов дизайна, обычно используемых для DCE, при условии, что количество профилей (альтернатив) в наборе выбора должно быть не менее трех, чтобы задача BWS имела смысл.
Недавняя история
Стив Коэн представил BWS миру маркетинговых исследований в докладе, представленном на конференции ESOMAR в Барселоне в 2002 году под названием «Обновление сегментации рынка: некоторые новые инструменты для исправления старых проблем». Эта статья была номинирована на лучшую статью на этой конференции. В 2003 году на латиноамериканской конференции ESOMAR в Пунта-дель-Эсте , Уругвай, Стив и его соавтор доктор Леопльдо Нейра сравнили результаты BWS с результатами, полученными с помощью методов рейтинговой шкалы. Эта статья выиграла лучший методологический доклад на этой конференции. Позднее в том же году она была выбрана лауреатом Премии Джона и Мэри Гудиер за лучшую работу на всех конференциях ESOMAR в 2003 году, а затем была опубликована в качестве ведущей статьи в журнале «Excellence in International Research 2004», опубликованном ESOMAR. На конференции по программному обеспечению Sawtooth в 2003 году доклад Стива Коэна «Максимальное масштабирование разницы: улучшенные показатели важности и предпочтения для сегментации» был выбран как лучший доклад. Коэн и президент Sawtooth Software Брайан Орм согласился, что MaxDiff должен быть частью пакета Sawtooth, и он был представлен позже в том же году. Позже в 2004 году Коэн и Орм получили премию Дэвида К. Хардина от AMA за свою статью, которая была опубликована в журнале Marketing Research Magazine под названием «Каковы ваши предпочтения? Спрашивание респондентов об их предпочтениях приводит к новым решениям о масштабировании».
Параллельно с этим Эмма Макинтош и Джордан Лувьер представили медицинскому сообществу BWS (случай 2) на конференции исследовательской группы экономистов здравоохранения в 2002 году. Это побудило к сотрудничеству с Флинном и, в конечном итоге, к установлению связи с Марли, который начал работать с Лувьером независимо, чтобы доказать свойства оценщиков BWS. Популярность трех случаев в значительной степени варьировалась в зависимости от академической дисциплины: случай 1 оказался популярным в маркетинговых исследованиях и исследованиях пищевых продуктов, случай 2 в основном применялся в сфере здравоохранения, а случай 3 использовался в различных дисциплинах, которые уже используют DCE. Отчасти именно из-за непонимания многих дисциплин на самом деле существует три случая BWS, которые побудили трех основных разработчиков написать учебник.
Книга содержит вводную главу, в которой резюмируется история BWS и трех случаев, а также объясняется, почему респондент должен подумать, хочет ли он (а) использовать ее для понимания теории (процессов) принятия решений и / или просто для сбора данных в систематический способ. Далее следуют три главы, по одной для каждого случая, в которых подробно рассказывается об интуиции и применении каждой. Затем следует глава, объединяющая работы Марли, доказывающие свойства ключевых оценщиков и излагающие некоторые нерешенные вопросы. После изложения открытых вопросов для дальнейшего анализа следуют девять глав (по три на случай - с описанием приложений из различных дисциплин).
Проведение исследования
Основные этапы проведения всех видов исследования BWS:
- Проведите надлежащее качественное или иное исследование, чтобы правильно определить и описать все интересующие вас элементы. [24]
- Составьте статистический план, который указывает, какие элементы должны быть представлены в каждом наборе элементов («выборочный набор») - рисунки могут происходить из общедоступных каталогов, создаваться вручную или создаваться из коммерчески доступного программного обеспечения.
- Используйте дизайн для создания наборов выбора, которые содержат актуальные элементы (текстовые или визуальные).
- Получить данные ответов, в которых респонденты выбирают лучшее и худшее из каждой задачи; повторение наилучшего-худшего (для получения второго лучшего, второго худшего и т. д.) может быть проведено, если аналитик желает получить больше данных.
- Введите данные в статистическую программу и проанализируйте. Программное обеспечение будет создавать служебные функции для каждой из функций. Помимо оценок полезности, вы также можете запросить необработанные подсчеты, которые просто суммируют общее количество раз, когда продукт был выбран как лучший и худший. Эти функции полезности показывают воспринимаемую ценность продукта на индивидуальном уровне и насколько чувствительны восприятие и предпочтения потребителей к изменениям в характеристиках продукта.
Анализ
Оценка функции полезности выполняется с использованием любого из множества методов.
- полиномиальный анализ дискретного выбора, в частности полиномиальный логит (строго говоря, условный логит , хотя эти два термина теперь используются взаимозаменяемо). Модель полиномиального логита (MNL) часто является первым этапом анализа и обеспечивает меру средней полезности для уровней атрибутов или объектов (в зависимости от случая).
- Во многих случаях, особенно в случаях 1 и 2, простое наблюдение и построение графика частот выбора фактически должно быть первым шагом, поскольку это очень полезно для выявления неоднородности предпочтений и респондентов, использующих правила принятия решений, основанные на одном атрибуте.
- В этом процессе оценки можно использовать несколько алгоритмов, включая максимальное правдоподобие , нейронные сети и иерархическую байесовскую модель . Иерархическая байесовская модель полезна, потому что она позволяет заимствовать данные, хотя, поскольку BWS часто позволяет оценивать модели индивидуального уровня, преимущества байесовских моделей сильно ослабляются. Недавно было показано, что модели времени отклика воспроизводят оценки полезности BWS, что представляет собой важный шаг вперед в проверке заявленных предпочтений в целом и предпочтений BWS в частности. [25] [26]
Преимущества
Анкеты BWS относительно просты для понимания большинством респондентов. Более того, люди намного лучше оценивают предметы по крайностям, чем различая предметы средней важности или предпочтения [ необходима цитата ] . А поскольку ответы включают в себя выбор элементов, а не выражение силы предпочтений, нет возможности для предвзятого отношения к использованию шкалы .
Респонденты считают эти шкалы оценок очень простыми, но они, как правило, дают результаты, которые указывают на то, что все «довольно важно», что делает данные не особенно полезными. [ необходима цитата ] BWS, с другой стороны, заставляет респондентов делать выбор между вариантами, в то же время предоставляя рейтинги, показывающие относительную важность оцениваемых пунктов. Также производит:
- Распределение «баллов» (рассчитанных как лучшая частота минус худшая частота) для всех пунктов, которые позволяют исследователю наблюдать эмпирическое распределение оцененных полезностей. Это дает информацию о том, насколько реалистичными могут быть результаты традиционных методов анализа, предполагающих стандартные непрерывные распределения. Потребители, как правило, образуют отдельные группы с очень разными предпочтениями, что приводит к мультимодальному распределению.
- Данные, которые позволяют исследовать правило принятия решения (функциональную форму функции полезности) на различной глубине ранжирования (проще говоря, «правило наилучшего решения против правила наихудшего решения»). Новые исследования показывают, что в некоторых контекстах респонденты не используют одно и то же правило, что ставит под сомнение использование таких методов оценки, как логит-модель с упорядоченным ранжированием.
- Оценка влияния атрибута, мера общего влияния атрибута на выбор, недоступная в традиционных моделях дискретного выбора.
- Больше данных, которые позволяют лучше понять варианты выбора для заданного количества наборов вариантов. Ту же информацию можно получить, просто представив больше наборов вариантов, но это чревато риском того, что респондентам станет скучно и они перестанут заниматься задачей.
- Количественная оценка явлений сдвига реакции и адаптации к плохому состоянию здоровья. [20]
Недостатки
Масштабирование от наилучшего к худшему включает в себя сбор как минимум двух наборов данных: как минимум, первый лучший и первый худший, а в некоторых случаях дополнительные ранги (второй лучший, второй худший и т. Д.). объединить эти данные уместно. Ранняя работа, предполагавшая наилучшее, была просто противоположностью худшего: респонденты имели внутреннее ранжирование всех элементов и просто выбирали элемент с самым высоким / самым низким рейтингом в данном вопросе. В более поздних работах было высказано предположение, что в некоторых контекстах это не так: человек может (например) выбрать в соответствии с традиционной экономической теорией лучшее (торговля по атрибутам), но выбрать худшее, используя стратегию исключения по атрибутам (выбирая как худший элемент что просто недопустимо по одному признаку). При наличии таких разных правил принятия решений становится невозможным узнать, как объединить данные: в какой момент человек, двигаясь вниз в рейтинге, переходит от «экономической торговли» к «исключению по аспектам».
Это представляет собой явную проблему для мотивации увеличения данных для BWS, но не обязательно для BWS, когда используется как способ понимания процесса (принятия решений). В частности, психологов будут особенно интересовать различные типы принятия решений. Маркетологи также могут захотеть узнать, есть ли у данного продукта неприемлемые особенности. В настоящее время ведется работа по выяснению того, когда возникают разные правила принятия решений, и можно ли и как объединить данные из таких разных источников.
BWS также страдает теми же недостатками, что и все заявленные методы предпочтения. Неизвестно, согласуются ли предпочтения с выбором, сделанным в реальном мире (выявленными предпочтениями). В некоторых случаях доступны выявленные предпочтения (как правило, реальные рыночные решения), что позволяет проверить выбор BWS. В других случаях, довольно часто в отношении здоровья, данные о предпочтениях не выявлены, и проверка оказывается невозможной. Совсем недавно были предприняты попытки подтвердить данные SP с использованием физиологических данных, таких как отслеживание взгляда и время реакции. [25] Ранние исследования показывают, что модели времени отклика согласуются с результатами моделей BWS в здравоохранении, но в других контекстах требуются дополнительные исследования.
Рекомендации
- ^ a b c d «Наихудшее масштабирование» . Издательство Кембриджского университета . Проверено 1 октября 2015 .
- ^ а б в Марли, AAJ; Лувьер, JJ (2005-12-01). «Некоторые вероятностные модели наилучшего, наихудшего и наилучшего – наихудшего выбора». Журнал математической психологии . Специальный выпуск, посвященный Жан-Клоду Фальманю: Часть 1 Специальный выпуск, посвященный Жан-Клоду Фальманю: Часть 1. 49 (6): 464–480. DOI : 10.1016 / j.jmp.2005.05.003 .
- ^ а б Марли, AAJ; Флинн, Терри Н .; Лувьер, JJ (2008-10-01). «Вероятностные модели выбора наилучшего – худшего на уровне множества и на уровне атрибутов». Журнал математической психологии . 52 (5): 281–296. DOI : 10.1016 / j.jmp.2008.02.002 . ЛВП : 10453/8292 .
- ^ а б Марли, AAJ; Пихленс, Д. (01.02.2012). «Модели наилучшего – наихудшего выбора и ранжирование среди мультиатрибутных вариантов (профилей)» . Журнал математической психологии . 56 (1): 24–34. DOI : 10.1016 / j.jmp.2011.09.001 .
- ^ а б Флинн, Терри Н .; Лувьер, Джордан Дж .; Питерс, Тим Дж .; Побережье, Джоанна (01.01.2007). «Лучшее – худшее масштабирование: что оно может сделать для медицинских исследований и как это сделать». Журнал экономики здравоохранения . 26 (1): 171–189. DOI : 10.1016 / j.jhealeco.2006.04.002 . PMID 16707175 .
- ^ а б Лувьер, Иордания; Лингс, Ян; Ислам, Товидул; Гудерган, Зигфрид; Флинн, Терри (01.09.2013). «Введение в применение (случай 1) наилучшего – наихудшего масштабирования в маркетинговых исследованиях» (PDF) . Международный журнал исследований в области маркетинга . 30 (3): 292–303. DOI : 10.1016 / j.ijresmar.2012.10.002 .
- ^ Потоглоу Димитрис; Бердж, Питер; Флинн, Терри; Неттен, Энн; Малли, Джульетта; Фордер, Жюльен; Брейзер, Джон Э. (01.05.2011). «Лучшее – худшее масштабирование и эксперименты с дискретным выбором: эмпирическое сравнение с использованием данных социальной помощи» (PDF) . Социальные науки и медицина . 72 (10): 1717–1727. DOI : 10.1016 / j.socscimed.2011.03.027 . PMID 21530040 .
- ^ Гарсиа-Лапреста, Хосе Луис; Марли, А.А. J .; Мартинес-Панеро, Мигель (12 сентября 2009 г.). «Характеристика лучших – худших систем голосования в контексте подсчета очков». Социальный выбор и благосостояние . 34 (3): 487–496. DOI : 10.1007 / s00355-009-0417-1 . ISSN 0176-1714 .
- ^ Скарпа, Риккардо; Нотаро, Сандра; Лувьер, Иордания; Рафаэлли, Роберта (19.06.2011). «Изучение масштабных эффектов данных о выборе наилучшего / наихудшего ранга для оценки выгод от туризма в альпийских пастбищах». Американский журнал экономики сельского хозяйства . 93 (3): 813–828. DOI : 10.1093 / AJAE / aaq174 . ISSN 0002-9092 .
- ^ Хайберс, Тван (19 мая 2014 г.). «Студенческая оценка обучения: использование шкалы« лучший – худший »». Оценка и оценка в высшем образовании . 39 (4): 496–513. DOI : 10.1080 / 02602938.2013.851782 . ISSN 0260-2938 .
- ^ Коэн, Эли (20 марта 2009 г.). «Применение шкалы« лучший-худший »к маркетингу вина». Международный журнал исследований винного бизнеса . 21 (1): 8–23. DOI : 10.1108 / 17511060910948008 . ISSN 1751-1062 .
- ^ Росс, Мелисса; Бриджес, Джон Ф. П.; Нг, Синьи; Вагнер, Лорен Д .; Фрош, Эмили; Ривз, Глория; dosReis, Сьюзан (17 ноября 2014 г.). «Самый худший эксперимент по масштабированию для определения приоритета заботы опекунов о лекарствах от СДВГ для детей» . Психиатрические службы . 66 (2): 208–211. DOI : 10,1176 / appi.ps.201300525 . ISSN 1075-2730 . PMC 5294953 . PMID 25642618 .
- ^ Мюллер Луз, Симона; Локшин, Ларри (2013-03-01). «Проверка устойчивости наилучшего наихудшего масштабирования для межнациональной сегментации с различным количеством наборов выбора». Качество еды и предпочтения . Девятый симпозиум по сенсорной науке в Пэнгборне. 27 (2): 230–242. DOI : 10.1016 / j.foodqual.2012.02.002 .
- ^ Северин, Франциска; Шмидтке, Йорг; Мюльбахер, Аксель; Роговски, Вольф Х. (01.11.2013). «Выявление предпочтений для установки приоритетов в генетическом тестировании: пилотное исследование, сравнивающее лучшие-худшие эксперименты по масштабированию и дискретному выбору» . Европейский журнал генетики человека . 21 (11): 1202–1208. DOI : 10.1038 / ejhg.2013.36 . ISSN 1018-4813 . PMC 3798841 . PMID 23486538 .
- ^ Флинн, Терри Н .; Лувьер, Джордан Дж .; Питерс, Тим Дж .; Побережье, Джоанна (18 ноября 2008 г.). «Оценка предпочтений для консультации дерматолога с использованием шкалы Best-Worst Scaling: Сравнение различных методов анализа» . BMC Medical Research Methodology . 8 (1): 76. DOI : 10,1186 / 1471-2288-8-76 . ISSN 1471-2288 . PMC 2600822 . PMID 19017376 .
- ^ Лувьер, Джордан Дж .; Улица, Дебора ; Берджесс, Леони; Васи, Нада; Ислам, Товидул; Марли, Энтони AJ (1 января 2008 г.). «Моделирование выбора отдельных лиц, принимающих решения, путем объединения эффективных экспериментов по выбору с дополнительной информацией о предпочтениях» . Журнал моделирования выбора . 1 (1): 128–164. DOI : 10.1016 / S1755-5345 (13) 70025-3 .
- ^ Флинн, Терри Н. (01.06.2010). «Оценка предпочтений граждан и пациентов в отношении здоровья: последние достижения в трех типах шкалы наилучшего – наихудшего». Экспертный обзор фармакоэкономических исследований и результатов исследований . 10 (3): 259–267. DOI : 10,1586 / erp.10.29 . ISSN 1473-7167 . PMID 20545591 .
- ^ Баумгартнер, Ганс; Стинкамп, Ян-Бенедикт Е.М. (01.05.2001). «Стили ответа в маркетинговых исследованиях: межнациональное исследование». Журнал маркетинговых исследований . 38 (2): 143–156. DOI : 10,1509 / jmkr.38.2.143.18840 . ISSN 0022-2437 . S2CID 11304067 .
- ^ Стинкамп, Ян-Бенедикт Э.М. Баумгартнер, Ганс (1998-06-01). «Оценка инвариантности измерений в межнациональных исследованиях потребителей» . Журнал потребительских исследований . 25 (1): 78–107. DOI : 10.1086 / 209528 . JSTOR 10.1086 / 209528 .
- ^ а б в Н. Флинн, Терри; Дж. Петерс, Тим; Побережье, Джоанна (2013-03-01). «Количественная оценка сдвига реакции или эффектов адаптации в качестве жизни путем синтеза наилучшего-худшего масштабирования и данных дискретного выбора». Журнал моделирования выбора . 6 : 34–43. DOI : 10.1016 / j.jocm.2013.04.004 .
- ^ Побережье, Джоанна; Флинн, Терри Н .; Натараджан, Люси; Спростон, Керри; Льюис, Джейн; Лувьер, Джордан Дж .; Питерс, Тим Дж. (1 сентября 2008 г.). «Оценка индекса возможностей ICECAP для пожилых людей». Социальные науки и медицина . Часть Спецвыпуск: Этика и этнография медицинских исследований в Африке. 67 (5): 874–882. DOI : 10.1016 / j.socscimed.2008.05.015 . hdl : 10453/9747 . PMID 18572295 .
- ^ Аль-Джанаби, Харет; Флинн, Терри Н .; Побережье, Джоанна (01.05.2011). «Оценка на основе предпочтений шкалы опыта опекуна». Принятие медицинских решений . 31 (3): 458–468. DOI : 10.1177 / 0272989X10381280 . ISSN 0272-989X . PMID 20924044 .
- ^ Рэтклифф, профессор Джули; Флинн, Терри; Терлих, Фрэнсис; Стивенс, Кэтрин; Brazier, Джон; Сойер, Майкл (2012-12-23). «Разработка показателей состояния здоровья подростков для экономической оценки». Фармакоэкономика . 30 (8): 713–727. DOI : 10.2165 / 11597900-000000000-00000 . ISSN 1170-7690 . PMID 22788261 .
- ^ Побережье, Джоанна; Аль-Джанаби, Харет; Саттон, Эйлин Дж .; Хоррокс, Сьюзен А .; Воспер, А. Джейн; Swancutt, Dawn R .; Флинн, Терри Н. (2012-06-01). «Использование качественных методов для разработки атрибутов для экспериментов с дискретным выбором: проблемы и рекомендации». Экономика здравоохранения . 21 (6): 730–741. DOI : 10.1002 / hec.1739 . ISSN 1099-1050 . PMID 21557381 .
- ^ а б Хокинс, Гай Э .; Марли, Аадж; Хиткот, Эндрю; Флинн, Терри Н .; Лувьер, Джордан Дж .; Браун, Скотт Д. (2014-05-01). «Интеграция когнитивного процесса и описательных моделей отношений и предпочтений» . Когнитивная наука . 38 (4): 701–735. DOI : 10.1111 / cogs.12094 . ISSN 1551-6709 . PMID 24124986 . S2CID 15328149 .
- ^ «Лучшие времена и худшие времена взаимозаменяемы» . APA PsycNET . Проверено 1 октября 2015 .