Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
«Аффективные вычисления» - это также название учебника Розалинды Пикард по этому предмету .

Аффективные вычисления - это изучение и разработка систем и устройств, которые могут распознавать, интерпретировать, обрабатывать и моделировать человеческие аффекты . Это междисциплинарная область, охватывающая информатику , психологию и когнитивную науку . [1] Хотя некоторые основные идеи в этой области можно проследить еще до ранних философских исследований эмоций , [2] более современная отрасль компьютерных наук возникла из статьи Розалинд Пикард 1995 г. [3] об аффективных вычислениях и ее книга Affective Computing [4], изданная MIT Press .[5] [6] Одним из мотивов исследования является способность придавать машинам эмоциональный интеллект, в том числе имитировать сочувствие . Машина должна интерпретировать эмоциональное состояние людей и адаптировать к ним свое поведение, соответствующим образом реагируя на эти эмоции.

Области [ править ]

Обнаружение и распознавание эмоциональной информации [ править ]

Обнаружение эмоциональной информации обычно начинается с пассивных датчиков, которые собирают данные о физическом состоянии или поведении пользователя без интерпретации входных данных. Собранные данные аналогичны сигналам, которые люди используют, чтобы воспринимать эмоции в других. Например, видеокамера может фиксировать мимику, положение тела и жесты, а микрофон может фиксировать речь. Другие датчики обнаруживают эмоциональные сигналы, напрямую измеряя физиологические данные, такие как температура кожи и гальваническое сопротивление . [7]

Распознавание эмоциональной информации требует извлечения значимых закономерностей из собранных данных. Это делается с использованием методов машинного обучения, которые обрабатывают различные методы , такие как распознавание речи , обработка естественного языка или определение выражения лица.. Цель большинства этих методов - создать ярлыки, которые соответствовали бы ярлыкам, которые человек-воспринимающий дал бы в той же ситуации: например, если человек делает выражение лица морщинистым, тогда систему компьютерного зрения можно научить маркировать их лицо выглядит «растерянным», «сосредоточенным» или «слегка негативным» (в отличие от позитивного, о котором можно было бы сказать, если бы они улыбались радостно). Эти ярлыки могут соответствовать или не соответствовать тому, что на самом деле чувствует человек.

Эмоции в машинах [ править ]

Еще одна область аффективных вычислений - это разработка вычислительных устройств, которые, как предполагается, демонстрируют либо врожденные эмоциональные способности, либо способны убедительно моделировать эмоции. Более практичным подходом, основанным на современных технологических возможностях, является моделирование эмоций в разговорных агентах с целью обогащения и облегчения взаимодействия между человеком и машиной. [8]

Марвин Мински , один из пионеров в области информатики в области искусственного интеллекта , связывает эмоции с более широкими проблемами машинного интеллекта, заявляя в «Машина эмоций», что эмоции «не особо отличаются от процессов, которые мы называем« мышлением »» [9].

Технологии [ править ]

В психологии, когнитивной науке и нейробиологии существует два основных подхода к описанию того, как люди воспринимают и классифицируют эмоции: непрерывный или категориальный. При непрерывном подходе используются такие параметры, как негативное и позитивное, спокойное или возбужденное.

Категориальный подход имеет тенденцию использовать отдельные классы, такие как счастливый, грустный, сердитый, испуганный, неожиданный, отвращенный. Для того, чтобы машины производили непрерывные или дискретные этикетки, можно использовать различные виды регрессионных и классификационных моделей машинного обучения. Иногда также создаются модели, позволяющие комбинировать категории, например, счастливое удивленное лицо или испуганно-удивленное лицо. [10]

В следующих разделах рассматриваются многие виды входных данных, используемых для распознавания эмоций .

Эмоциональная речь [ править ]

Различные изменения в вегетативной нервной системе могут косвенно изменять речь человека, а аффективные технологии могут использовать эту информацию для распознавания эмоций. Например, речь, производимая в состоянии страха, гнева или радости, становится быстрой, громкой и точной, с более высоким и широким диапазоном высоты тона, тогда как такие эмоции, как усталость, скука или грусть, как правило, вызывают медленные, низкие звуки. резкая и невнятная речь. [11] Некоторые эмоции, такие как гнев [12] или одобрение, легче идентифицировать с помощью вычислений . [13]

Технологии обработки эмоциональной речи распознают эмоциональное состояние пользователя с помощью вычислительного анализа речевых характеристик. Вокальные параметры и просодические характеристики, такие как переменные высоты тона и скорость речи, можно анализировать с помощью методов распознавания образов. [12] [14]

Анализ речи - это эффективный метод определения аффективного состояния, средняя точность которого, согласно недавним исследованиям, составляет от 70 до 80%. [15] [16] Эти системы имеют тенденцию превосходить среднюю человеческую точность (приблизительно 60% [12] ), но менее точны, чем системы, которые используют другие методы для обнаружения эмоций, такие как физиологические состояния или выражения лица. [17] Однако, поскольку многие речевые характеристики не зависят от семантики или культуры, этот метод считается многообещающим путем для дальнейших исследований. [18]

Алгоритмы [ править ]

Процесс речи / текста влияет на обнаружение требует создания надежной базы данных , базы знаний , или пространства модели вектор , [19] достаточно широкий , чтобы соответствовать любым требованиям для его применения, а также выбор успешного классификатором которая позволит быстрая и точная идентификация эмоций.

В настоящее время наиболее часто используемыми классификаторами являются линейные дискриминантные классификаторы (LDC), k-ближайший сосед (k-NN), модель смеси Гаусса (GMM), машины опорных векторов (SVM), искусственные нейронные сети (ANN), алгоритмы дерева решений и скрытые марковские модели (HMM). [20] Различные исследования показали, что выбор подходящего классификатора может значительно повысить общую производительность системы. [17] В приведенном ниже списке дается краткое описание каждого алгоритма:

  • LDC - Классификация происходит на основе значения, полученного из линейной комбинации значений признаков, которые обычно предоставляются в форме векторных объектов.
  • k-NN - Классификация происходит путем нахождения объекта в пространстве признаков и сравнения его с k ближайшими соседями (обучающие примеры). Классификация принимается большинством голосов.
  • GMM - это вероятностная модель, используемая для представления существования субпопуляций в общей популяции. Каждая подгруппа описывается с использованием смешанного распределения, что позволяет классифицировать наблюдения по подгруппам. [21]
  • SVM - это тип (обычно двоичного) линейного классификатора, который решает, в какой из двух (или более) возможных классов может попадать каждый вход.
  • ИНС - это математическая модель, вдохновленная биологическими нейронными сетями, которая может лучше понять возможные нелинейности пространства признаков.
  • Алгоритмы дерева решений - работа, основанная на следовании дереву решений, в котором листья представляют результат классификации, а ветви представляют собой соединение последующих функций, которые приводят к классификации.
  • HMMs - статистическая марковская модель, в которой состояния и переходы между состояниями напрямую не доступны для наблюдения. Вместо этого видны серии выходов, зависящих от состояний. В случае распознавания аффекта выходные данные представляют собой последовательность векторов речевых признаков, что позволяет вывести последовательности состояний, через которые развивалась модель. Состояния могут состоять из различных промежуточных шагов в выражении эмоции, и каждый из них имеет распределение вероятностей по возможным выходным векторам. Последовательности состояний позволяют нам предсказать аффективное состояние, которое мы пытаемся классифицировать, и это один из наиболее часто используемых методов в области обнаружения речевых аффектов.

Доказано, что при наличии достаточного количества акустических доказательств эмоциональное состояние человека может быть классифицировано с помощью набора классификаторов голосования большинством голосов. Предлагаемый набор классификаторов основан на трех основных классификаторах: kNN, C4.5 и SVM-RBF Kernel. Этот набор обеспечивает лучшую производительность, чем каждый базовый классификатор, взятый отдельно. Он сравнивается с двумя другими наборами классификаторов: мультиклассовой SVM «один против всех» (OAA) с гибридными ядрами и набором классификаторов, который состоит из следующих двух основных классификаторов: C5.0 и нейронная сеть. Предлагаемый вариант обеспечивает лучшую производительность, чем два других набора классификаторов. [22]

Базы данных [ править ]

Подавляющее большинство существующих систем зависят от данных. Это создает одну из самых больших проблем при обнаружении эмоций на основе речи, поскольку требует выбора соответствующей базы данных, используемой для обучения классификатора. Большая часть имеющихся в настоящее время данных была получена от актеров и, таким образом, представляет собой представление об архетипических эмоциях. Эти так называемые действующие базы данных обычно основаны на теории основных эмоций ( Пол Экман ), которая предполагает существование шести основных эмоций (гнев, страх, отвращение, удивление, радость, печаль), а остальные просто являются смесью этих эмоций. бывшие. [23] Тем не менее, они по-прежнему предлагают высокое качество звука и сбалансированные классы (хотя часто их слишком мало), что способствует высокому успеху в распознавании эмоций.

Однако для реальных приложений предпочтительны натуралистические данные. Натуралистическая база данных может быть создана путем наблюдения и анализа предметов в их естественном контексте. В конечном итоге такая база данных должна позволить системе распознавать эмоции на основе их контекста, а также определять цели и результаты взаимодействия. Природа этого типа данных позволяет реализовать их в реальной жизни, поскольку они описывают состояния, естественным образом возникающие во время взаимодействия человека с компьютером (HCI).

Несмотря на многочисленные преимущества, которые имеют натуралистические данные над данными, полученными в результате действия, их трудно получить и обычно они имеют низкую эмоциональную напряженность. Кроме того, данные, полученные в естественном контексте, имеют более низкое качество сигнала из-за шума окружающей среды и удаленности объектов от микрофона. Первой попыткой создания такой базы данных был корпус FAU Aibo Emotion Corpus для CEICES (объединение усилий для улучшения автоматической классификации эмоциональных состояний пользователя), который был разработан на основе реалистичного контекста детей (возраст 10-13 лет), играющих с домашним роботом Sony Aibo. . [24] [25] Точно так же создание единой стандартной базы данных для всех эмоциональных исследований обеспечит метод оценки и сравнения различных систем распознавания аффектов.

Дескрипторы речи [ править ]

Сложность процесса распознавания аффектов увеличивается с увеличением количества классов (аффектов) и речевых дескрипторов, используемых в классификаторе. Поэтому крайне важно выбрать только самые важные функции, чтобы гарантировать способность модели успешно определять эмоции, а также повышать производительность, что особенно важно для обнаружения в реальном времени. Диапазон возможных вариантов огромен, в некоторых исследованиях упоминается использование более 200 различных функций. [20] Крайне важно идентифицировать те, которые являются избыточными и нежелательными, чтобы оптимизировать систему и повысить вероятность правильного обнаружения эмоций. Наиболее распространенные речевые характеристики делятся на следующие группы. [24] [25]

  1. Частотные характеристики [26]
    • Форма акцента - зависит от скорости изменения основной частоты.
    • Средний тон - описание того, насколько высоко / низко говорящий говорит по сравнению с нормальной речью.
    • Наклон контура - описывает тенденцию изменения частоты с течением времени, она может быть повышением, понижением или уровнем.
    • Окончательное понижение - величина, на которую падает частота в конце высказывания.
    • Диапазон высоты тона - измеряет разброс между максимальной и минимальной частотой произнесения.
  2. Функции, связанные со временем:
    • Скорость речи - описывает скорость произнесения слов или слогов за единицу времени.
    • Частота ударения - измеряет частоту появления звуков с тональным акцентом.
  3. Параметры качества голоса и дескрипторы энергии:
    • Дыхание - измеряет шум вдоха в речи
    • Brilliance - описывает преобладание высоких или низких частот в речи.
    • Громкость - измеряет амплитуду речевого сигнала, переводит в энергию произнесения.
    • Pause Discontinuity - описывает переходы между звуком и тишиной.
    • Pitch Discontinuity - описывает переходы основной частоты.

Обнаружение аффекта лица [ править ]

Обнаружение и обработка выражения лица достигается с помощью различных методов, таких как оптический поток , скрытые модели Маркова , обработка нейронной сети или активные модели внешнего вида. Более чем одна модальность может быть объединена или объединена (мультимодальное распознавание, например, выражение лица и просодия речи, [27] мимика и жесты рук [28], или выражение лица с речью и текстом для мультимодальных данных и анализа метаданных), чтобы обеспечить большее количество данных. робастная оценка эмоционального состояния испытуемого. Affectiva - это компания (соучредителями которой являются Розалинд Пикард и Рана Эль Калиуби.) напрямую связано с аффективными вычислениями и направлено на исследование решений и программного обеспечения для обнаружения лицевых аффектов.

Базы данных по выражению лица [ править ]

Основная статья: Базы данных по выражению лица

Создание базы данных эмоций - сложная и трудоемкая задача. Однако создание базы данных - важный шаг в создании системы, распознающей человеческие эмоции. Большинство общедоступных баз данных эмоций включают только смоделированные выражения лица. В базах данных постановочных выражений участников просят отображать различные основные эмоциональные выражения, в то время как в базе данных спонтанных выражений выражения являются естественными. Спонтанное проявление эмоций требует значительных усилий по выбору правильных стимулов, которые могут привести к яркому проявлению намеченных эмоций. Во-вторых, процесс включает в себя пометку эмоций обученными людьми вручную, что делает базы данных очень надежными. Поскольку восприятие выражений и их интенсивности по своей природе субъективно,аннотации экспертов важны для целей валидации.

Исследователи работают с тремя типами баз данных, такими как база данных только изображений пикового выражения, база данных последовательностей изображений, отражающих эмоцию от нейтральной до ее пика, и видеоклипы с эмоциональными аннотациями. Многие базы данных по выражениям лиц были созданы и обнародованы с целью распознавания выражений лиц. Две из широко используемых баз данных - это CK + и JAFFE.

Классификация эмоций [ править ]

Основная статья: Классификация эмоций

Выполняя кросс-культурное исследование в Папуа-Новой Гвинее, посвященное представителям коренных народов, в конце 1960-х годов Пол Экман предложил идею о том, что выражение эмоций на лице не определяется культурой, а универсально. Таким образом, он предположил, что они имеют биологическое происхождение и поэтому могут быть безопасно и правильно классифицированы. [23] Таким образом, в 1972 году он официально выдвинул шесть основных эмоций: [29]

  • Злость
  • Отвращение
  • Страх
  • Счастье
  • Грусть
  • Сюрприз

Однако в 1990-х годах Экман расширил свой список основных эмоций, включив в него ряд положительных и отрицательных эмоций, не все из которых закодированы в лицевых мышцах. [30] Новые эмоции:

  1. Развлечение
  2. Презрение
  3. Удовлетворенность
  4. Смущение
  5. Возбуждение
  6. Чувство вины
  7. Гордость за достижения
  8. Облегчение
  9. Удовлетворение
  10. Чувственное удовольствие
  11. Стыд

Система кодирования движений лица [ править ]

Основная статья: Система кодирования действий на лице

Психологи разработали систему для формальной категоризации физического выражения эмоций на лицах. Центральная концепция Системы кодирования действий лица, или FACS, созданная Полом Экманом и Уоллесом В. Фризеном в 1978 году на основе более ранней работы Карла-Хермана Хьортшо [31], - это единицы действия (AU). По сути, это сокращение или расслабление одной или нескольких мышц. Психологи предложили следующую классификацию шести основных эмоций в зависимости от единиц их действия («+» здесь означает «и»):

ЭмоцииЕдиницы действия
Счастье6 + 12
Грусть1 + 4 + 15
Сюрприз1 + 2 + 5B + 26
Страх1 + 2 + 4 + 5 + 20 + 26
Злость4 + 5 + 7 + 23
Отвращение9 + 15 + 16
ПрезрениеR12A + R14A

Проблемы с распознаванием лиц [ править ]

Как и в любой вычислительной практике, при обнаружении аффекта с помощью обработки лица необходимо преодолеть некоторые препятствия, чтобы полностью раскрыть скрытый потенциал всего применяемого алгоритма или метода. На заре почти всех видов обнаружения на основе ИИ (распознавание речи, распознавание лиц, распознавание аффектов) точность моделирования и отслеживания была проблемой. По мере развития аппаратного обеспечения, по мере сбора большего количества данных и по мере того, как делаются новые открытия и внедряются новые методы, этот недостаток точности исчезает, оставляя проблемы с шумом. Однако существуют методы удаления шума, включая усреднение по окрестностям, линейное сглаживание по Гауссу , медианную фильтрацию [32] или более новые методы, такие как алгоритм оптимизации сбора бактерий. [33] [34]

Другие проблемы включают

  • Тот факт, что заданные выражения, используемые большинством субъектов различных исследований, не являются естественными, и поэтому алгоритмы, обученные им, могут не применяться к естественным выражениям.
  • Отсутствие свободы вращательного движения. Обнаружение аффекта очень хорошо работает при фронтальном использовании, но при повороте головы более чем на 20 градусов «возникли проблемы». [35]
  • Выражение лица не всегда соответствует лежащей в основе эмоции, которая соответствует им (например, они могут быть изображены или сфальсифицированы, или человек может испытывать эмоции, но сохраняет «покерное лицо»).
  • FACS не включал динамику, в то время как динамика может помочь устранить двусмысленность (например, улыбки искреннего счастья, как правило, имеют другую динамику, чем улыбки «попытаться выглядеть счастливыми»).
  • Комбинации FACS не соответствуют 1: 1 эмоциям, которые первоначально предлагали психологи (обратите внимание, что это отсутствие сопоставления 1: 1 также имеет место при распознавании речи с омофонами и омонимами и многими другими источниками двусмысленности и может быть смягчается за счет привлечения других каналов информации).
  • Точность распознавания повышена за счет добавления контекста; однако добавление контекста и других модальностей увеличивает вычислительные затраты и сложность

Жест тела [ править ]

Основная статья: Распознавание жестов

Жесты можно эффективно использовать как средство обнаружения определенного эмоционального состояния пользователя, особенно когда они используются в сочетании с распознаванием речи и лиц. В зависимости от конкретного действия жесты могут быть простыми рефлексивными реакциями, такими как поднятие плеч, когда вы не знаете ответа на вопрос, или они могут быть сложными и значимыми, как при общении с помощью языка жестов. Не используя какой-либо предмет или окружающую среду, мы можем махать руками, хлопать в ладоши или манить. С другой стороны, при использовании объектов мы можем указывать на них, перемещать, касаться или обрабатывать их. Компьютер должен уметь распознавать их, анализировать контекст и осмысленно реагировать, чтобы его можно было эффективно использовать для взаимодействия человека с компьютером.

Существует много предложенных методов [36] для обнаружения жеста тела. В некоторой литературе различают 2 разных подхода к распознаванию жестов: на основе 3D-модели и на основе внешнего вида. [37] Самый передовой метод использует трехмерную информацию о ключевых элементах частей тела, чтобы получить несколько важных параметров, таких как положение ладони или углы суставов. С другой стороны, системы, основанные на внешнем виде, используют изображения или видео для прямой интерпретации. Жесты рук были основным направлением методов обнаружения жестов тела. [37]

Физиологический мониторинг [ править ]

Это может быть использовано для обнаружения аффективного состояния пользователя путем мониторинга и анализа его физиологических признаков. Эти признаки варьируются от изменений частоты сердечных сокращений и проводимости кожи до минутных сокращений лицевых мышц и изменений лицевого кровотока. Эта область набирает обороты, и сейчас мы видим реальные продукты, реализующие эти методы. Четыре основных физиологических признака, которые обычно анализируются, - это пульс объема крови , кожно-гальваническая реакция , электромиография лица и цветовая гамма лица.

Пульс объема крови [ править ]

Обзор [ править ]

Объемный пульс (BVP) пациента можно измерить с помощью процесса, называемого фотоплетизмографией, который создает график, показывающий кровоток через конечности. [38] Пики волн указывают на сердечный цикл, когда сердце перекачивает кровь к конечностям. Если субъект испытывает страх или испуган, его сердце обычно «подпрыгивает» и в течение некоторого времени быстро бьется, вызывая увеличение амплитуды сердечного цикла. Это хорошо видно на фотоплетизмографе, когда расстояние между впадиной и пиком волны уменьшилось. По мере того, как субъект успокаивается и внутреннее ядро ​​тела расширяется, позволяя большему количеству крови стекать обратно к конечностям, цикл вернется в норму.

Методология [ править ]

Инфракрасный свет попадает на кожу с помощью специального сенсорного оборудования, и измеряется количество отраженного света. Количество отраженного и прошедшего света коррелирует с BVP, поскольку свет поглощается гемоглобином, который содержится в большом количестве в кровотоке.

Недостатки [ править ]

Может быть сложно обеспечить, чтобы датчик, излучающий инфракрасный свет и отслеживающий отраженный свет, всегда указывал на одну и ту же конечность, особенно если учесть, что объекты часто растягиваются и меняют свое положение при использовании компьютера. Есть и другие факторы, которые могут повлиять на пульс объема крови. Поскольку это мера кровотока через конечности, если субъект чувствует себя горячим или особенно холодным, его тело может пропускать больше или меньше крови к конечностям, и все это независимо от эмоционального состояния субъекта.

Мышца corrugator supercilii и большая скуловая мышца - это 2 основные мышцы, используемые для измерения электрической активности в лицевой электромиографии.

Электромиография лица [ править ]

Основная статья: Электромиография лица

Электромиография лица - это метод, используемый для измерения электрической активности лицевых мышц путем усиления крошечных электрических импульсов, которые генерируются мышечными волокнами при их сокращении. [39] Лицо выражает много эмоций, однако есть две основные группы лицевых мышц, которые обычно исследуются для выявления эмоций: мышца corrugator supercilii, также известная как мышца «хмурого взгляда», опускает бровь и хмурится. , и поэтому является лучшим тестом на отрицательную, неприятную эмоциональную реакцию. ↵ Большая скуловая мышца отвечает за оттягивание уголков рта назад, когда вы улыбаетесь, и, следовательно, это мышца, используемая для проверки положительной эмоциональной реакции.

Здесь мы можем увидеть график сопротивления кожи, измеренного с использованием GSR, и времени, пока испытуемый играл в видеоигру. На графике отчетливо видны несколько пиков, что говорит о том, что GSR является хорошим методом различения возбужденного и невозбужденного состояний. Например, в начале игры, когда обычно не так много захватывающей игры, регистрируется высокий уровень сопротивления, что предполагает низкий уровень проводимости и, следовательно, меньшее возбуждение. Это резко контрастирует с внезапным падением, в котором игрока убивают, поскольку он обычно очень напряжён и напряжён, когда его персонаж убит в игре.

Кожно-гальваническая реакция [ править ]

Основная статья: Кожно-гальваническая реакция

Кожно-гальваническая реакция (GSR) - устаревший термин для более общего явления, известного как [электродермальная активность] или EDA. EDA - это общее явление, при котором меняются электрические свойства кожи. Кожа иннервируется [симпатической нервной системой], поэтому измерение ее сопротивления или проводимости позволяет количественно оценить небольшие изменения в симпатической ветви вегетативной нервной системы. Когда потовые железы активируются, еще до того, как кожа начинает потеть, уровень EDA может быть определен (обычно с использованием проводимости) и использован для определения небольших изменений вегетативного возбуждения. Чем больше возбуждается объект, тем выше обычно проводимость кожи. [38]

Проводимость кожи часто измеряется с помощью двух небольших серебряно-хлоридно-серебряных электродов, помещенных где-то на коже, и между ними прикладывается небольшое напряжение. Для максимального комфорта и уменьшения раздражения электроды можно разместить на запястьях, ногах или ступнях, чтобы руки оставались полностью свободными для повседневной активности.

Цвет лица [ править ]

Обзор [ править ]

Поверхность человеческого лица иннервируется большой сетью кровеносных сосудов. Изменения кровотока в этих сосудах приводят к заметным изменениям цвета лица. Независимо от того, активируют ли лицевые эмоции лицевые мышцы, происходят колебания кровотока, артериального давления, уровня глюкозы и другие изменения. Кроме того, цветовой сигнал лица не зависит от движения лицевых мышц. [40]

Методология [ править ]

Подходы основаны на изменении цвета лица. Триангуляция Делоне используется для создания треугольных локальных областей. Некоторые из этих треугольников, которые определяют внутреннюю часть рта и глаз (склера и радужная оболочка), удаляются. Используйте пиксели левых треугольных областей для создания векторов признаков. [40] Он показывает, что преобразование цвета пикселей стандартного цветового пространства RGB в цветовое пространство, такое как цветовое пространство oRGB [41] или каналы LMS, работают лучше при работе с лицами. [42] Итак, сопоставьте вышеуказанный вектор с лучшим цветовым пространством и разложите на красно-зеленый и желто-синий каналы. Затем используйте методы глубокого обучения, чтобы найти эквивалентные эмоции.

Визуальная эстетика [ править ]

Эстетика в мире искусства и фотографии относится к принципам природы и признанию красоты. Судить о красоте и других эстетических качествах - задача в высшей степени субъективная. Ученые-компьютерщики из Пенсильванского университета рассматривают задачу автоматического определения эстетического качества изображений с использованием их визуального контента как проблему машинного обучения, а в качестве источника данных используют веб-сайт для обмена фотографиями в режиме онлайн. [43] Они извлекают определенные визуальные черты, основываясь на интуиции, что они могут различать эстетически приятные и неприятные изображения.

Возможные приложения [ править ]

Образование [ править ]

Привязанность влияет на состояние обучения учащихся. Используя технологию аффективных вычислений, компьютеры могут судить о привязанности и обучении учащихся по выражению их лиц. В образовании учитель может использовать результат анализа, чтобы понять способности ученика к обучению и принятию, а затем сформулировать разумные планы обучения. В то же время они могут обращать внимание на внутренние переживания студентов, что способствует их психологическому здоровью. Особенно в дистанционном обучении, из-за разделения времени и пространства, между учителями и учениками нет эмоционального стимула к двустороннему общению. Без атмосферы, создаваемой традиционным обучением в классе, ученикам быстро становится скучно, что влияет на учебный эффект.Применение аффективных вычислений в системе дистанционного образования может эффективно улучшить эту ситуацию.[44]

Здравоохранение [ править ]

Социальные роботы , а также растущее число роботов, используемых в здравоохранении, выигрывают от эмоциональной осведомленности, потому что они могут лучше судить об эмоциональном состоянии пользователей и пациентов и соответствующим образом изменять свои действия / программы. Это особенно важно в странах с растущим стареющим населением и / или нехваткой молодых работников для удовлетворения своих потребностей. [45]

Аффективные вычисления также применяются для разработки коммуникативных технологий для людей с аутизмом. [46] Аффективный компонент текста также все больше привлекает внимание, особенно его роль в так называемом эмоциональном или эмоциональном Интернете . [47]

Видеоигры [ править ]

Эффективные видеоигры могут получить доступ к эмоциональному состоянию своих игроков с помощью устройств биологической обратной связи . [48] Особенно простая форма биологической обратной связи доступна через геймпады, которые измеряют давление, с которым нажимается кнопка: было показано, что это сильно коррелирует с уровнем возбуждения игроков ; [49] на другом конце шкалы находятся интерфейсы мозг-компьютер . [50] [51] Аффективные игры использовались в медицинских исследованиях для поддержки эмоционального развития аутичных детей. [52]

Другие приложения [ править ]

Другие потенциальные приложения связаны с социальным мониторингом. Например, автомобиль может отслеживать эмоции всех пассажиров и принимать дополнительные меры безопасности, например предупреждать другие автомобили, если обнаруживает, что водитель рассердился. [53] У эффективных вычислений есть потенциальные приложения во взаимодействии человека с компьютером , например, аффективные зеркала, позволяющие пользователю видеть, как он или она выполняет; агенты мониторинга эмоций, отправляющие предупреждение перед отправкой гневного электронного письма; или даже музыкальные плееры, выбирающие треки по настроению. [54]

Одной из идей, выдвинутых румынским исследователем доктором Нику Себе в интервью, является анализ лица человека, когда он использует определенный продукт (в качестве примера он упомянул мороженое). [55] После этого компании смогут использовать такой анализ, чтобы сделать вывод о том, будет ли их продукт хорошо принят на соответствующем рынке.

Можно также использовать распознавание аффективного состояния, чтобы судить о влиянии телевизионной рекламы с помощью видеозаписи в реальном времени этого человека и последующего изучения его или ее выражения лица. Усредняя результаты, полученные на большой группе субъектов, можно сказать, имеет ли этот рекламный ролик (или фильм) желаемый эффект и какие элементы больше всего интересуют зрителя.

Когнитивистские и интерактивные подходы [ править ]

В области взаимодействия человека и компьютера когнитивистская концепция эмоций Розалинды Пикард или «информационная модель» подверглась критике и противопоставлена ​​«посткогнитивистскому» или «интерактивному» прагматическому подходу, принятому Кирстен Бонер и другими, которые рассматривают эмоции как по сути Социальное. [56]

Пикард фокусируется на взаимодействии человека и компьютера, и ее цель для аффективных вычислений - «дать компьютерам способность распознавать, выражать и, в некоторых случаях,« иметь »эмоции». [4] Напротив, интерактивный подход направлен на то, чтобы помочь «людям понять и испытать свои собственные эмоции» [57] и улучшить межличностное общение с помощью компьютера. Он не обязательно стремится отобразить эмоции в объективной математической модели для машинной интерпретации, но скорее позволяет людям понимать эмоциональные выражения друг друга открытыми способами, которые могут быть двусмысленными, субъективными и чувствительными к контексту. [57] : 284 [ нужен пример ]

Критики Пикарда описывают ее концепцию эмоций как «объективную, внутреннюю, частную и механистическую». Они говорят, что он сводит эмоции к дискретному психологическому сигналу, происходящему внутри тела, который можно измерить и который является входом в познание, снижая сложность эмоционального опыта. [57] : 280 [57] : 278

Интерактивный подход утверждает, что хотя эмоция имеет биофизические аспекты, она «культурно обоснована, динамически переживается и до некоторой степени сконструирована в действии и взаимодействии». [57] : 276 Другими словами, он рассматривает «эмоции как социальный и культурный продукт, переживаемый в ходе наших взаимодействий». [58] [57] [59]

См. Также [ править ]

  • Теория управления воздействием
  • Аффективный дизайн
  • Аффективные тактильные ощущения
  • Чаттербот
  • CyberEmotions
  • Вычисление персонажей
  • Язык разметки эмоций (EmotionML)
  • Кисмет (робот)
  • Мультимодальный анализ тональности
  • Анализ настроений
  • Носимый компьютер

Цитаты [ править ]

  1. ^ Тао, Цзяньхуа; Тиениу Тан (2005). «Аффективные вычисления: обзор». Аффективные вычисления и интеллектуальное взаимодействие . LNCS 3784. Springer. С. 981–995. DOI : 10.1007 / 11573548 .
  2. ^ Джеймс, Уильям (1884). «Что такое эмоция» . Разум . 9 (34): 188–205. DOI : 10.1093 / разум / os-IX.34.188 . Цитируется Тао и Тан.
  3. ^ "Affective Computing" Технический отчет MIT № 321 ( Аннотация ), 1995
  4. ^ a b Пикард, Розалинда (1997). Аффективные вычисления . Кембридж, Массачусетс: MIT Press. п. 1.
  5. ^ Kleine-Cosack, Кристиан (октябрь 2006). «Распознавание и моделирование эмоций» (PDF) . Архивировано из оригинального (PDF) 28 мая 2008 года . Проверено 13 мая 2008 года . Внедрение эмоций в информатику было сделано Пикардом (так в оригинале), который создал область аффективных вычислений.
  6. ^ Даймонд, Дэвид (декабрь 2003 г.). «Машина любви. Создание компьютеров для заботы» . Проводной . Архивировано 18 мая 2008 года . Проверено 13 мая 2008 года . Розалинд Пикард, добродушный профессор Массачусетского технологического института, является крестной матерью этой области; ее книга 1997 года « Аффективные вычисления» вызвала взрыв интереса к эмоциональной стороне компьютеров и их пользователей.
  7. ↑ Гарай, Нестор; Идоя Серрета; Хуан Мигель Лопес; Инмакулада Фахардо (апрель 2006 г.). «Вспомогательные технологии и аффективное посредничество» (PDF) . Человеческие технологии . 2 (1): 55–83. DOI : 10,17011 / ХТ / urn.2006159 . Архивировано (PDF) из оригинала 28 мая 2008 года . Проверено 12 мая 2008 .
  8. ^ Heise, Дэвид (2004). «Поощряющие агенты выразительным ролевым поведением». В Сабине Пайр; Траппл, Роберт (ред.). Агент Культура: Взаимодействие человека и агента в мультикультурном мире . Лоуренс Эрлбаум Ассошиэйтс. С. 127–142.
  9. ^ Рестак, Ричард (2006-12-17). «Разум выше материи» . Вашингтон Пост . Проверено 13 мая 2008 .
  10. ^ Aleix и Shichuan Du, Martinez (2012). «Модель восприятия мимики эмоций людьми: обзор исследования и перспективы» (PDF) . Журнал исследований в области машинного обучения . 13 (1): 1589–1608.
  11. ^ Бризил, К. и Ариананда, Л. Распознавание аффективного коммуникативного намерения в управляемой роботом речи . Автономные роботы 12 1, 2002. С. 83–104.
  12. ^ a b c Деллаэрт, Ф., Полизин, Т., и Вайбель, А., Распознавание эмоций в речи ", In Proc. Of ICSLP 1996, Филадельфия, Пенсильвания, стр. 1970-1973, 1996.
  13. ^ Рой, Д .; Пентланд, А. (1996-10-01). Автоматическая классификация и анализ речевых аффектов . Труды Второй Международной конференции по автоматическому распознаванию лиц и жестов . С. 363–367. DOI : 10.1109 / AFGR.1996.557292 . ISBN 978-0-8186-7713-7. S2CID  23157273 .
  14. ^ Ли, CM; Narayanan, S .; Пьерачини, Р., Распознавание отрицательных эмоций в человеческих речевых сигналах, Практикум по авто. Распознавание и понимание речи, декабрь 2001 г.
  15. ^ Neiberg, D; Элениус, К; Ласковский, К. (2006). «Распознавание эмоций в спонтанной речи с помощью GMM» (PDF) . Труды Interspeech .
  16. ^ Якуб, Шериф; Симске, Стив; Линь, Сяофань; Бернс, Джон (2003). «Распознавание эмоций в интерактивных системах голосового ответа». Труды Eurospeech : 729–732. CiteSeerX 10.1.1.420.8158 . 
  17. ^ Б Hudlicka 2003 , стр. 24
  18. ^ Hudlicka 2003 , стр. 25
  19. ^ Чарльз Осгуд; Уильям Мэй; Мюррей Мирон (1975). Межкультурные универсалии аффективного значения . Univ. Иллинойс Пресс. ISBN 978-94-007-5069-2.
  20. ^ a b Scherer 2010 , стр. 241
  21. ^ "Модель гауссовой смеси" . Связи - обмен знаниями и построение сообществ. Проверено 10 марта 2011 года.
  22. ^ Хоружников С.Е. и другие. (2014). «Распознавание и предсказание расширенных речевых эмоций» . Научно-технический журнал информационных технологий, механики и оптики . 14 (6): 137.
  23. ^ a b Экман П. и Фризен В. В. (1969). Репертуар невербального поведения: категории, происхождение, использование и кодирование . Семиотика, 1, 49–98.
  24. ^ a b Steidl, Стефан (5 марта 2011 г.). "FAU Aibo Emotion Corpus" . Лаборатория распознавания образов.
  25. ^ a b Scherer 2010 , стр. 243
  26. ^ Сингх, Премджит; Саха, Гаутам; Сахидулла, штат Мэриленд (2021 г.). «Нелинейное искажение частоты с использованием преобразования постоянной добротности для распознавания речевых эмоций». 2021 Международная конференция по компьютерной коммуникации и информатике (ICCCI) . С. 1–4. DOI : 10,1109 / ICCCI50826.2021.9402569 (неактивный 2021-05-12). ISBN 978-1-7281-5875-4.CS1 maint: DOI inactive as of May 2021 (link)
  27. ^ Каридакис, G .; Malatesta, L .; Kessous, L .; Amir, N .; Raouzaiou, A .; Карпузис, К. (2–4 ноября 2006 г.). Моделирование натуралистических аффективных состояний с помощью распознавания мимики и голоса . Международная конференция по мультимодальным интерфейсам (ICMI'06). Банф, Альберта, Канада.
  28. ^ Balomenos, T .; Raouzaiou, A .; Ioannou, S .; Drosopoulos, A .; Karpouzis, K .; Коллиас, С. (2004). «Эмоциональный анализ в системах взаимодействия человека и машины» . В Бенжио, Сами; Бурлард, Эрве (ред.). Машинное обучение для мультимодального взаимодействия . Конспект лекций по информатике . 3361 . Springer-Verlag . С. 318–328.
  29. ^ Экман, Пол (1972). Коул, Дж. (Ред.). Универсалии и культурные различия в выражении эмоций на лице . Симпозиум Небраски по мотивации. Линкольн, Небраска: Университет Небраски Press. С. 207–283.
  30. ^ Экман, Пол (1999). «Основные эмоции». В Далглише, T; Мощность, М (ред.). Справочник познания и эмоций (PDF) . Сассекс, Великобритания: John Wiley & Sons. Архивировано из оригинального (PDF) 28 декабря 2010 года. .
  31. ^ "Система кодирования действий лица (FACS) и руководство FACS" Архивировано 19 октября 2013 года в Wayback Machine . Человеческое лицо. Проверено 21 марта 2011 года.
  32. ^ «Методы пространственной области» .
  33. ^ Умные алгоритмы. «Алгоритм оптимизации сбора бактерий - алгоритмы роя - умные алгоритмы». Архивировано 12 июня 2019 г. на Wayback Machine . Умные алгоритмы. Проверено 21 марта 2011 года.
  34. ^ «Мягкие вычисления» . Мягкие вычисления. Проверено 18 марта 2011 года.
  35. ^ Уильямс, Марк. «Лучшее программное обеспечение для распознавания лиц - Обзор технологий» . Обзор технологий: авторитет в области технологий будущего. Проверено 21 марта 2011 года.
  36. ↑ JK Aggarwal, Q. Cai, Human Motion Analysis: A Review, Computer Vision and Image Understanding, Vol. 73, № 3, 1999 г.
  37. ^ a b Павлович, Владимир I .; Шарма, Раджив; Хуанг, Томас С. (1997). «Визуальная интерпретация жестов рук для взаимодействия человека с компьютером: обзор» (PDF) . IEEE Transactions по анализу шаблонов и машинному анализу . 19 (7): 677–695. DOI : 10.1109 / 34.598226 .
  38. ^ a b Пикард, Розалинда (1998). Аффективные вычисления. Массачусетский технологический институт.
  39. ^ Ларсен JT, Норрис CJ, Cacioppo JT, " Эффекты положительного и отрицательного воздействия на электромиографическую активность над большой скуловой мышью и надциркуляцией кожицы ", (сентябрь 2003 г.)
  40. ^ a b Карлос Ф. Бенитес-Кирос, Рампракаш Сринивасан, Алейкс М. Мартинес, Цвет лица - эффективный механизм визуальной передачи эмоций , PNAS. 3 апреля 2018 г. 115 (14) 3581-3586; впервые опубликовано 19 марта 2018 г. https://doi.org/10.1073/pnas.1716084115 .
  41. ^ М. Браткова, С. Булос и П. Ширли, oRGB: цветовое пространство практического противника для компьютерной графики , Компьютерная графика и приложения IEEE, 29 (1): 42–55, 2009.
  42. ^ Хадас Шахар, Хагит Хель-Ор , Классификация микровыражений с использованием цвета лица и методов глубокого обучения , Международная конференция IEEE по компьютерному зрению (ICCV), 2019, стр. 0-0.
  43. ^ Ритендра Датта, Дхирадж Джоши, Цзя Ли и Джеймс З. Ван, Изучение эстетики в фотографических изображениях с использованием вычислительного подхода , Конспект лекций по информатике, т. 3953, Труды Европейской конференции по компьютерному зрению, часть III, стр. 288-301, Грац, Австрия, май 2006 г.
  44. ^ http://www.learntechlib.org/p/173785/
  45. ^ Йонк, Ричард (2017). Сердце машины: наше будущее в мире искусственного эмоционального интеллекта . Нью-Йорк: Издательство Аркады. С. 150–153. ISBN 9781628727333. OCLC  956349457 .
  46. ^ Проекты в области эффективных вычислений
  47. ^ Шанахан, Джеймс; Цюй, Ян; Wiebe, Janyce (2006). Вычисление отношения и аффекта в тексте: теория и приложения . Дордрехт: Springer Science & Business Media. п. 94. ISBN 1402040261 
  48. ^ Gilleade, Киль Марк; Дикс, Алан; Аллансон, Джен (2005). Аффективные видеоигры и способы аффективной игры: помогите мне, вызовите меня, проявите эмоции (PDF) . Proc. DiGRA Conf. Архивировано из оригинального (PDF) 06.04.2015 . Проверено 10 декабря 2016 .
  49. ^ Сайкс, Джонатан; Браун, Саймон (2003). Аффективная игра: измерение эмоций с помощью геймпада . CHI '03 Extended Abstracts on Human Factor in Computing System. CiteSeerX 10.1.1.92.2123 . DOI : 10.1145 / 765891.765957 . ISBN  1581136374.
  50. ^ Nijholt, Антон; Пласс-Ауд Бос, Дэнни; Рейдеринк, Борис (2009). «Превращение недостатков в проблемы: мозг – компьютерные интерфейсы для игр» (PDF) . Развлекательные вычисления . 1 (2): 85–94. Bibcode : 2009itie.conf..153N . DOI : 10.1016 / j.entcom.2009.09.007 .
  51. ^ Reuderink Борис; Нейхольт, Антон; Поэль, Маннес (2009). Affective Pacman: разочаровывающая игра для экспериментов с интерфейсом мозг-компьютер . Интеллектуальные технологии для интерактивных развлечений (INTETAIN). С. 221–227. DOI : 10.1007 / 978-3-642-02315-6_23 . ISBN 978-3-642-02314-9.
  52. ^ Khandaker, M (2009). «Разработка аффективных видеоигр для поддержки социально-эмоционального развития подростков с расстройствами аутистического спектра». Исследования в области технологий здравоохранения и информатики . 144 : 37–9. PMID 19592726 . 
  53. ^ "Распознавание лиц в автомобиле обнаруживает разгневанных водителей, чтобы предотвратить дорожную ярость" . Gizmodo . 30 августа 2018.
  54. ^ Janssen, Joris H .; ван ден Брук, Эгон Л. (июль 2012 г.). «Настройтесь на свои эмоции: надежный персонализированный эффективный музыкальный проигрыватель» . Пользовательское моделирование и взаимодействие с пользователем . 22 (3): 255–279. DOI : 10.1007 / s11257-011-9107-7 .
  55. ^ «Мона Лиза: Улыбается? Компьютерные ученые разрабатывают программное обеспечение, которое оценивает выражение лица» . ScienceDaily . 1 августа 2006 года Архивировано из оригинала 19 октября 2007 года.
  56. ^ Battarbee, Katja; Коскинен, Илпо (2005). «Совместное взаимодействие: пользовательский опыт как взаимодействие» (PDF) . CoDesign . 1 (1): 5–18. CiteSeerX 10.1.1.294.9178 . DOI : 10.1080 / 15710880412331289917 . S2CID 15296236 .   
  57. ^ a b c d e f Бонер, Кирстен; ДеПаула, Роджерио; Dourish, Пол; Сенгерс, Фиби (2007). «Как создаются и измеряются эмоции». Международный журнал человеко-компьютерных исследований . 65 (4): 275–291. DOI : 10.1016 / j.ijhcs.2006.11.016 .
  58. ^ Бонер, Кирстен; ДеПаула, Роджерио; Dourish, Пол; Сенгерс, Фиби (2005). «Привязанность: от информации к взаимодействию». Труды Орхусской десятилетней конференции по критическим вычислениям : 59–68.
  59. ↑ Крюк, Кристина; Шталь, Анна; Сандстрем, Петра; Лааксолахти, Ярмо (2008). «Расширение возможностей взаимодействия» (PDF) . Proc. CHI : 647–656.

Общие источники [ править ]

  • Худличка, Ева (2003). «Чувствовать или не чувствовать: роль аффекта во взаимодействии человека и компьютера». Международный журнал человеко-компьютерных исследований . 59 (1–2): 1–32. CiteSeerX  10.1.1.180.6429 . DOI : 10.1016 / s1071-5819 (03) 00047-8 .
  • Шерер, Клаус Р.; Банцигер, Т; Рош, Этьен Б. (2010). План для эффективных вычислений: справочник . Оксфорд: Издательство Оксфордского университета.

Внешние ссылки [ править ]

  • Группа по исследованию аффективных вычислений в MIT Media Laboratory
  • Группа вычислительной эмоции в Университете Южной Калифорнии
  • Блок обработки эмоций - EPU
  • Группа эмоциональных вычислений в Университете Мемфиса
  • 2011 Международная конференция по эффективным вычислениям и интеллектуальному взаимодействию
  • Мозг, тело и байты: психофизиологическое взаимодействие с пользователем, семинар CHI 2010 (10-15 апреля 2010 г.)
  • IEEE Transactions on Affective Computing (TAC)
  • openSMILE: популярный современный набор инструментов с открытым исходным кодом для крупномасштабного извлечения признаков для распознавания аффектов и вычислительной паралингвистики