Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Видео с данными о загрязнении воздуха в Пекине транслируется в виде музыкального произведения

Сонификация - это использование неречевого звука для передачи информации или восприятия данных. [1] Слуховое восприятие имеет преимущества во временном, пространственном, амплитудном и частотном разрешении, которые открывают возможности в качестве альтернативы или дополнения к методам визуализации .

Например, частота щелчков счетчика Гейгера передает уровень радиации в непосредственной близости от устройства.

Хотя многие эксперименты с ультразвуковой обработкой данных были исследованы на таких форумах, как Международное сообщество по звуковому дисплею (ICAD), ультразвуковая обработка сталкивается с множеством проблем при широком использовании для представления и анализа данных. Например, исследования показывают, что сложно, но необходимо обеспечить адекватный контекст для интерпретации данных ультразвуком. [1] [2] Многие попытки ультразвуковой обработки кодируются с нуля из-за отсутствия гибкого инструмента для исследования ультразвуковой обработки и изучения данных [3]

История [ править ]

Счетчик Гейгера , изобретенный в 1908 году, является одним из самых ранних и наиболее успешных применений озвучивания. Счетчик Гейгера имеет трубку с газом низкого давления; каждая обнаруженная частица генерирует импульс тока, когда ионизирует газ, производя звуковой щелчок. Первоначальная версия могла обнаруживать только альфа-частицы. В 1928 году Гейгер и Вальтер Мюллер (аспирант Гейгера) улучшили счетчик, чтобы он мог обнаруживать больше типов ионизирующего излучения.

В 1913 году доктор Эдмунд Фурнье д'Альбе из Университета Бирмингема изобрел оптофон , в котором селеновые фотодатчики использовались для обнаружения черного отпечатка и преобразования его в звуковой сигнал. [4] Слепой читатель мог поднести книгу к устройству и поднести устройство к той области, которую он хотел прочитать. Оптофон воспроизводил набор нот: gc 'd' e 'g' b 'c' 'e' '. Каждая нота соответствовала положению в области чтения оптофона, и эта нота заглушалась, если обнаруживались черные чернила. Таким образом, отсутствующие примечания указывали места, где черные чернила находились на странице, и их можно было использовать для чтения.

Поллак и Фикс опубликовали первые перцептивные эксперименты по передаче информации через слуховой дисплей в 1954 году. [5] Они экспериментировали с объединением звуковых параметров, таких как время, частота, громкость, длительность и пространственность, и обнаружили, что они могут заставить испытуемых регистрировать изменения. сразу в нескольких измерениях. Эти эксперименты не вдавались в подробности, поскольку каждое измерение имело только два возможных значения.

Джон М. Чемберс , Макс Мэтьюз и Ф. Р. Мур из Bell Laboratories проделали самую раннюю работу по построению слуховых графиков в своем техническом меморандуме «Проверка слуховых данных» в 1974 году. [6] Они расширили диаграмму рассеяния, используя звуки, изменяющиеся по частоте, спектральному содержанию, и размеры амплитудной модуляции для использования при классификации. Они не проводили формальной оценки эффективности этих экспериментов. [7]

В 1976 году философ технологий Дон Айде писал: «Так же, как наука, кажется, создает бесконечный набор визуальных образов практически для всех своих явлений, - атомы и галактики знакомы нам по журнальным книжкам и научным журналам; так что» музыка »тоже может быть произведена из тех же данных, что и визуализации». [8] Это, по-видимому, одно из самых ранних упоминаний ультразвуковой обработки как творческой практики.

В 80-е годы широкое распространение получили пульсоксиметры . Пульсоксиметры могут определять концентрацию кислорода в крови ультразвуком, излучая более высокие частоты для более высоких концентраций. Однако на практике эта особенность пульсоксиметров не может широко использоваться медицинскими работниками из-за риска слишком большого количества звуковых стимулов в медицинских учреждениях. [9]

В 1992 году Грегори Крамер основал Международное сообщество слуховых дисплеев (ICAD) в качестве форума для исследований в области слуховых дисплеев, включая ультразвуковую обработку данных. С тех пор ICAD стал домом для исследователей из многих различных дисциплин, заинтересованных в использовании звука для передачи информации посредством конференций и рецензируемых трудов. [10]

Некоторые существующие приложения и проекты [ править ]

  • Слуховой высотомер , также используется в прыжках с парашютом . [11]
  • Слуховой термометр [12]
  • Часы, например, со звуковым тиканием каждую секунду и со специальными перезвонами каждые 15 минут [13]
  • Бортовые слуховые дисплеи
  • счетчик Гейгера
  • Гравитационные волны на LIGO [1]
  • Интерактивная ультразвуковая обработка [14] [15] [16]
  • Медицинские [17] [18] и хирургические слуховые дисплеи [19] [20] [21] [22]
  • Мультимодальные (комбинированные) дисплеи для минимизации зрительной перегрузки и утомления
  • Навигация [23] [24] [25] [26]
  • Космическая физика [2]
  • Пульсоксиметрия в операционных и интенсивной терапии [27] [28] [29]
  • Сигнализация скорости в автотранспортных средствах
  • Сонар
  • Ультразвуковая обработка шторма и погоды [30] [3]
  • Обнаружение вулканической активности
  • Кластерный анализ данных большой размерности с использованием ультразвуковой обработки траектории частиц [4]
  • Объем и стоимость промышленного индекса Доу-Джонса [31]
  • Ультразвуковая обработка изображений для слабовидящих [32] [33]
  • CURAT Sonification Game [34], основанная на психоакустической сонификации [25] [26]
  • Тилтификация [35] на основе психоакустической ультразвуковой обработки [25] [26]

Техники сонификации [ править ]

Можно изменить множество различных компонентов, чтобы изменить восприятие звука пользователем и, в свою очередь, восприятие им отображаемой информации. Часто увеличение или уменьшение некоторого уровня этой информации обозначается увеличением или уменьшением высоты звука , амплитуды или темпа., но также может указываться путем изменения других, менее часто используемых компонентов. Например, цена на фондовом рынке может быть изображена как растущая цена при повышении цены акций и понижающаяся при ее падении. Чтобы пользователь мог определить, что изображается более одного инвентаря, разные тембры или яркость могут быть использованы для разных материалов, или они могут воспроизводиться пользователю из разных точек пространства, например, через разные стороны наушников. .

Было проведено множество исследований, чтобы попытаться найти наилучшие методы для представления различных типов информации, но до сих пор не было сформулировано окончательного набора методов, которые можно было бы использовать. Поскольку область обработки ультразвуком все еще находится в зачаточном состоянии, текущие исследования направлены на определение наилучшего набора звуковых компонентов, которые будут варьироваться в разных ситуациях.

Можно разделить на несколько различных методов звуковой визуализации данных:

  • Акустическая сонификация [36]
  • Аудификация
  • Модельно-ориентированная сонификация
  • Отображение параметров
  • Ультразвуковое исследование на основе потоков [37] [38]

Альтернативным подходом к традиционной обработке ультразвуком является «обработка ультразвуком путем замены», например, импульсная мелодическая аффективная обработка (PMAP). [39] [40] [41] В PMAP, вместо обработки потока данных ультразвуком, вычислительным протоколом являются сами музыкальные данные, например MIDI. Поток данных представляет немузыкальное состояние: в PMAP аффективное состояние. Затем вычисления могут быть выполнены непосредственно на музыкальных данных, и результаты можно будет прослушать с минимальным переводом.

См. Также [ править ]

  • Слуховой дисплей
  • Компьютерная музыка
  • Музыка и искусственный интеллект

Ссылки [ править ]

  1. ^ a b Крамер, Грегори, изд. (1994). Слуховой дисплей: сонификация, одификация и слуховые интерфейсы . Институт Санта-Фе изучает науку о сложности. Слушания Том XVIII. Ридинг, Массачусетс: Эддисон-Уэсли. ISBN 978-0-201-62603-2.
  2. ^ Смит, Дэниел Р .; Уокер, Брюс Н. (2005). «Влияние слуховых контекстных подсказок и обучения на выполнение задачи ультразвуковой оценки точечной оценки». Журнал прикладной когнитивной психологии . 19 (8): 1065–1087. DOI : 10.1002 / acp.1146 .
  3. ^ Флауэрс, JH (2005), «Тринадцать лет размышлений о слуховых графических изображениях: обещания, ловушки и потенциальные новые направления» (PDF) , в Бразилии, Eoin (ed.), Proceedings of the 11th International Conference on Auditory Display , стр. 406–409
  4. ↑ Fournier d'Albe, EE (май 1914 г.), «На оптофоне для чтения с клавиатуры», Труды Лондонского королевского общества
  5. ^ Поллак, И. и Фикс, Л. (1954), «Информация об элементарных многомерных слуховых дисплеях», Журнал Акустического общества Америки , 26 (1): 136, Bibcode : 1954ASAJ ... 26Q.136P , doi : 10.1121 / 1.1917759
  6. ^ Чемберс, Дж. М. и Мэтьюз, М. В. и Мур, ФР (1974), «Проверка слуховых данных», Технический меморандум , AT&T Bell Laboratories, 74-1214-20CS1 maint: несколько имен: список авторов ( ссылка )
  7. ^ Frysinger, ИП (2005), «Краткая история слуховом представления данных в 1980 - е годы» (PDF) , в Бразилии, Эоин (ред.), Труды 11 - й Международной конференции по Слуховые дисплей , стр. 410-413
  8. ^ Ihde, Дон (2007-10-04). Прослушивание и голос: феноменологии звука, второе издание . п. xvi. ISBN 978-0791472569.
  9. ^ Крейвен, RM; МакИндоу, АК (1999), «Непрерывный слуховой мониторинг - сколько информации мы регистрируем?» (PDF) , Британский журнал анестезиологии , 83 (5): 747-749, DOI : 10,1093 / ВпМ / 83.5.747 , PMID 10690137  
  10. ^ Kramer, G .; Walker, BN (2005), "Sound наука: Опека десять международных конференций по слуховым дисплея", ACM Сделки по прикладной Восприятие , 2 (4): 383-388, CiteSeerX 10.1.1.88.7945 , DOI : 10,1145 / 1101530,1101531 , S2CID 1187647  
  11. ^ Монтгомери, штат ET; Schmitt, RW (1997), "Акустический высотомер свободного транспортного средства для измерений придонной турбулентности", Deep Sea Research Part I: Oceanographic Research Papers , 44 (6): 1077, Bibcode : 1997DSRI ... 44.1077M , doi : 10.1016 / S0967-0637 (97) 87243-3
  12. Перейти ↑ Quincke, G. (1897). "Ein akustisches Thermometer für hohe und niedrige Temperaturen" . Annalen der Physik . 299 (13): 66–71. Bibcode : 1897AnP ... 299 ... 66Q . DOI : 10.1002 / andp.18972991311 . ISSN 0003-3804 . 
  13. ^ Ismailogullari Абдулла; Цимер, Тим (2019). Звуковые часы: звуковые композиции, отображающие время суток . 25 . С. 91–95. DOI : 10.21785 / icad2019.034 . hdl : 1853/61510 . ISBN 978-0-9670904-6-7.
  14. ^ Хант, А .; Hermann, T .; Паулетто, С. (2004). «Взаимодействие с системами ультразвуковой обработки: замыкающий цикл». Ход работы. Восьмая Международная конференция по информационной визуализации, 2004. IV 2004 . С. 879–884. DOI : 10.1109 / IV.2004.1320244 . ISBN 0-7695-2177-0. S2CID  9492137 .
  15. ^ Томас Германн и Энди Хант. Важность взаимодействия в сонификации . Материалы десятого заседания Международной конференции по слуховым дисплеям ICAD, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн
  16. ^ Сандра Паулетто и Энди Хант. Инструментарий для интерактивной сонификации . Материалы десятого заседания Международной конференции по слуховым дисплеям ICAD, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн .
  17. ^ Катер, Якоб Nikolas; Германн, Томас; Букшат, Янник; Крамер, Тилманн; Schad, Lothar R .; Цёлльнер, Франк Геррит (2017). «Полифоническая ультразвуковая обработка сигналов электрокардиографии для диагностики сердечных патологий» . Научные отчеты . 7 : Артикульный номер 44549. Bibcode : 2017NatSR ... 744549K . DOI : 10.1038 / srep44549 . PMC 5357951 . PMID 28317848 .  
  18. ^ Эдуорти, Джуди (2013). «Медицинская звуковая сигнализация: обзор» . J Am Med Inform Assoc . 20 (3): 584–589. DOI : 10.1136 / amiajnl-2012-001061 . PMC 3628049 . PMID 23100127 .  
  19. ^ Woerdeman, Питер A .; Виллемс, Питер WA; Нордсманс, Херке Ян; Беркельбах ван дер Спренкен, Ян Виллем (2009). «Слуховая обратная связь во время операции без рамки под визуальным контролем на фантомной модели и первоначальный клинический опыт». J Neurosurg . 110 (2): 257–262. DOI : 10.3171 / 2008.3.17431 . PMID 18928352 . 
  20. ^ Зимер, Тим; Черный, Дэвид (2017). «Психоакустическая обработка ультразвуком для хирургов». Международный журнал компьютерной радиологии и хирургии . 12 ((Дополнение 1): 1): 265–266. arXiv : 1611.04138 . DOI : 10.1007 / s11548-017-1588-3 . PMID 28527024 . S2CID 51971992 .  
  21. ^ Зимер, Тим; Блэк, Дэвид; Шультейс, Хольгер (2017). «Психоакустическая сонификация для навигации при хирургических вмешательствах» . Материалы совещаний по акустике . 30 : 050005. дои : 10,1121 / 2,0000557 .
  22. ^ Зимер, Тим; Черный, Дэвид (2017). «Психоакустическая сонификация для отслеживания медицинских инструментов». Журнал акустического общества Америки . 141 (5): 3694. Bibcode : 2017ASAJ..141.3694Z . DOI : 10.1121 / 1.4988051 .
  23. ^ Нагель, F; Сттер, Франция; Дегара, Н; Balke, S; Уорролл, Д. (2014). «Быстрое и точное руководство - время отклика на звуки навигации». Международная конференция по слуховым дисплеям (ICAD) . hdl : 1853/52058 .
  24. ^ Florez, L (1936). «Настоящий слепой полет». J Aeronaut Sci . 3 (5): 168–170. DOI : 10.2514 / 8.176 .
  25. ^ a b c Цимер, Тим; Шультейс, Хольгер; Блэк, Дэвид; Кикинис, Рон (2018). «Психоакустическая интерактивная сонификация для ближней навигации». Acta Acustica объединилась с Acustica . 104 (6): 1075–1093. DOI : 10,3813 / AAA.919273 .
  26. ^ a b c Цимер, Тим; Шультейс, Хольгер (2018). «Психоакустический слуховой дисплей для навигации: система слуховой помощи для задач пространственной ориентации» . Журнал мультимодальных пользовательских интерфейсов . 2018 (специальный выпуск: интерактивная сонификация): 205–218. DOI : 10.1007 / s12193-018-0282-2 . S2CID 53721138 . Проверено 24 января 2019 . 
  27. ^ Hinckfuss, Келли; Сандерсон, Пенелопа; Loeb, Роберт Дж .; Liley, Helen G .; Лю, Дэвид (2016). «Новые ультразвуковые методы импульсной оксиметрии для мониторинга насыщения кислородом новорожденных». Человеческий фактор . 58 (2): 344–359. DOI : 10.1177 / 0018720815617406 . PMID 26715687 . S2CID 23156157 .  
  28. ^ Сандерсон, Пенелопа М .; Уотсон, Маркус О .; Рассел, Джон (2005). «Дисплеи расширенного мониторинга пациента: инструменты для непрерывного информирования». Анестезия и анальгезия . 101 (1): 161–168. DOI : 10.1213 / 01.ANE.0000154080.67496.AE . PMID 15976225 . 
  29. ^ Шварц, Себастьян; Цимер, Тим (2019). «Психоакустический звуковой дизайн для пульсовой оксиметрии» . Международная конференция по слуховым дисплеям (ICAD 2019) . 25 : 214–221. DOI : 10.21785 / icad2019.024 . ЛВП : 1853/61504 . ISBN 978-0-9670904-6-7.
  30. ^ Schuett, Джонатан Х .; Винтон, Райли Дж .; Баттерман, Джаред М .; Уокер, Брюс Н. (2014). Слуховые сводки погоды: демонстрация понимания слушателем пяти одновременных переменных . Материалы 9-го аудио в основном: конференция по взаимодействию со звуком . AM '14. Нью-Йорк, Нью-Йорк, США: ACM. С. 17: 1–17: 7. DOI : 10.1145 / 2636879.2636898 . ISBN 9781450330329. S2CID  5765787 .
  31. ^ "Джастин Джок" . justinjoque.com . Проверено 21 мая 2019 .
  32. ^ Банф, Майкл; Бланц, Волкер (2013). «Ультразвуковая обработка изображений для слабовидящих с использованием многоуровневого подхода». Материалы 4-й Международной конференции по дополненному человечеству - AH '13 . Нью-Йорк, Нью-Йорк, США: ACM Press: 162–169. DOI : 10.1145 / 2459236.2459264 . ISBN 9781450319041. S2CID  7505236 .
  33. ^ Банф, Майкл; Микалай, Рубен; Вацке, Барис; Бланц, Фолькер (июнь 2016 г.). «PictureSensation - мобильное приложение, помогающее слепым познавать визуальный мир с помощью прикосновения и звука» . Журнал реабилитации и инженерных вспомогательных технологий . 3 : 205566831667458. DOI : 10,1177 / 2055668316674582 . ISSN 2055-6683 . PMC 6453065 . PMID 31186914 .   
  34. ^ CURAT. «Игры и обучение минимально инвазивной хирургии» . Проект CURAT . Бременский университет . Дата обращения 15 июля 2020 .
  35. ^ Винклер, Елена; Шаде, Ева Эмили Софи; Крусилп, Джатаван; Ахмади, Фида. «Тилитификация - Духовный уровень с помощью звука» . Тилитификация . Бременский университет . Проверено 21 апреля 2021 года .
  36. ^ Баррасс С. (2012) Цифровое изготовление акустических сонификаций, Журнал Общества звукорежиссеров, сентябрь 2012 г. онлайн
  37. ^ Баррасс, С. и Бест, Г. (2008). Диаграммы сонификации на основе потоков. Материалы 14-й Международной конференции по слуховым дисплеям, IRCAM, Париж, 24–27 июня 2008 г. онлайн
  38. ^ Баррасс С. (2009) Развитие практики и теории ультразвуковой обработки на основе потоков. Scan Journal of Media Arts Culture, Университет Маккуори онлайн
  39. ^ Кирк, Алексис; Миранда, Эдуардо (2014-05-06). «Импульсная мелодическая аффективная обработка: музыкальные структуры для повышения прозрачности эмоциональных вычислений». Моделирование . 90 (5): 606. DOI : 10,1177 / 0037549714531060 . ЛВП : 10026,1 / 6621 . S2CID 15555997 . 
  40. ^ «На пути к гармоническим расширениям импульсной мелодической аффективной обработки - дальнейшие музыкальные структуры для повышения прозрачности эмоциональных вычислений» (PDF) . 2014-11-11 . Проверено 5 июня 2017 .
  41. ^ "Пример гибридного компьютера для нетрадиционных виртуальных вычислений" . 2015-06-01 . Проверено 5 июня 2017 .

Внешние ссылки [ править ]

  • Международное сообщество слуховых дисплеев
  • Отчет Sonification (1997) представляет собой введение в состояние области и текущие исследовательские программы.
  • The Sonification Handbook , книга в открытом доступе, которая дает исчерпывающую вводную презентацию по ключевым областям исследований в области ультразвуковой обработки и слухового дисплея.
  • Дизайн слуховой информации , докторская диссертация Стивена Баррасса, 1998 г., Подход к разработке сонификаций, ориентированный на пользователя.
  • Mozzi: интерактивная ультразвуковая обработка сенсоров на микропроцессоре Arduino.
  • Предварительный отчет об обосновании дизайна, синтаксисе и семантике LSL: язык спецификации для озвучивания программ, Д. Бордман и А. П. Матур, 1993.
  • Язык спецификации для озвучивания программ, Д. Бордман, В. Ханделвал и А.П. Матур, 1994.
  • Учебник по сонификации
  • Общая звуковая среда SonEnvir
  • Sonification.de предоставляет информацию о сонификации и аудиодисплее, ссылки на интересные события и связанные проекты.
  • Ультразвук для исследовательского анализа данных , докторская диссертация Томаса Херманна, 2002 г., разработка сонфикации на основе моделей.
  • Сонификация мобильной и беспроводной связи
  • Интерактивная сонификация - центр новостей и предстоящих событий в области интерактивной сонификации.
  • нулевая ассоциация пространства-времени
  • CodeSounding - фреймворк для звуковой обработки с открытым исходным кодом, который позволяет услышать, как «звучит» любая существующая программа Java , путем назначения инструментов и высоты тона операторам кода (if, for и т. Д.) И воспроизведения их по мере их выполнения во время выполнения. Таким образом, поток исполнения воспроизводится как музыкальный поток, и его ритм изменяется в зависимости от взаимодействия с пользователем.
  • LYCAY , библиотека Java для озвучивания исходного кода Java
  • WebMelody , система для озвучивания активности веб-серверов.
  • Ультразвуковая обработка множества Кантора [5]
  • Sonification Sandbox v.3.0 , Java-программа для преобразования наборов данных в звуки, лаборатория GT Sonification Lab, Школа психологии, Технологический институт Джорджии .
  • Программа Sonification с использованием Java , онлайн-глава (с кодом), объясняющая, как реализовать сонификацию с использованием синтеза речи, генерации MIDI-нот и аудиоклипов.
  • [6] Живая ультразвуковая обработка волн океана