Цифровая обработка изображений - это использование цифрового компьютера для обработки цифровых изображений с помощью алгоритма . [1] [2] Как подкатегория или область обработки цифровых сигналов, обработка цифровых изображений имеет много преимуществ перед обработкой аналоговых изображений . Это позволяет применять к входным данным гораздо более широкий спектр алгоритмов и позволяет избежать таких проблем, как нарастание шума и искажений во время обработки. Поскольку изображения определены в двух измерениях (возможно, больше), обработка цифровых изображений может быть смоделирована в форме многомерных систем.. На создание и развитие цифровой обработки изображений в основном влияют три фактора: во-первых, развитие компьютеров; во-вторых, развитие математики (особенно создание и совершенствование теории дискретной математики); в-третьих, вырос спрос на широкий спектр приложений в окружающей среде, сельском хозяйстве, военном деле, промышленности и медицине.
История
Многие из методов цифрового изображения обработки или цифровой обработки изображения , как это часто назывались, были разработаны в 1960 - х годах, в Bell Laboratories , то Лаборатория реактивного движения , Массачусетский технологический институт , Университет штата Мэриленда , а также несколько других научно - исследовательских учреждений, с приложением к спутниковым изображениям , преобразованию стандартов проводных фотографий , медицинской визуализации , видеофонам , распознаванию символов и улучшению фотографий. [3] Целью ранней обработки изображений было улучшение качества изображения. Он был направлен на улучшение визуального эффекта людей. При обработке изображений входом является изображение низкого качества, а на выходе - изображение улучшенного качества. Обычная обработка изображений включает улучшение изображения, восстановление, кодирование и сжатие. Первым успешным применением стала Американская лаборатория реактивного движения (JPL). Они использовали методы обработки изображений, такие как геометрическая коррекция, преобразование градаций, удаление шума и т. Д., На тысячах лунных фотографий, отправленных космическим детектором Ranger 7 в 1964 году, с учетом положения Солнца и окружающей среды Луны. Влияние успешного картирования карты поверхности Луны с помощью компьютера имело огромный успех. Позже была произведена более сложная обработка изображений почти 100000 фотографий, отправленных космическим кораблем, так что были получены топографическая карта, цветная карта и панорамная мозаика Луны, что дало выдающиеся результаты и заложило прочную основу для посадки человека на Землю. Луна. [4]
Однако стоимость обработки была довольно высокой для вычислительного оборудования той эпохи. Ситуация изменилась в 1970-х годах, когда цифровая обработка изображений получила распространение по мере того, как стали доступны более дешевые компьютеры и специализированное оборудование. Это привело к тому, что изображения обрабатывались в режиме реального времени для решения некоторых специальных задач, таких как преобразование телевизионных стандартов . По мере того, как универсальные компьютеры становились быстрее, они начали брать на себя роль специализированного оборудования для всех операций, кроме самых специализированных и требовательных к компьютерам. С появлением быстрых компьютеров и сигнальных процессоров, доступных в 2000-х годах, цифровая обработка изображений стала наиболее распространенной формой обработки изображений и обычно используется, потому что это не только самый универсальный метод, но и самый дешевый.
Датчики изображения
В основе современных датчиков изображения лежит технология металл-оксид-полупроводник (MOS) [5], которая берет свое начало в результате изобретения MOSFET ( полевого МОП-транзистора) Мохамедом М. Аталлой и Давоном Кангом из Bell Labs в 1959 г. [ 6] Это привело к разработке цифровых полупроводниковых датчиков изображения, включая устройство с зарядовой связью (ПЗС), а затем и датчик КМОП . [5]
Устройство с зарядовой связью было изобретено Уиллардом С. Бойлом и Джорджем Смитом в Bell Labs в 1969 году. [7] При исследовании технологии МОП они поняли, что электрический заряд является аналогом магнитного пузыря и что он может храниться на крошечном МОП-конденсаторе . Поскольку было довольно просто изготовить серию МОП-конденсаторов в ряд, они подключали к ним подходящее напряжение, чтобы заряд мог переходить от одного к другому. [5] ПЗС-матрица - это полупроводниковая схема, которая позже использовалась в первых цифровых видеокамерах для телевизионного вещания . [8]
NMOS датчика активного пикселя (APS) , был изобретен Olympus в Японии в середине 1980-х годов. Это стало возможным благодаря достижениям в производстве полупроводниковых МОП- устройств , когда масштабирование МОП-транзисторов достигало более мелких микронных, а затем и субмикронных уровней. [9] [10] NMOS APS был изготовлен командой Цутому Накамура на Olympus в 1985 году [11] КМОП - датчика активного пикселя (КМОП - датчик) впоследствии был разработан Эрик фоссум команды «ы в НАСА Лаборатории реактивного движения в 1993 году . [12] К 2007 году продажи КМОП-сенсоров превысили ПЗС-сенсоры. [13]
Сжатие изображения
Важным достижением в технологии сжатия цифровых изображений стало дискретное косинусное преобразование (DCT), метод сжатия с потерями , впервые предложенный Насиром Ахмедом в 1972 году. [14] DCT-сжатие стало основой для JPEG , который был представлен Объединенной группой экспертов по фотографии в 1992. [15] JPEG сжимает изображения до файлов гораздо меньшего размера и стал наиболее широко используемым форматом файлов изображений в Интернете . [16] Его высокоэффективный алгоритм сжатия DCT был в значительной степени ответствен за широкое распространение цифровых изображений и цифровых фотографий , [17] с несколькими миллиардов изображений в формате JPEG производятся каждый день по состоянию на 2015 год [18]
Цифровой сигнальный процессор (DSP)
Электронная обработка сигналов произвела революцию в связи с широким распространением МОП-технологии в 1970-х годах. [19] Технология MOS-интегральных схем была основой первых однокристальных микропроцессоров и микроконтроллеров в начале 1970-х годов [20], а затем первых микросхем однокристального процессора цифровых сигналов (DSP) в конце 1970-х годов. [21] [22] Микросхемы DSP с тех пор широко используются в цифровой обработке изображений. [21]
Дискретного косинусного преобразования (DCT) сжатия изображений алгоритм широко реализован в чипах DSP, со многими компаниями , разрабатывающими чипы DSP на основе технологии DCT. ДКП широко используются для кодирования , декодирования, кодирования видео , аудио кодирования , мультиплексирования , сигналы управления, сигнализации , аналого-цифровое преобразование , форматирование яркости и цветовых различий, и цветовые форматы , такие как YUV444 и YUV411 . ДКП также используется для кодирования таких операций, как оценки движения , компенсация движения , межкадрового предсказание, квантование , перцептивное взвешивание, энтропийное кодирование , кодирование с переменным и векторы движения , и декодирования таких операций, как обратная операция между различными форматами цвета ( YIQ , YUV и RGB ) для отображения. DCT также обычно используются для микросхем кодера / декодера телевидения высокой четкости (HDTV). [23]
Медицинская визуализация
В 1972 году инженер британской компании EMI Housfield изобрел рентгеновский компьютерный томограф для диагностики головы, который обычно называют КТ (компьютерная томография). Метод компьютерной томографии ядра основан на проекции сечения головы человека и обрабатывается компьютером для восстановления изображения поперечного сечения, что называется реконструкцией изображения. В 1975 году EMI успешно разработала компьютерную томографию всего тела, которая позволила получить четкое томографическое изображение различных частей человеческого тела. В 1979 году этот диагностический метод получил Нобелевскую премию. [4] Технология цифровой обработки изображений для медицинских приложений была занесена в Зал славы космических технологий Космического фонда в 1994 году. [24]
Задачи
Цифровая обработка изображений позволяет использовать гораздо более сложные алгоритмы и, следовательно, может предложить как более сложные характеристики для простых задач, так и реализацию методов, которые были бы невозможны с помощью аналоговых средств.
В частности, цифровая обработка изображений - это конкретное приложение и практическая технология, основанная на:
- Классификация
- Извлечение признаков
- Многомасштабный анализ сигналов
- Распознавание образов
- Проекция
Некоторые методы, которые используются при обработке цифровых изображений, включают:
- Анизотропная диффузия
- Скрытые марковские модели
- Редактирование изображений
- Восстановление изображения
- Независимый компонентный анализ
- Линейная фильтрация
- Нейронные сети
- Уравнения с частными производными
- Пикселизация
- Сопоставление точечных объектов
- Анализ основных компонентов
- Самоорганизующиеся карты
- Вейвлеты
Преобразования цифровых изображений
Фильтрация
Цифровые фильтры используются для размытия и повышения резкости цифровых изображений. Фильтрация может выполняться:
- свертка со специально разработанными ядрами (массив фильтров) в пространственной области [25]
- маскирование определенных частотных областей в частотной (Фурье) области
В следующих примерах показаны оба метода: [26]
Тип фильтра | Ядро или маска | Пример |
---|---|---|
Исходное изображение | ||
Пространственный фильтр нижних частот | ||
Пространственный Highpass | ||
Представление Фурье | Псевдокод: image = шахматная доска F = преобразование Фурье изображения Показать изображение: журнал (1 + абсолютное значение (F)) | |
Фурье Lowpass | ||
Фурье Хайпасс |
Заполнение изображений при фильтрации в области Фурье
Изображения обычно дополняются перед преобразованием в пространство Фурье, изображения с фильтром верхних частот ниже иллюстрируют последствия различных методов заполнения:
Нулевой набивной | Повторяющаяся кромка с мягкой подкладкой |
---|---|
Обратите внимание, что фильтр верхних частот показывает дополнительные края при заполнении нулями по сравнению с повторяющимся заполнением краев.
Примеры кода фильтрации
Пример MATLAB для фильтрации верхних частот в пространственной области.
img = шахматная доска ( 20 ); % создать шахматную доску % ************************* ПРОСТРАНСТВЕННЫЙ ДОМЕН ********************* ******klaplace = [ 0 - 1 0 ; - 1 5 - 1 ; 0 - 1 0 ]; % Ядро лапласовского фильтра X = conv2 ( img , klaplace ); % свернуть тестовое изображение с % 3x3 ядро лапласарисунок ()imshow ( X , []) % показать фильтр Лапласа title ( 'Обнаружение лапласовских границ' )
Аффинные преобразования
Аффинные преобразования позволяют выполнять базовые преобразования изображения, включая масштабирование, поворот, перемещение, зеркальное отражение и сдвиг, как показано в следующих примерах: [26]
Имя трансформации | Аффинная матрица | Пример |
---|---|---|
Личность | ||
Отражение | ||
Шкала | ||
Повернуть | где θ =π/6 = 30 ° | |
Сдвиг |
Чтобы применить аффинную матрицу к изображению, изображение преобразуется в матрицу, в которой каждая запись соответствует интенсивности пикселей в этом месте. Затем положение каждого пикселя может быть представлено как вектор, указывающий координаты этого пикселя в изображении, [x, y], где x и y - строка и столбец пикселя в матрице изображения. Это позволяет умножить координату на матрицу аффинного преобразования, которая дает позицию, в которую будет скопировано значение пикселя в выходном изображении.
Однако для преобразования, требующего трансляционных преобразований, необходимы трехмерные однородные координаты . Третье измерение обычно устанавливается на ненулевую константу, обычно 1, так что новая координата равна [x, y, 1]. Это позволяет умножать вектор координат на матрицу 3 на 3, обеспечивая сдвиги сдвига. Таким образом, третье измерение, которое является константой 1, позволяет перевод.
Поскольку умножение матриц является ассоциативным, несколько аффинных преобразований могут быть объединены в одно аффинное преобразование путем умножения матрицы каждого отдельного преобразования в порядке их выполнения. В результате получается единственная матрица, которая при применении к точечному вектору дает тот же результат, что и все отдельные преобразования, выполняемые последовательно над вектором [x, y, 1]. Таким образом, последовательность матриц аффинного преобразования может быть сведена к одной матрице аффинного преобразования.
Например, двухмерные координаты допускают вращение только вокруг начала координат (0, 0). Но можно использовать трехмерные однородные координаты, чтобы сначала перевести любую точку в (0, 0), затем выполнить вращение и, наконец, перевести начало координат (0, 0) обратно в исходную точку (в противоположность первому перемещению). Эти 3 аффинных преобразования можно объединить в одну матрицу, что позволяет вращать любую точку изображения. [27]
Приложения
Изображения с цифровой камеры
Цифровые камеры обычно включают в себя специализированные цифровой обработке изображений оборудования - либо специализированные микросхемы или добавляемые схемы на других чипах - преобразовать исходные данные из своего датчика изображения в цветовой коррекции изображения в стандартном формате файл изображения .
Фильм
« Мир Дикого Запада» (1973) был первым художественным фильмом, в котором цифровая обработка изображений использовалась для пиксельной фотографии, имитирующей точку зрения андроида. [28]
Технологии обнаружения и мониторинга усталости
За последнее десятилетие произошел значительный прогресс в технологии мониторинга усталости. Эти инновационные технологические решения теперь коммерчески доступны и предлагают реальные преимущества в области безопасности водителям, операторам и другим сменным рабочим во всех отраслях промышленности. [29]
Разработчики программного обеспечения, инженеры и ученые разрабатывают программное обеспечение для определения усталости, используя различные физиологические сигналы для определения состояния усталости или сонливости. Измерение активности мозга (электроэнцефалограмма) широко признано в качестве стандарта при мониторинге утомляемости. Другая технология, используемая для определения нарушений, связанных с утомляемостью, включает измерения поведенческих симптомов, таких как: поведение глаз, направление взгляда, микрокоррекции в управлении и использовании дроссельной заслонки, а также вариабельность сердечного ритма. [ необходима цитата ]
Смотрите также
- Цифровое изображение
- Компьютерная графика
- Компьютерное зрение
- CVIPtools
- Оцифровка
- Свободное граничное условие
- ГПГПУ
- Гомоморфная фильтрация
- Анализ изображений
- Общество интеллектуальных транспортных систем IEEE
- Многомерные системы
- Программное обеспечение дистанционного зондирования
- Стандартное тестовое изображение
- Сверхразрешение
- Полное изменение шумоподавления
- Машинное зрение
- Ограниченная вариация
- Радиомика
Рекомендации
- ^ Чакраворти, Pragnan (2018). «Что такое сигнал? [Конспект лекции]». Журнал обработки сигналов IEEE . 35 (5): 175–177. Bibcode : 2018ISPM ... 35..175C . DOI : 10.1109 / MSP.2018.2832195 . S2CID 52164353 .
- ^ Гонсалес, Рафаэль (2018). Цифровая обработка изображений . Нью-Йорк, штат Нью-Йорк: Пирсон. ISBN 978-0-13-335672-4. OCLC 966609831 .
- ↑ Азриэль Розенфельд, Обработка изображений компьютером , Нью-Йорк: Academic Press, 1969.
- ^ а б Гонсалес, Рафаэль К. (2008). Цифровая обработка изображений . Вудс, Ричард Э. (Ричард Юджин), 1954- (3-е изд.). Река Аппер Сэдл, штат Нью-Джерси: Prentice Hall. С. 23–28. ISBN 9780131687288. OCLC 137312858 .
- ^ а б в Уильямс, JB (2017). Революция в электронике: изобретение будущего . Springer. С. 245–8. ISBN 9783319490885.
- ^ «1960: Показан металлооксидно-полупроводниковый (МОП) транзистор» . Кремниевый двигатель . Музей истории компьютеров . Архивировано 3 октября 2019 года . Проверено 31 августа 2019 года .
- ^ Джеймс Р. Джейнсик (2001). Научные приборы с зарядовой связью . SPIE Press. С. 3–4. ISBN 978-0-8194-3698-6.
- ^ Бойл, Уильям S; Смит, Джордж Э. (1970). «Полупроводниковые приборы с зарядовой связью». Bell Syst. Tech. Дж . 49 (4): 587–593. DOI : 10.1002 / j.1538-7305.1970.tb01790.x .
- ^ Фоссум, Эрик Р. (12 июля 1993 г.). «Активные пиксельные сенсоры: динозавры CCDS?». В Blouke, Морли М. (ред.). Устройства с зарядовой связью и твердотельные оптические датчики III . Труды ШПИ. 1900 . С. 2–14. Bibcode : 1993SPIE.1900 .... 2F . CiteSeerX 10.1.1.408.6558 . DOI : 10.1117 / 12.148585 . S2CID 10556755 .
- ^ Фоссум, Эрик Р. (2007). «Активные пиксельные датчики». S2CID 18831792 . Цитировать журнал требует
|journal=
( помощь ) - ^ Мацумото, Казуя; и другие. (1985). «Новый МОП-фототранзистор, работающий в режиме неразрушающего считывания». Японский журнал прикладной физики . 24 (5A): L323. Bibcode : 1985JaJAP..24L.323M . DOI : 10,1143 / JJAP.24.L323 .
- ^ Фоссум, Эрик Р .; Хондонгва, ДБ (2014). "Обзор закрепленного фотодиода для датчиков изображения CCD и CMOS" . Журнал IEEE Общества электронных устройств . 2 (3): 33–43. DOI : 10,1109 / JEDS.2014.2306412 .
- ^ «Продажи CMOS-сенсоров остаются рекордными темпами» . IC Insights . 8 мая 2018. Архивировано 21 июня 2019 года . Дата обращения 6 октября 2019 .
- ^ Ахмед, Насир (январь 1991 г.). «Как я пришел к дискретному косинусному преобразованию» . Цифровая обработка сигналов . 1 (1): 4–5. DOI : 10.1016 / 1051-2004 (91) 90086-Z . Архивировано 10 июня 2016 года . Проверено 10 октября 2019 .
- ^ «T.81 - ЦИФРОВОЕ СЖАТИЕ И КОДИРОВАНИЕ НЕПРЕРЫВНЫХ ТОНОВЫХ ИЗОБРАЖЕНИЙ - ТРЕБОВАНИЯ И РЕКОМЕНДАЦИИ» (PDF) . CCITT . Сентябрь 1992 года. Архивировано 17 июля 2019 года (PDF) . Проверено 12 июля 2019 .
- ^ «Объяснение формата изображения JPEG» . BT.com . BT Group . 31 мая 2018. Архивировано 5 августа 2019 года . Дата обращения 5 августа 2019 .
- ^ «Что такое JPEG? Невидимый объект, который вы видите каждый день» . Атлантика . 24 сентября 2013 года. Архивировано 9 октября 2019 года . Проверено 13 сентября 2019 .
- ^ Баранюк, Крис (15 октября 2015 г.). «Защита от копирования может приходить на файлы JPEG» . BBC News . BBC . Архивировано 9 октября 2019 года . Проверено 13 сентября 2019 .
- ^ Грант, Дункан Эндрю; Говар, Джон (1989). Силовые МОП-транзисторы: теория и приложения . Вайли . п. 1. ISBN 9780471828679.
Полевой транзистор металл-оксид-полупроводник (MOSFET) является наиболее часто используемым активным устройством в очень крупномасштабной интеграции цифровых интегральных схем (VLSI). В течение 1970-х годов эти компоненты произвели революцию в электронной обработке сигналов, системах управления и компьютерах.
- ^ Ширрифф, Кен (30 августа 2016 г.). «Удивительная история первых микропроцессоров» . IEEE Spectrum . Институт инженеров по электротехнике и радиоэлектронике . 53 (9): 48–54. DOI : 10.1109 / MSPEC.2016.7551353 . S2CID 32003640 . Архивировано 13 октября 2019 года . Дата обращения 13 октября 2019 .
- ^ а б «1979: Представлен однокристальный цифровой сигнальный процессор» . Кремниевый двигатель . Музей истории компьютеров . Архивировано 3 октября 2019 года . Дата обращения 14 октября 2019 .
- ^ Таранович, Стив (27 августа 2012 г.). «30 лет DSP: от детской игрушки до 4G и выше» . EDN . Архивировано 14 октября 2019 года . Дата обращения 14 октября 2019 .
- ^ Станкович, Радомир С .; Астола, Яакко Т. (2012). "Воспоминания о ранних работах в DCT: Интервью с К.Р. Рао" (PDF) . Отпечатки с первых дней информационных наук . 60 . Архивировано 13 октября 2019 года (PDF) . Дата обращения 13 октября 2019 .
- ^ "Зал славы космической техники: индукционные технологии / 1994" . Космический фонд. 1994. Архивировано из оригинала 4 июля 2011 года . Проверено 7 января 2010 года .
- ^ Чжан, МЗ; Ливингстон, штат Арканзас; Асари, ВК (2008). «Высокопроизводительная архитектура для реализации двумерной свертки с квадрантными симметричными ядрами». Международный журнал компьютеров и приложений . 30 (4): 298–308. DOI : 10.1080 / 1206212x.2008.11441909 . S2CID 57289814 .
- ^ а б Гонсалес, Рафаэль (2008). Цифровая обработка изображений, 3-й . Пирсон Холл. ISBN 9780131687288.
- ^ Дом, Кейзер (6 декабря 2016 г.). Аффинные преобразования (PDF) . Клемсон . Основы физического моделирования и анимации. А.К. Петерс / CRC Press. ISBN 9781482234602. Архивировано (PDF) из оригинала 30 августа 2017 года . Проверено 26 марта 2019 .
- ↑ Краткая история ранней истории компьютерной графики в кино. Архивировано 17 июля 2012 г. в Wayback Machine , Ларри Яегер , 16 августа 2002 г. (последнее обновление), получено 24 марта 2010 г.
- ^ «Технология мониторинга усталости | Альтернативы транспортировки» . Проверено 6 марта 2021 года .
дальнейшее чтение
- Соломон, CJ; Брекон, Т.П. (2010). Основы цифровой обработки изображений: практический подход с примерами в Matlab . Вили-Блэквелл. DOI : 10.1002 / 9780470689776 . ISBN 978-0470844731.
- Вильгельм Бургер; Марк Дж. Бердж (2007). Цифровая обработка изображений: алгоритмический подход с использованием Java . Springer . ISBN 978-1-84628-379-6.
- Р. Фишер; К. Доусон-Хау; А. Фитцгиббон; К. Робертсон; Э. Трукко (2005). Словарь компьютерного зрения и обработки изображений . Джон Вили. ISBN 978-0-470-01526-1.
- Рафаэль К. Гонсалес; Ричард Э. Вудс; Стивен Л. Эддинс (2004). Цифровая обработка изображений с использованием MATLAB . Pearson Education. ISBN 978-81-7758-898-9.
- Тим Моррис (2004). Компьютерное зрение и обработка изображений . Пэлгрейв Макмиллан. ISBN 978-0-333-99451-1.
- Тяги Випин (2018). Понимание обработки цифровых изображений . Тейлор и Фрэнсис CRC Press. ISBN 978-11-3856-6842.
- Милана Сонька; Вацлав Главац; Роджер Бойл (1999). Обработка изображений, анализ и машинное зрение . PWS Publishing. ISBN 978-0-534-95393-5.
- Рафаэль К. Гонсалес (2008). Цифровая обработка изображений. Прентис Холл. ISBN 9780131687288
Внешние ссылки
- Лекции Алана Петерса по обработке изображений . Университет Вандербильта. Обновлено 7 января 2016 г.
- Обработка цифровых изображений с помощью компьютерных алгоритмов