Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Ранняя система машинного зрения Automatix (теперь часть Omron ) Autovision II 1983 года демонстрируется на торговой выставке. Камера на штативе направлена ​​вниз на световой стол для получения изображения с подсветкой, отображаемого на экране, которое затем подвергается извлечению капли .

Машинное зрение (MV) - это технология и методы, используемые для обеспечения автоматического контроля и анализа на основе изображений для таких приложений, как автоматический контроль, управление процессами и управление роботами, обычно в промышленности. Машинное зрение относится ко многим технологиям, программным и аппаратным продуктам, интегрированным системам, действиям, методам и знаниям. Машинное зрение как дисциплину системной инженерии можно рассматривать в отличие от компьютерного зрения , одной из форм информатики.. Он пытается по-новому интегрировать существующие технологии и применять их для решения реальных проблем. Этот термин является распространенным для этих функций в средах промышленной автоматизации, но также используется для этих функций в других средах, таких как безопасность и управление транспортными средствами.

Общий процесс машинного зрения включает детальное планирование требований и проекта, а затем создание решения. Во время выполнения процесс начинается с построения изображения, за которым следует автоматический анализ изображения и извлечение необходимой информации.

Определение [ править ]

Определения термина «Машинное зрение» различаются, но все они включают технологии и методы, используемые для автоматического извлечения информации из изображения, в отличие от обработки изображений , когда на выходе получается другое изображение. Извлеченная информация может быть простым сигналом хорошей / плохой части или более сложным набором данных, таких как идентичность, положение и ориентация каждого объекта на изображении. Эта информация может быть использована в таких приложениях, как автоматическая проверка и управление роботами и процессами в промышленности, для мониторинга безопасности и управления транспортными средствами. [1] [2] [3] Эта область охватывает большое количество технологий, программных и аппаратных продуктов, интегрированных систем, действий, методов и опыта. [3] [4] Машинное зрение - практически единственный термин, используемый для обозначения этих функций в приложениях промышленной автоматизации; этот термин менее универсален для этих функций в других средах, таких как безопасность и управление транспортным средством. Машинное зрение как дисциплину системной инженерии можно рассматривать в отличие от компьютерного зрения , одной из форм фундаментальной информатики ; Машинное зрение пытается по-новому интегрировать существующие технологии и применять их для решения реальных проблем таким образом, чтобы это отвечало требованиям промышленной автоматизации и аналогичным областям применения. [3] : 5 [5] Этот термин также используется в более широком смысле торговыми выставками и торговыми группами, такими как Ассоциация автоматизированной обработки изображений и Европейская ассоциация машинного зрения. Это более широкое определение также включает продукты и приложения, которые чаще всего связаны с обработкой изображений. [4] Основное применение машинного зрения - автоматический контроль и управление промышленными роботами / процессами. [6] [7] : 6–10 [8] См. Глоссарий машинного зрения .

Автоматическая проверка и сортировка на основе изображений [ править ]

Основное применение машинного зрения - автоматическая проверка и сортировка на основе изображений, а также управление роботами; [6] [7] : 6–10 в этом разделе первое сокращено как «автоматическая проверка». Общий процесс включает подробное планирование требований и проекта, а затем создание решения. [9] [10] В этом разделе описывается технический процесс, который происходит во время работы решения.

Методы и последовательность работы [ править ]

Первым шагом в последовательности операций автоматической проверки является получение изображения , обычно с использованием камер, линз и освещения, которые были разработаны для обеспечения дифференциации, необходимой для последующей обработки. [11] [12] Программные пакеты и программы MV, разработанные в них, затем используют различные методы обработки цифровых изображений для извлечения необходимой информации и часто принимают решения (например, прошел / не прошел) на основе извлеченной информации. [13]

Оборудование [ править ]

Компоненты автоматической системы контроля обычно включают в себя освещение, камеру или другой формирователь изображений, процессор, программное обеспечение и устройства вывода. [7] : 11–13

Изображение [ править ]

Устройство формирования изображения (например, камера) может быть отделено от основного блока обработки изображений или объединено с ним, и в этом случае комбинация обычно называется интеллектуальной камерой или интеллектуальным датчиком. [14] [15] Включение функции полной обработки в тот же корпус, что и камера, часто называют встроенной обработкой. [16] При разделении соединение может быть выполнено со специализированным промежуточным оборудованием, специализированным устройством обработки или фреймграббером на компьютере с использованием аналогового или стандартизованного цифрового интерфейса ( Camera Link , CoaXPress ). [17] [18] [19] [20]Реализации MV также используют цифровые камеры, способные напрямую подключаться (без фреймграббера) к компьютеру через интерфейсы FireWire , USB или Gigabit Ethernet . [20] [21]

В то время как обычная визуализация (2D в видимом свете) чаще всего используется в МВ, альтернативы включают многоспектральную визуализацию , гиперспектральную визуализацию , визуализацию в различных инфракрасных диапазонах, [22] линейное сканирование, трехмерное изображение поверхностей и рентгеновское изображение. [6] Ключевые различия в визуализации в видимом свете MV 2D - это монохроматичность по сравнению с цветом, частота кадров , разрешение, а также то, является ли процесс формирования изображения одновременным по всему изображению, что делает его пригодным для движущихся процессов. [23]

Хотя подавляющее большинство приложений машинного зрения решается с использованием двухмерных изображений, приложения машинного зрения, использующие 3D-изображения, занимают растущую нишу в отрасли. [24] [25] Наиболее часто используемый метод для построения трехмерных изображений - это триангуляция на основе сканирования, которая использует движение продукта или изображения во время процесса построения изображения. Лазер проецируется на поверхность объекта. В машинном зрении это достигается сканирующим движением либо путем перемещения заготовки, либо путем перемещения камеры и системы лазерной визуализации. Линия просматривается камерой под другим углом; отклонение линии представляет собой вариации формы. Линии из нескольких сканированных изображений собираются в карту глубины или облако точек. [26] Стереоскопическое зрение используется в особых случаях, когда используются уникальные особенности, присутствующие в обоих обзорах пары камер. [26] Другие 3D-методы, используемые для машинного зрения, основаны на времени полета и сетке. [26] [24] Одним из методов является система на основе массива сеток с использованием псевдослучайной структурированной системы освещения, которая использовалась системой Microsoft Kinect около 2012 года. [27] [28]

Обработка изображений [ править ]

После получения изображения оно обрабатывается. [19] Функции центральной обработки обычно выполняются ЦП , ГП , ПЛИС или их комбинацией. [16] Глубокое обучение и логический вывод предъявляют более высокие требования к производительности обработки. [29] Обычно используется несколько этапов обработки в последовательности, которая приводит к желаемому результату. Типичная последовательность может начинаться с таких инструментов, как фильтры, которые изменяют изображение, за которым следует извлечение объектов, затем извлечение (например, измерения, считывание кодов) данных из этих объектов с последующим сообщением этих данных или их сравнением с целевыми значениями для создавать и сообщать результаты "прошел / не прошел". Методы обработки изображений машинного зрения включают в себя:

  • Сшивание / совмещение : объединение смежных 2D или 3D изображений. [ необходима цитата ]
  • Фильтрация (например, морфологическая фильтрация ) [30]
  • Установление порога: установка порога начинается с установки или определения значения серого, которое будет полезно для следующих шагов. Затем это значение используется для разделения частей изображения, а иногда и для преобразования каждой части изображения в просто черно-белую в зависимости от того, находится ли она ниже или выше этого значения шкалы серого. [31]
  • Подсчет пикселей: подсчет количества светлых или темных пикселей [ необходима ссылка ]
  • Сегментация : разделение цифрового изображения на несколько сегментов для упрощения и / или изменения представления изображения во что-то более значимое и более простое для анализа. [32] [33]
  • Обнаружение краев : обнаружение краев объекта [34]
  • Цветовой анализ: определяйте детали, продукты и предметы с помощью цвета, оценивайте качество по цвету и выделяйте элементы с помощью цвета. [6]
  • Обнаружение и извлечение пятен : проверка изображения на наличие дискретных пятен связанных пикселей (например, черной дыры в сером объекте) в качестве ориентиров изображения. [35]
  • Нейронная сеть / глубокое обучение / обработка машинного обучения : взвешенное и самообучающееся принятие решений с несколькими переменными [36] Примерно в 2019 году это значительно расширилось за счет использования глубокого обучения и машинного обучения для значительного расширения возможностей машинного зрения.
  • Распознавание образов, включая сопоставление с шаблоном. Поиск, сопоставление и / или подсчет определенных шаблонов. Это может включать местоположение объекта, который может быть повернут, частично скрыт другим объектом или может изменяться по размеру. [37]
  • Считывание штрих-кода , матрицы данных и « 2D штрих-кода » [38]
  • Оптическое распознавание символов : автоматическое считывание текста, например серийных номеров [39]
  • Измерение / метрология : измерение размеров объекта (например, в пикселях , дюймах или миллиметрах ) [40]
  • Сравнение с целевыми значениями для определения результата «прошел или не прошел» или «годен / не годен». Например, при проверке кода или штрих-кода считанное значение сравнивается с сохраненным целевым значением. Для калибровки измерение сравнивается с надлежащим значением и допусками. Для проверки буквенно-цифровых кодов значение OCR'd сравнивается с правильным или целевым значением. Для проверки на наличие пятен измеренный размер пятен можно сравнить с максимальными значениями, разрешенными стандартами качества. [38]

Выходы [ править ]

Обычный результат работы систем автоматического контроля - это решения "прошел / не прошел". [13] Эти решения, в свою очередь, могут запускать механизмы, которые отклоняют неисправные элементы или подают сигнал тревоги. Другие общие выходные данные включают информацию о положении и ориентации объекта для систем наведения робота. [6] Кроме того, типы выходных данных включают в себя числовые данные измерений, данные, считанные из кодов и символов, подсчет и классификацию объектов, отображение процесса или результатов, сохраненные изображения, аварийные сигналы от автоматизированных систем мониторинга космического пространства MV и сигналы управления процессом . [9] [12] Сюда также входят пользовательские интерфейсы, интерфейсы для интеграции многокомпонентных систем и автоматизированного обмена данными. [41]

Управление роботом на основе изображений [ править ]

Машинное зрение обычно предоставляет роботу информацию о местоположении и ориентации, чтобы робот мог правильно захватить продукт. Эта возможность также используется для управления движением, которое проще, чем у роботов, например, одно- или двухосевой контроллер движения. [6] Общий процесс включает подробное планирование требований и проекта, а затем создание решения. В этом разделе описывается технический процесс, происходящий во время работы решения. Многие этапы процесса такие же, как и при автоматическом контроле, за исключением того, что основное внимание уделяется предоставлению информации о положении и ориентации в качестве конечного результата. [6]

Рынок [ править ]

Еще в 2006 году один отраслевой консультант сообщил, что рынок MV в Северной Америке составляет 1,5 миллиарда долларов. [42] Однако главный редактор отраслевого журнала MV утверждал, что «машинное зрение - это не отрасль как таковая», а скорее «интеграция технологий и продуктов, которые предоставляют услуги или приложения, которые приносят пользу настоящим отраслям, таким как автомобильная производство товаров народного потребления, сельское хозяйство и оборона ". [4]

См. Также [ править ]

  • Глоссарий по машинному зрению
  • Обнаружение функций (компьютерное зрение)
  • Обнаружение переднего плана
  • Блок обработки зрения
  • Оптическая сортировка

Ссылки [ править ]

  1. ^ Стегер, Карстен; Маркус Ульрих; Кристиан Видеманн (2018). Алгоритмы и приложения машинного зрения (2-е изд.). Вайнхайм: Wiley-VCH . п. 1. ISBN 978-3-527-41365-2. Проверено 30 января 2018 .
  2. ^ Бейерер, Юрген; Пуэнте Леон, Фернандо и Фрезе, Кристиан (2016). Машинное зрение - автоматизированный визуальный осмотр: теория, практика и приложения . Берлин: Springer . DOI : 10.1007 / 978-3-662-47794-6 . ISBN 978-3-662-47793-9. Проверено 11 октября 2016 .
  3. ^ a b c Грейвс, Марк и Брюс Г. Бэтчелор (2003). Машинное зрение для проверки натуральных продуктов . Springer . п. 5. ISBN 978-1-85233-525-0. Проверено 2 ноября 2010 .
  4. ^ a b c Холтон, У. Конард (октябрь 2010 г.). «Любым другим именем» . Дизайн систем зрения . 15 (10). ISSN 1089-3709 . Проверено 5 марта 2013 . 
  5. ↑ Оуэн-Хилл, Алекс (21 июля 2016 г.). «Зрение роботов против компьютерного зрения: в чем разница?» . Робототехника завтра.
  6. ^ Б с д е е г Туреком, Фред Д. (июнь 2011). «Основы машинного зрения, как заставить роботов видеть» . Краткие технические описания НАСА . 35 (6): 60–62 . Проверено 29 ноября 2011 .
  7. ^ а б в Cognex (2016). «Введение в машинное зрение» (PDF) . Сборочный журнал . Дата обращения 9 февраля 2017 .
  8. ^ Lückenhaus, Максимилиан (1 мая 2016). «Машинное зрение в IIoT» . Журнал качества .
  9. ^ a b Вест, Перри А. Дорожная карта для создания системы машинного зрения Страницы 1-35
  10. ^ Dechow, David (январь 2009). «Интеграция: как заставить работать» . Видение и датчики : 16–20. Архивировано из оригинала на 2020-03-14 . Проверено 12 мая 2012 .
  11. ^ Хорнберг, Александр (2006). Справочник по машинному зрению . Wiley-VCH . п. 427. ISBN. 978-3-527-40584-8. Проверено 5 ноября 2010 .
  12. ^ a b Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. ISBN 3-540-66410-6.[ требуется страница ]
  13. ^ a b Хорнберг, Александр (2006). Справочник по машинному зрению . Wiley-VCH. п. 429. ISBN. 978-3-527-40584-8. Проверено 5 ноября 2010 .
  14. ^ Белбахир, Ахмед Набиль, изд. (2009). Умные камеры . Springer. ISBN 978-1-4419-0952-7.[ требуется страница ]
  15. ^ Dechow, Дэвид (февраль 2013 г. ). «Изучите основы машинного зрения: часть 1» . Дизайн систем зрения . 18 (2): 14–15 . Проверено 5 марта 2013 .
  16. ^ a b « Критические соображения при проектировании встроенного оборудования» Дэйва Райса и журнала Amber Thousand Photonics Spectra, опубликованного Laurin Publishing Co., июльский выпуск 2019 г. Страницы 60-64
  17. ↑ Уилсон, Эндрю (31 мая 2011 г.). «Стандарт CoaXPress получает поддержку камеры и фреймграббера» . Дизайн систем зрения . Проверено 28 ноября 2012 .
  18. ↑ Уилсон, Дэйв (12 ноября 2012 г.). «Камеры сертифицированы как соответствующие стандарту CoaXPress» . Дизайн систем зрения . Проверено 5 марта 2013 .
  19. ^ а б Дэвис, ER (1996). Машинное зрение - теория и практика алгоритмов (2-е изд.). Harcourt & Company. ISBN 978-0-12-206092-2.[ необходима страница ] .
  20. ^ a b Динев, Петко (март 2008 г.). «Цифровая или аналоговая? Выбор подходящей камеры для приложения зависит от того, чего пытается достичь система машинного зрения» . Видение и датчики : 10–14. Архивировано из оригинала на 2020-03-14 . Проверено 12 мая 2012 .
  21. ^ Уилсон, Эндрю (декабрь 2011 г.). «Ориентация на продукт - взгляд в будущее видения» . Дизайн систем зрения . 16 (12) . Проверено 5 марта 2013 .
  22. ^ Уилсон, Эндрю (апрель 2011 г.). «Инфракрасный выбор» . Дизайн систем зрения . 16 (4): 20–23 . Проверено 5 марта 2013 .
  23. ^ West, Perry High Speed, Real-Time Machine Vision CyberOptics, страницы 1-38
  24. ^ a b Мюррей, Чарльз J (февраль 2012 г.). «В фокусе внимания 3D-машина Vison» . Новости дизайна . Архивировано из оригинала на 2012-06-05 . Проверено 12 мая 2012 .
  25. ^ Дэвис, ER (2012). Компьютерное и машинное зрение: теория, алгоритмы, практика (4-е изд.). Академическая пресса. С. 410–411. ISBN 9780123869081. Проверено 13 мая 2012 .
  26. ^ a b c Трехмерная визуализация: практический обзор машинного зрения Фред Турек и Ким Джексон, журнал качества, выпуск за март 2014 г., том 53 / номер 3, страницы 6-8
  27. ^ http://research.microsoft.com/en-us/people/fengwu/depth-icip-12.pdf ГИБРИДНЫЙ СТРУКТУРИРОВАННЫЙ СВЕТ ДЛЯ МАСШТАБИРУЕМОЙ ГЛУБИНЫ Юэи Чжан, Чживэй Сюн, Китайский университет науки и технологий Фэн У, Хэфэй , Китай Microsoft Research Asia, Пекин, Китай
  28. ^ R.Morano, C.Ozturk, R.Conn, S.Dubin, S.Zietz, J.Nissano, «Структурированный свет с использованием псевдослучайных кодов», IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (3) (1998) 322– 327
  29. ^ Поиск оптимального оборудования для глубокого обучения логических выводов в машинном зрении Майк Фасселл, журнал Vision Systems Design, сентябрь 2019 г., страницы 8-9
  30. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. п. 39. ISBN 3-540-66410-6.
  31. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. п. 96. ISBN 3-540-66410-6.
  32. ^ Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279-325, Нью-Джерси, Прентис-Холл, ISBN 0-13-030796-3 
  33. ^ Лорен Баргоут. Визуальный таксометрический подход. Сегментация изображений с использованием нечетко-пространственного вырезания таксонов дает контекстуально релевантные регионы. Обработка информации и управление неопределенностью в системах, основанных на знаниях. CCIS Springer-Verlag. 2014 г.
  34. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. п. 108. ISBN 3-540-66410-6.
  35. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. п. 95. ISBN 3-540-66410-6.
  36. Перейти ↑ Turek, Fred D. (март 2007 г.). «Введение в машинное зрение нейронной сети» . Дизайн систем зрения . 12 (3) . Проверено 5 марта 2013 .
  37. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. п. 111. ISBN 3-540-66410-6.
  38. ^ a b Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. п. 125. ISBN 3-540-66410-6.
  39. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. п. 132. ISBN 3-540-66410-6.
  40. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве . Springer-Verlag. п. 191. ISBN. 3-540-66410-6.
  41. ^ Хорнберг, Александр (2006). Справочник по машинному зрению . Wiley-VCH . п. 709. ISBN. 978-3-527-40584-8. Проверено 5 ноября 2010 .
  42. ↑ Хэпгуд, Фред (15 декабря 2006 г. - 1 января 2007 г.). «Фабрики будущего» . ИТ-директор . 20 (6): 46. ISSN 0894-9301 . Проверено 28 октября 2010 .