Оптический поток

Оптический поток, испытываемый вращающимся наблюдателем (в данном случае мухой). Направление и величина оптического потока в каждом месте представлены направлением и длиной каждой стрелки.

Оптический поток или оптический поток - это образец видимого движения объектов, поверхностей и краев в визуальной сцене, вызванный относительным движением между наблюдателем и сценой. ^[1]^[2] Оптический поток также можно определить как распределение видимых скоростей движения яркостного рисунка на изображении. ^[3] Концепция оптического потока была введена американским психологом Джеймсом Дж. Гибсоном в 1940-х годах для описания визуального стимула, предоставляемого животным, перемещающимся по миру. ^[4] Гибсон подчеркнул важность оптического потока для восприятия аффорданса., способность различать возможности для действий в окружающей среде. Последователи Гибсона и его экологического подхода к психологии дополнительно продемонстрировали роль стимула оптического потока для восприятия движения наблюдателем в мире; восприятие формы, расстояния и движения предметов в мире; и контроль передвижения. ^[5]

Термин «оптический поток» также используется робототехниками, охватывая связанные методы обработки изображений и управления навигацией, включая обнаружение движения , сегментацию объекта , информацию о времени до контакта, фокус вычислений расширения, яркость, кодирование с компенсацией движения и измерение стереодиапазона. ^[6]^[7]

Оценка [ править ]

Последовательности упорядоченных изображений позволяют оценивать движение либо как мгновенные скорости изображения, либо как дискретные смещения изображения. ^[7] Флит и Вайс представляют учебное пособие по оптическому потоку на основе градиента. ^[8] Джон Л. Бэррон, Дэвид Дж. Флит и Стивен Бошемин проводят анализ производительности ряда методов оптического потока. Он подчеркивает точность и плотность измерений. ^[9]

Методы оптического потока пытаются вычислить движение между двумя кадрами изображения, которые снимаются в моменты времени t и в каждой позиции вокселя . Эти методы называются дифференциальными, поскольку они основаны на аппроксимации сигнала изображения локальным рядом Тейлора ; то есть они используют частные производные по пространственным и временным координатам. ${\ displaystyle t + \ Delta t}$

Для 2D + т одномерного случая (3D или п -D случаев аналогичны) воксел в месте с интенсивностью будет движимым , и между этими двумя кадрами изображений, а также следующие яркостями Постоянством ограничение может быть дано: ${\ Displaystyle (х, у, т)}$ ${\ Displaystyle I (х, у, т)}$ ${\ displaystyle \ Delta x}$ ${\ displaystyle \ Delta y}$ ${\ displaystyle \ Delta t}$

{\ Displaystyle I (x, y, t) = I (x + \ Delta x, y + \ Delta y, t + \ Delta t)}

Если предположить , что движение , чтобы быть маленькими, ограничение изображения в с рядом Тейлора может быть разработано , чтобы получить: ${\ Displaystyle I (х, у, т)}$

{\ displaystyle I (x + \ Delta x, y + \ Delta y, t + \ Delta t) = I (x, y, t) + {\ frac {\ partial I} {\ partial x}} \ Delta x + {\ frac {\ partial I} {\ partial y}} \ Delta y + {\ frac {\ partial I} {\ partial t}} \ Delta t +}

условия высшего порядка

Из усечения членов высшего порядка, линеаризации, следует, что:

{\ displaystyle {\ frac {\ partial I} {\ partial x}} \ Delta x + {\ frac {\ partial I} {\ partial y}} \ Delta y + {\ frac {\ partial I} {\ partial t} } \ Delta t = 0}

или, разделив на , ${\ displaystyle \ Delta t}$

{\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0

что приводит к

{\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0

где - и компоненты скорости или оптического потока и , и - производные изображения в соответствующих направлениях. , и могут быть записаны для производных следующим образом. $V_{x},V_{y}$ $x$ $y$ $I(x,y,t)$ ${\tfrac {\partial I}{\partial x}}$ ${\tfrac {\partial I}{\partial y}}$ ${\tfrac {\partial I}{\partial t}}$ $(x,y,t)$ $I_{x}$ $I_{y}$ $I_{t}$

Таким образом:

I_{x}V_{x}+I_{y}V_{y}=-I_{t}

или же

\nabla I\cdot {\vec {V}}=-I_{t}

Это уравнение с двумя неизвестными и не может быть решено как таковое. Это известно как апертурная проблема алгоритмов оптического потока. Чтобы найти оптический поток, необходима другая система уравнений, заданная некоторым дополнительным ограничением. Все методы оптического потока вводят дополнительные условия для оценки фактического потока.

Методы определения [ править ]

Фазовая корреляция - обратная нормированному спектру мощности
Блочные методы - минимизация суммы квадратов разностей или суммы абсолютных разностей или максимизация нормализованной взаимной корреляции
Дифференциальные методы оценки оптического потока, основанные на частных производных сигнала изображения и / или искомого поля потока и частных производных более высокого порядка, таких как:
- Метод Лукаса – Канаде - в отношении участков изображения и аффинной модели для поля течения ^[10]
- Метод Хорна – Шунка - оптимизация функционала на основе невязок из ограничения постоянства яркости и конкретного члена регуляризации, выражающего ожидаемую гладкость поля потока ^[10]
- Метод Бакстона – Бакстона - основан на модели движения краев в последовательностях изображений ^[11]
- Метод Блэка – Джепсона - грубый оптический поток через корреляцию ^[7]
- Общие вариационные методы - ряд модификаций / расширений Хорна – Шунка с использованием других терминов данных и других условий гладкости.
Дискретные методы оптимизации - пространство поиска квантуется, а затем выполняется сопоставление изображений путем присвоения меток каждому пикселю, так что соответствующая деформация минимизирует расстояние между источником и целевым изображением. ^[12] Оптимальное решение часто восстанавливается с помощью алгоритмов теоремы о минимальном сокращении максимального потока , линейного программирования или методов распространения убеждений.

Многие из них, в дополнение к современным алгоритмам, оцениваются с помощью набора данных Middlebury Benchmark. ^[13]^[14]

Использует [ редактировать ]

Оценка движения и сжатие видео стали одним из основных аспектов исследования оптических потоков. В то время как поле оптического потока внешне похоже на плотное поле движения, полученное из методов оценки движения, оптический поток - это исследование не только определения самого поля оптического потока, но также его использования для оценки трехмерной природы. и структура сцены, а также трехмерное движение объектов и наблюдателя относительно сцены, большинство из которых использует якобиан изображения .

Оптический поток использовался исследователями робототехники во многих областях, таких как: обнаружение и отслеживание объектов , извлечение доминирующей плоскости изображения, обнаружение движения, навигация роботов и визуальная одометрия . ^{[6] Информация об} оптическом потоке признана полезной для управления воздушными транспортными средствами. ^[15]

Применение оптического потока включает в себя задачу определения не только движения наблюдателя и объектов в сцене, но также структуры объектов и окружающей среды. Поскольку осознание движения и формирование ментальных карт структуры нашей окружающей среды являются важнейшими компонентами животного (и человека) зрений , превращение этой врожденной способности к способности компьютера является так же важным в области машинного зрения . ^[16]

Вектор оптического потока движущегося объекта в видеопоследовательности.

Рассмотрим пятикадровый клип мяча, движущегося из нижнего левого угла поля зрения в верхний правый. Методы оценки движения могут определять, что в двумерной плоскости мяч движется вверх и вправо, а векторы, описывающие это движение, могут быть извлечены из последовательности кадров. Для целей сжатия видео (например, MPEG ) последовательность теперь описывается так же хорошо, как и должно быть. Однако в области машинного зрения вопрос о том, движется ли мяч вправо или наблюдатель движется влево, является непознаваемой, но важной информацией. Даже если бы статический узорчатый фон присутствовал в пяти кадрах, мы не могли бы с уверенностью утверждать, что мяч движется вправо, потому что узор может иметь бесконечное расстояние до наблюдателя.

Оптический датчик потока[ редактировать ]

Оптический датчик потока - это видеодатчик, способный измерять оптический поток или визуальное движение и выводить результат измерения на основе оптического потока. Существуют различные конфигурации оптических датчиков потока. Одна конфигурация представляет собой микросхему датчика изображения, подключенную к процессору, запрограммированному для выполнения алгоритма оптического потока. В другой конфигурации используется микросхема технического зрения, которая представляет собой интегральную схему, в которой датчик изображения и процессор установлены на одном кристалле, что обеспечивает компактную реализацию. ^[17]^[18] Примером этого является стандартный датчик оптической мыши, используемый в оптической мыши . В некоторых случаях схема обработки может быть реализована с использованием схем аналоговых или смешанных сигналов, чтобы обеспечить быстрое вычисление оптического потока с использованием минимального потребления тока.

Одной из областей современных исследований является использование методов нейроморфной инженерии для реализации схем, которые реагируют на оптический поток и, следовательно, могут быть подходящими для использования в оптическом датчике потока. ^[19] Такие схемы могут черпать вдохновение из биологических нейронных схем, которые аналогичным образом реагируют на оптический поток.

Датчики оптического потока широко используются в компьютерных оптических мышах в качестве основного сенсорного компонента для измерения движения мыши по поверхности.

Датчики оптического потока также используются в робототехнических приложениях, в первую очередь там, где необходимо измерять визуальное или относительное движение между роботом и другими объектами в непосредственной близости от робота. Использование оптических датчиков потока в беспилотных летательных аппаратах (БПЛА) для обеспечения устойчивости и избегания препятствий также является областью текущих исследований. ^[20]

См. Также [ править ]

Окружающая оптическая матрица
Оптическая мышь
Дальность изображения
Блок обработки зрения

Ссылки [ править ]

^ Бертон, Эндрю; Рэдфорд, Джон (1978). Мышление в перспективе: критические эссе в изучении мыслительных процессов . Рутледж. ISBN 978-0-416-85840-2.
^ Уоррен, Дэвид Х .; Стрелов, Эдвард Р. (1985). Электронное пространственное зондирование для слепых: вклад восприятия . Springer. ISBN 978-90-247-2689-9.
^ Хорн, Бертольд КП; Шунк, Брайан Г. (август 1981 г.). «Определение оптического потока» (PDF) . Искусственный интеллект . 17 (1–3): 185–203. DOI : 10.1016 / 0004-3702 (81) 90024-2 . ЛВП : 1721,1 / 6337 .
^ Гибсон, JJ (1950). Восприятие визуального мира . Хоутон Миффлин.
^ Ройден, CS; Мур, К.Д. (2012). «Использование сигналов скорости при обнаружении движущихся объектов движущимися наблюдателями». Исследование зрения . 59 : 17–24. DOI : 10.1016 / j.visres.2012.02.006 . PMID 22406544 . S2CID 52847487 .
^ а б Айрес, Келсон RT; Сантана, Андре М .; Медейрос, Аделардо А.Д. (2008). Оптический поток с использованием информации о цвете (PDF) . ACM Нью-Йорк, Нью-Йорк, США. ISBN 978-1-59593-753-7.
^ a b c Beauchemin, SS; Бэррон, JL (1995). Расчет оптического потока . ACM Нью-Йорк, США.
^ Флит, Дэвид Дж .; Вайс, Яир (2006). «Оценка оптического потока» (PDF) . В Парагиосе, Никос; Чен, Юньмэй; Faugeras, Olivier D. (ред.). Справочник по математическим моделям компьютерного зрения . Springer. С. 237–257. ISBN 978-0-387-26371-7.
^ Бэррон, Джон Л .; Флит, Дэвид Дж. И Бошемин, Стивен (1994). «Производительность методов оптического потока» (PDF) . Международный журнал компьютерного зрения . 12 : 43–77. CiteSeerX 10.1.1.173.481 . DOI : 10.1007 / bf01420984 . S2CID 1290100 .
^ a b Zhang, G .; Шансон, Х. (2018). «Применение методов локального оптического потока к высокоскоростным потокам со свободной поверхностью: проверка и применение к ступенчатым желобам» (PDF) . Экспериментальная терминология и гидродинамика . 90 : 186–199. DOI : 10.1016 / j.expthermflusci.2017.09.010 .
^ Глин В. Хамфрис и Вики Брюс (1989). Визуальное познание . Психология Press. ISBN 978-0-86377-124-8.
^ Б. Глокер; Н. Комодакис; Г. Циритас; Н. Наваб; Н. Парагиос (2008). Регистрация плотных изображений с помощью MRF и эффективного линейного программирования (PDF) . Журнал анализа медицинских изображений.
^ Бейкер, Саймон; Шарштейн, Даниэль; Льюис, JP; Рот, Стефан; Черный, Майкл Дж .; Szeliski, Ричард (март 2011). «База данных и методология оценки оптического потока». Международный журнал компьютерного зрения . 92 (1): 1–31. DOI : 10.1007 / s11263-010-0390-2 . ISSN 0920-5691 . S2CID 316800 .
^ Бейкер, Саймон; Шарштейн, Даниэль; Льюис, JP; Рот, Стефан; Черный, Майкл Дж .; Szeliski, Ричард. «Оптический поток» . vision.middlebury.edu . Проверено 18 октября 2019 .
^ Барроуз, GL; Chahl, JS; Сринивасан, М.В. (2003). «Биологически вдохновленное визуальное восприятие и управление полетом» . Авиационный журнал . 107 (1069): 159–268. DOI : 10,1017 / S0001924000011891 (неактивный 2021-01-14) - через Cambridge University Press.CS1 maint: DOI inactive as of January 2021 (link)
^ Браун, Кристофер М. (1987). Достижения в области компьютерного зрения . Лоуренс Эрлбаум Ассошиэйтс. ISBN 978-0-89859-648-9.
^ Мойни, Алиреза (2000). Чипы Vision . Бостон, Массачусетс: Springer США. ISBN 9781461552673. OCLC 851803922 .
^ Мид, Карвер (1989). Аналоговые СБИС и нейронные системы . Ридинг, Массачусетс: Эддисон-Уэсли. ISBN 0201059924. OCLC 17954003 .
^ Стокер, Алан А. (2006). Аналоговые схемы СБИС для восприятия визуального движения . Чичестер, Англия: John Wiley & Sons. ISBN 0470034882. OCLC 71521689 .
^ Флореано, Дарио; Зуффери, Жан-Кристоф; Srinivasan, Mandyam V .; Эллингтон, Чарли, ред. (2009). Летающие насекомые и роботы . Гейдельберг: Springer. ISBN 9783540893936. OCLC 495477442 .

Внешние ссылки [ править ]

Викискладе есть медиафайлы по теме оптического потока .

Поиск оптического потока
Статья Art of Optical Flow на fxguide.com (с использованием оптического потока в Visual Effects)
Оценка оптического потока и наземные последовательности.
Оценка оптического потока Миддлбери и последовательности достоверных данных.
mrf-registration.net - Оценка оптического потока через MRF
Французская аэрокосмическая лаборатория: реализация оптического потока на основе графического процессора Лукаса-Канаде
Реализация CUDA с помощью CUVI (CUDA Vision & Imaging Library)
Horn and Schunck Optical Flow: онлайн-демонстрация и исходный код метода Horn and Schunck
TV-L1 Optical Flow: онлайн-демонстрация и исходный код Zach et al. метод
Надежный оптический поток: онлайн-демонстрация и исходный код Brox et al. метод

[1] Бертон, Эндрю; Рэдфорд, Джон (1978). Мышление в перспективе: критические эссе в изучении мыслительных процессов . Рутледж. ISBN 978-0-416-85840-2.

[2] Уоррен, Дэвид Х .; Стрелов, Эдвард Р. (1985). Электронное пространственное зондирование для слепых: вклад восприятия . Springer. ISBN 978-90-247-2689-9.

[3] Хорн, Бертольд КП; Шунк, Брайан Г. (август 1981 г.). «Определение оптического потока» (PDF) . Искусственный интеллект . 17 (1–3): 185–203. DOI : 10.1016 / 0004-3702 (81) 90024-2 . ЛВП : 1721,1 / 6337 .

[4] Гибсон, JJ (1950). Восприятие визуального мира . Хоутон Миффлин.

[5] Ройден, CS; Мур, К.Д. (2012). «Использование сигналов скорости при обнаружении движущихся объектов движущимися наблюдателями». Исследование зрения . 59 : 17–24. DOI : 10.1016 / j.visres.2012.02.006 . PMID 22406544 . S2CID 52847487 .

[Kelson_R._T._Aires,_Andre_M._Santana,_Adelardo_A._D._Medeiros_2008-6] а б Айрес, Келсон RT; Сантана, Андре М .; Медейрос, Аделардо А.Д. (2008). Оптический поток с использованием информации о цвете (PDF) . ACM Нью-Йорк, Нью-Йорк, США. ISBN 978-1-59593-753-7.

[S._S._Beauchemin_,_J._L._Barron_1995-7] Beauchemin, SS; Бэррон, JL (1995). Расчет оптического потока . ACM Нью-Йорк, США.

[8] Флит, Дэвид Дж .; Вайс, Яир (2006). «Оценка оптического потока» (PDF) . В Парагиосе, Никос; Чен, Юньмэй; Faugeras, Olivier D. (ред.). Справочник по математическим моделям компьютерного зрения . Springer. С. 237–257. ISBN 978-0-387-26371-7.

[9] Бэррон, Джон Л .; Флит, Дэвид Дж. И Бошемин, Стивен (1994). «Производительность методов оптического потока» (PDF) . Международный журнал компьютерного зрения . 12 : 43–77. CiteSeerX 10.1.1.173.481 . DOI : 10.1007 / bf01420984 . S2CID 1290100 .

[Zhang2018-10] Zhang, G .; Шансон, Х. (2018). «Применение методов локального оптического потока к высокоскоростным потокам со свободной поверхностью: проверка и применение к ступенчатым желобам» (PDF) . Экспериментальная терминология и гидродинамика . 90 : 186–199. DOI : 10.1016 / j.expthermflusci.2017.09.010 .

[11] Глин В. Хамфрис и Вики Брюс (1989). Визуальное познание . Психология Press. ISBN 978-0-86377-124-8.

[12] Б. Глокер; Н. Комодакис; Г. Циритас; Н. Наваб; Н. Парагиос (2008). Регистрация плотных изображений с помощью MRF и эффективного линейного программирования (PDF) . Журнал анализа медицинских изображений.

[13] Бейкер, Саймон; Шарштейн, Даниэль; Льюис, JP; Рот, Стефан; Черный, Майкл Дж .; Szeliski, Ричард (март 2011). «База данных и методология оценки оптического потока». Международный журнал компьютерного зрения . 92 (1): 1–31. DOI : 10.1007 / s11263-010-0390-2 . ISSN 0920-5691 . S2CID 316800 .

[14] Бейкер, Саймон; Шарштейн, Даниэль; Льюис, JP; Рот, Стефан; Черный, Майкл Дж .; Szeliski, Ричард. «Оптический поток» . vision.middlebury.edu . Проверено 18 октября 2019 .

[15] Барроуз, GL; Chahl, JS; Сринивасан, М.В. (2003). «Биологически вдохновленное визуальное восприятие и управление полетом» . Авиационный журнал . 107 (1069): 159–268. DOI : 10,1017 / S0001924000011891 (неактивный 2021-01-14) - через Cambridge University Press.CS1 maint: DOI inactive as of January 2021 (link)

[16] Браун, Кристофер М. (1987). Достижения в области компьютерного зрения . Лоуренс Эрлбаум Ассошиэйтс. ISBN 978-0-89859-648-9.

[17] Мойни, Алиреза (2000). Чипы Vision . Бостон, Массачусетс: Springer США. ISBN 9781461552673. OCLC 851803922 .

[18] Мид, Карвер (1989). Аналоговые СБИС и нейронные системы . Ридинг, Массачусетс: Эддисон-Уэсли. ISBN 0201059924. OCLC 17954003 .

[19] Стокер, Алан А. (2006). Аналоговые схемы СБИС для восприятия визуального движения . Чичестер, Англия: John Wiley & Sons. ISBN 0470034882. OCLC 71521689 .

[20] Флореано, Дарио; Зуффери, Жан-Кристоф; Srinivasan, Mandyam V .; Эллингтон, Чарли, ред. (2009). Летающие насекомые и роботы . Гейдельберг: Springer. ISBN 9783540893936. OCLC 495477442 .

[1]