Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Модель активного контура , также называемая змеями , представляет собой основу компьютерного зрения, введенную Майклом Кассом , Эндрю Уиткиным и Деметри Терзопулосом [1] для выделения контура объекта из возможно зашумленного 2D- изображения . Модель змей популярна в компьютерном зрении, а змейки широко используются в таких приложениях, как отслеживание объектов, распознавание форм, сегментация , обнаружение краев и стереосопоставление.

Змея - это минимизирующий энергию, деформируемый шлиц, на который действуют ограничения и силы изображения, которые притягивают его к контурам объекта, и внутренние силы, сопротивляющиеся деформации. Змеи можно рассматривать как частный случай общей техники согласования деформируемой модели с изображением посредством минимизации энергии. [1] В двух измерениях активная модель формы представляет собой дискретную версию этого подхода, используя преимущества модели распределения точек для ограничения диапазона формы явной областью, полученной из обучающего набора.

Змеи - активные деформируемые модели

Змеи не решают всей проблемы нахождения контуров на изображениях, так как метод требует заранее знать желаемую форму контура. Скорее, они зависят от других механизмов, таких как взаимодействие с пользователем, взаимодействие с некоторым процессом понимания изображения более высокого уровня или информация из данных изображения, смежных во времени или пространстве.

Мотивация [ править ]

В компьютерном зрении контурные модели описывают границы форм на изображении. Змеи, в частности, предназначены для решения задач, в которых известна приблизительная форма границы. Будучи деформируемой моделью, змеи могут приспосабливаться к различиям и шуму при стереосогласовании и отслеживании движения. Кроме того, этот метод может найти на изображении иллюзорные контуры , игнорируя отсутствующую информацию о границах.

По сравнению с классическими методами извлечения признаков у змей есть несколько преимуществ:

  • Они автономно и адаптивно ищут состояние минимума.
  • Силы внешнего изображения действуют на змею интуитивно.
  • Включение сглаживания по Гауссу в функцию энергии изображения вводит масштабную чувствительность.
  • Их можно использовать для отслеживания динамических объектов.

Основные недостатки традиционных змей:

  • Они чувствительны к состояниям локальных минимумов, которым можно противодействовать с помощью методов моделирования отжига.
  • При минимизации энергии по всему контуру часто игнорируются мелкие особенности.
  • Их точность зависит от политики конвергенции. [2]

Формулировка энергии [ править ]

Простая упругая змея определяется набором из n точек для , члена внутренней упругой энергии и члена энергии на основе внешней кромки . Назначение члена внутренней энергии - контролировать деформации змеи, а цель члена внешней энергии - контролировать подгонку контура к изображению. Внешняя энергия обычно представляет собой комбинацию сил, возникающих из-за самого изображения, и сил ограничения, вводимых пользователем.

Энергетическая функция змеи - это сумма ее внешней энергии и внутренней энергии, или

Внутренняя энергия [ править ]

Внутренняя энергия змеи складывается из непрерывности контура и плавности контура .

[3]

Это можно расширить как

где и - определяемые пользователем веса; они управляют чувствительностью функции внутренней энергии к величине растяжения змейки и величине кривизны змейки, соответственно, и тем самым контролируют количество ограничений на форму змейки.

На практике большой вес для члена непрерывности штрафует изменения расстояний между точками контура. Большой вес для члена гладкости снижает колебания контура и заставляет контур действовать как тонкая пластина.

Энергия Изображения [ править ]

Энергия изображения - это некоторая функция характеристик изображения. Это одна из наиболее частых модификаций производных методов. Элементы изображений и самих изображений можно обрабатывать множеством различных способов.

Для изображения , линий, краев и окончаний, присутствующих на изображении, общая формулировка энергии, обусловленной изображением, имеет следующий вид:

где , , являются веса этих функций выделяющихся. Более высокие веса указывают на то, что характерный элемент будет иметь больший вклад в силу изображения.

Функциональная линия [ править ]

Линейный функционал - это интенсивность изображения, которую можно представить как

Знак будет определять, будет ли линия притягиваться темными или светлыми линиями.

На изображении может быть использовано сглаживание или шумоподавление, после чего линейный функционал выглядит как

Функционал Edge [ править ]

Функционал краев основан на градиенте изображения. Одна из реализаций этого -

Змея, исходящая далеко от желаемого контура объекта, может ошибочно сходиться к некоторому локальному минимуму. Чтобы избежать этих локальных минимумов, можно использовать продолжение пространства масштаба. Это достигается за счет использования фильтра размытия на изображении и уменьшения степени размытия по мере выполнения расчетов для уточнения соответствия змейки. Функционал энергии с использованием продолжения масштабного пространства равен

где - гауссиан со стандартным отклонением . Минимумы этой функции ложатся на нулевых пересечений из которых определяют края согласно Марр-Hildreth теории.

Функционал прекращения [ править ]

Кривизну линий уровня на слегка сглаженном изображении можно использовать для определения углов и концов изображения. Используя этот метод, пусть изображение будет сглажено

с углом наклона

единичные векторы вдоль направления градиента

и единичные векторы, перпендикулярные направлению градиента

Функционал прекращения энергии можно представить в виде

Энергия ограничения [ править ]

Некоторые системы, включая исходную реализацию змей, позволяли взаимодействовать с пользователем, чтобы направлять змей не только в исходное положение, но и с точки зрения их энергии. Такая энергия ограничения может быть использована для интерактивного направления змей к определенным объектам или от них.

Оптимизация с помощью градиентного спуска [ править ]

Учитывая начальное предположение о змеи, функция энергии змеи итеративно минимизируется. Минимизация градиентного спуска - одна из простейших оптимизаций, которые можно использовать для минимизации энергии змеи. [4] Каждая итерация делает один шаг в отрицательном градиенте точки с контролируемым размером шага, чтобы найти локальные минимумы. Эта минимизация градиентного спуска может быть реализована как

Где сила на змейке, определяемая отрицательным градиентом энергетического поля.

Предполагая, что веса и постоянны по отношению к , этот итерационный метод можно упростить до

Дискретное приближение [ править ]

На практике изображения имеют конечное разрешение и могут быть интегрированы только за конечные временные интервалы . Таким образом, для практической реализации змей должны быть сделаны дискретные приближения.

Энергетическая функция змеи может быть аппроксимирована с помощью дискретных точек на змеи.

Следовательно, силы змеи можно аппроксимировать как

Градиентная аппроксимация может быть сделана с помощью любого метода конечной аппроксимации по s , например, методом конечных разностей .

Числовая нестабильность из-за дискретного времени [ править ]

Введение дискретного времени в алгоритм может вводить обновления, которые перемещают змейку за минимумы, к которым она привлекается; это в дальнейшем может вызвать колебания вокруг минимумов или привести к обнаружению других минимумов.

Этого можно избежать, настроив временной шаг таким образом, чтобы размер шага никогда не превышал пиксель из-за сил изображения. Однако в областях с низким энергопотреблением при обновлении будут преобладать внутренние энергии.

В качестве альтернативы, силы изображения могут быть нормализованы для каждого шага, так что силы изображения обновляют змейку только на один пиксель. Это можно сформулировать как

где около значения размера пикселя. Это позволяет избежать проблемы доминирования внутренних энергий, возникающей при настройке временного шага. [5]

Числовая нестабильность из-за дискретного пространства [ править ]

Энергии в непрерывном изображении могут иметь переходы через нуль, которые не существуют в виде пикселей в изображении. В этом случае точка змейки будет колебаться между двумя пикселями, которые находятся рядом с этим переходом через нуль. Этого колебания можно избежать, используя интерполяцию между пикселями вместо ближайшего соседа. [5]

Реализация [ править ]

Следующий псевдокод реализует метод змей в общем виде

функция  v = змеи ( I, v )  % INPUT: N на M изображение I, контур v из n контрольных точек  % OUTPUT: сходящийся контур v из n контрольных точек E_image  =  generateImageEnergy  ( I ); пока  не  сходится  F_cont  =  вес . альфа  *  contourDerivative ( v ,  2 );  F_curv  =  вес . бета  *  contourDerivative ( v ,  4 );  F_image  =  interp2  ( E_image ,  v (:, 2 ),  v (:, 1 ));  F_image_norm  =  вес . k  *  F_image  ./  norm  ( F_image);  F_con  =  inputForces (); F_internal  =  F_cont  +  вес . внешний  *  F_curv ;  F_external  =  вес . внешний  *  ( F_image  +  F_con ); v  =  updateSnake ( v ,  F_internal ,  F_external ); checkConvergence  ();  конецконец

Где generateImageEnergy (I) можно записать как

функция  E_image = generateImageEnergy ( I )  [ C ,  Cx ,  Cy ,  Cxx ,  Cxy ,  Cyy ]  =  generateGradients  ( I ); E_line  =  I ;  E_edge  =  - ( Cx . ^ 2  +  Cy . ^ 2 ) ^ 0.5 ;  E_term  =  ( Cyy . * Cx . ^ 2  -  2 * Cxy . * Cx . * Cy  +  Cxx . * Cy . ^ 2 ) ./ (( 1  +  Cx . ^ 2  +  Cy . ^ 2 ) . ^ ( 1.5 ) ); E_image  =  вес . линия  *  E_line  +  вес . край  *  E_edge  +  вес . срок  *  E_term ; конец

Некоторые варианты змей [ править ]

Метод змей по умолчанию имеет различные ограничения и угловые случаи, когда сходимость работает плохо. Существует несколько альтернатив, которые решают проблемы метода по умолчанию, хотя и со своими собственными компромиссами. Некоторые из них перечислены здесь.

Модель змеи GVF [ править ]

Модель змеи с векторным градиентным потоком (GVF) [6] решает две проблемы со змеями:

  • низкая производительность сходимости для вогнутых границ
  • низкая производительность сходимости при инициализации змейки далеко от минимума

В 2D векторное поле GVF минимизирует функционал энергии

где - управляемый член сглаживания. Это можно решить, решив уравнения Эйлера

Это может быть решено путем итераций к установившемуся значению.

Этот результат заменяет внешнюю силу по умолчанию.

Основная проблема при использовании GVF заключается в том, что условие сглаживания приводит к скруглению краев контура. Уменьшение значения уменьшает округление, но ослабляет степень сглаживания.

Модель воздушного шара [ править ]

Модель воздушного шара [5] решает эти проблемы с помощью активной контурной модели по умолчанию:

  • Далекие края змейки не привлекают.
  • Змея сожмется внутрь, если на нее не действуют существенные силы изображения.
  • змейка, размер которой превышает контур минимума, в конечном итоге сжимается в нее, но змея, размер которой меньше контура минимума, не найдет минимума и вместо этого продолжит сжиматься.

Модель воздушного шара вводит инфляционный член в силы, действующие на змею.

где нормальный унитарным вектор кривой в и является величина силы. должен иметь ту же величину, что и коэффициент нормализации изображения, и быть меньшим по величине, чем позволять силам на краях изображения преодолевать силу накачивания.

При использовании модели воздушного шара возникают три проблемы:

  • Вместо того, чтобы сжиматься, змейка расширяется до минимумов и не находит контуров минимумов меньше их.
  • Внешняя сила приводит к тому, что контур немного больше фактических минимумов. Это можно решить, уменьшив силу баллона после того, как будет найдено стабильное решение.
  • Сила накачивания может пересилить силы от слабых краев, усугубляя проблему из-за того, что змеи игнорируют более слабые элементы изображения.

Модель диффузных змей [ править ]

Модель диффузной змейки [7] обращается к чувствительности змей к шуму, беспорядку и окклюзии. Он реализует модификацию функционала Мамфорда-Шаха и его мультипликационного предела, а также включает статистические данные о формах. Функционал энергии изображения по умолчанию заменен на

где основан на модифицированном функционале Мамфорда – Шаха

где - кусочно-гладкая модель образа области . Границы определяются как

где - квадратичные базисные функции B-сплайна, а - контрольные точки сплайнов. Модифицированный предел мультипликации получается как допустимая конфигурация .

Функционал основан на обучении по бинарным изображениям различных контуров и контролируется по силе параметром . Для гауссова распределения векторов контрольных точек со средним вектором контрольных точек и ковариационной матрицей квадратичная энергия, соответствующая гауссовской вероятности, равна

Сила этого метода зависит от мощности обучающих данных, а также от настройки модифицированного функционала Мамфорда – Шаха. Для разных змей потребуются разные наборы данных для обучения и настройки.

Геометрические активные контуры [ править ]

Геометрический активный контур, или геодезический активный контур (GAC) [8], или конформные активные контуры [9] используют идеи эволюции укорочения евклидовой кривой . Контуры разделяются и объединяются в зависимости от обнаружения объектов на изображении. Эти модели в значительной степени вдохновлены наборами уровней и широко используются в медицинских вычислениях изображений .

Например, уравнение эволюции кривой градиентного спуска GAC имеет вид [8]

где - функция остановки, c - множитель Лагранжа, - кривизна и - единица внутренней нормали. Эта конкретная форма уравнения эволюции кривой зависит только от скорости в нормальном направлении. Поэтому его можно эквивалентно переписать в эйлеровой форме, вставив в него функцию набора уровня следующим образом

Это простое, но мощное преобразование набора уровней позволяет активным контурам обрабатывать изменения топологии во время эволюции кривой градиентного спуска. Он вдохновил на огромный прогресс в смежных областях, и использование численных методов для решения переформулировки набора уровней теперь широко известно как метод установки уровней . Хотя метод установки уровня стал довольно популярным инструментом для реализации активных контуров, Ван и Чан утверждали, что не все уравнения эволюции кривых должны решаться с его помощью напрямую . [10]

Более поздние разработки в области активных контуров касаются моделирования региональных свойств, включения априорных значений гибкой формы и полностью автоматической сегментации и т. Д.

Статистические модели, сочетающие локальные и глобальные особенности, были сформулированы Лэнктоном и Алленом Танненбаумом . [11]

Связь с разрезами графика [ править ]

Графические разрезы или max-flow / min-cut - это общий метод минимизации особой формы энергии, называемой энергией марковского случайного поля (MRF). Метод разрезов графика также применялся к сегментации изображения, и иногда он превосходит метод установки уровня, когда модель является MRF или может быть аппроксимирована MRF.

Ссылки [ править ]

  1. ^ а б Касс, М .; Виткин, А .; Терзопулос Д. (1988). «Змеи: активные контурные модели» (PDF) . Международный журнал компьютерного зрения . 1 (4): 321. CiteSeerX  10.1.1.124.5318 . DOI : 10.1007 / BF00133570 . Архивировано из оригинального (PDF) 12 января 2016 года . Проверено 29 августа 2015 .
  2. ^ Змеи: активная модель, Рамани Пичумани, http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/RAMANI1/node31.html
  3. ^ Д-р Джордж Бебис, Университет Невады, http://www.cse.unr.edu/~bebis/CS791E/Notes/DeformableContours.pdf
  4. ^ Image Understanding , Брайан С. Морс, Университет Бригама Янга, 1998–2000 гг. Http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MORSE/iu.pdf
  5. ^ a b c Лоран Д. Коэн, Об активных контурных моделях и воздушных шарах, CVGIP: Image Understanding, Volume 53, Issue 2, March 1991, Pages 211–218, ISSN 1049-9660, doi : 10.1016 / 1049-9660 (91) 90028-Н
  6. ^ C. Xu и JL Prince, "Вектор градиента: новая внешняя сила для змей", Proc. IEEE Conf. на комп. Vis. Патт. Recog. (CVPR), Лос-Аламитос: Comp. Soc. Press, стр. 66–71, июнь 1997 г., http://iacl.ece.jhu.edu/pubs/p087c.pdf
  7. ^ Cremers, D .; Schnorr, C .; Вейкерт, Дж. (2001). Змеи диффузии: объединение статистических данных о формах и информации об изображениях в вариационной структуре . Ход работы. Семинар IEEE по теме . 50 . С. 137–144. CiteSeerX 10.1.1.28.3639 . DOI : 10.1109 / VLSM.2001.938892 . ISBN  978-0-7695-1278-5.
  8. ^ a b Геодезические активные контуры, В. Каселлес, Р. Киммел, Г. Сапиро http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.21.2196
  9. ^ Потоки конформной кривизны: от фазовых переходов к активному зрению, Сатьянад Киченассами, Арун Кумар, Питер Олвер , Аллен Танненбаум и Энтони Йеззи https://doi.org/10.1007%2FBF00379537
  10. ^ Ван, Цзюньянь; Чан, Кап Лук (2014-07-08). «Активный контур с тангенциальной составляющей». Журнал математической визуализации и зрения . 51 (2): 229–247. arXiv : 1204.6458 . DOI : 10.1007 / s10851-014-0519-у . ISSN 0924-9907 . 
  11. ^ Lankton, S .; Танненбаум, А., «Локализация активных контуров на основе регионов», Обработка изображений, IEEE Transactions on, том 17, № 11, стр. 2029, 2039, ноябрь 2008 г. doi: 10.1109 / TIP.2008.2004611 http: // ieeexplore .ieee.org / xpls / abs_all.jsp? arnumber = 4636741 & tag = 1

Внешние ссылки [ править ]

  • Дэвид Янг, март 1995 г.
  • Змеи: Active Contours, CVOnline
  • Активные контуры, деформируемые модели и векторный градиент потока от Chenyang Xu и Jerry Prince, включая загрузку кода
  • ICBE, Манчестерский университет
  • Внедрение активных контуров и графический интерфейс тестовой платформы
  • Простая реализация змей от доцента Криса Луенго
  • Документация MATLAB для активного контура, которая сегментирует изображение с использованием активных контуров

Пример кода [ править ]

  • Практические примеры различных змей, разработанные Сюй и Принцем.
  • Базовый инструмент для игры со змеями (активные контурные модели) от Тима Кутса, Манчестерский университет
  • Реализация в Matlab 2D и 3D змеи, включая GVF и баллонную силу
  • Демо Matlab Snake от Криса Бреглера и Малкольма Слэйни , Interval Research Corporation.
  • Демонстрация использования Java
  • Внедрение Active Contours и графический интерфейс тестовой платформы Николая С. и Алекса Блехман, реализующих «Активные контуры без краев»
  • Активная сегментация контуров, автор Шон Лэнктон реализует «Активные контуры без краев»
  • Геометрический код активного контура , Ярно Ралли
  • Морфологические змеи