Существенная матрица

Эта статья может быть слишком технической, чтобы ее могло понять большинство читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технические детали. ( Сентябрь 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В компьютерном зрении , то важно матрица представляет собой матрицу , которая имеет отношение соответствующих точек в стереоизображений при условии , что камеры удовлетворяют пинхол модели камеры .${\ displaystyle 3 \ times 3}$ ${\ displaystyle \ mathbf {E}}$

Функция [ править ]

Более конкретно, если и являются однородными нормализованными координатами изображения в изображениях 1 и 2, соответственно, то${\ displaystyle \ mathbf {y}}$${\ displaystyle \ mathbf {y} '}$

${\ Displaystyle (\ mathbf {y} ') ^ {\ top} \, \ mathbf {E} \, \ mathbf {y} = 0}$

если и соответствуют одной и той же трехмерной точке сцены.${\ displaystyle \ mathbf {y}}$${\ displaystyle \ mathbf {y} '}$

Вышеупомянутое соотношение, которое определяет основную матрицу, было опубликовано в 1981 г. Х. Кристофером Лонге-Хиггинсом , знакомя с этой концепцией сообщество компьютерного зрения. В книге Ричарда Хартли и Эндрю Зиссермана сообщается, что аналогичная матрица появилась в фотограмметрии задолго до этого. В статье Лонге-Хиггинса содержится алгоритм оценки на основе набора соответствующих нормализованных координат изображения, а также алгоритм определения относительного положения и ориентации двух камер с учетом того, что известно. Наконец, он показывает, как можно определить трехмерные координаты точек изображения с помощью основной матрицы.${\ displaystyle \ mathbf {E}}$${\ displaystyle \ mathbf {E}}$

Используйте [ редактировать ]

Существенную матрицу можно рассматривать как предшественницу фундаментальной матрицы . Обе матрицы могут использоваться для установления ограничений между совпадающими точками изображения, но основная матрица может использоваться только в отношении откалиброванных камер, поскольку для достижения нормализации должны быть известны параметры внутренней камеры. Однако, если камеры откалиброваны, основная матрица может быть полезна для определения как относительного положения и ориентации между камерами, так и трехмерного положения соответствующих точек изображения.

Вывод и определение [ править ]

Этот вывод следует из статьи Лонге-Хиггинса.

Две нормализованные камеры проецируют трехмерный мир на свои соответствующие плоскости изображения. Пусть 3D координаты точки P быть и по отношению к каждой камере системы координат. Поскольку камеры нормализованы, соответствующие координаты изображения равны${\ displaystyle (x_ {1}, x_ {2}, x_ {3})}$${\ displaystyle (x '_ {1}, x' _ {2}, x '_ {3})}$

${\ displaystyle {\ begin {pmatrix} y_ {1} \\ y_ {2} \ end {pmatrix}} = {\ frac {1} {x_ {3}}} {\ begin {pmatrix} x_ {1} \ \ x_ {2} \ end {pmatrix}}}$   и   ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\end{pmatrix}}}$

Однородное представление двух координат изображения тогда дается формулой

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}$   и   ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\\1\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}}$

что также может быть записано более компактно как

${\displaystyle \mathbf {y} ={\frac {1}{x_{3}}}\,{\tilde {\mathbf {x} }}}$   и   ${\displaystyle \mathbf {y} '={\frac {1}{x'_{3}}}\,{\tilde {\mathbf {x} }}'}$

где и - однородные представления координат 2D-изображения, а и - правильные 3D-координаты, но в двух разных системах координат.${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} '}$${\displaystyle {\tilde {\mathbf {x} }}}$${\displaystyle {\tilde {\mathbf {x} }}'}$

Еще одним следствием нормализованных камер является то, что их соответствующие системы координат связаны посредством перемещения и вращения. Это означает, что два набора трехмерных координат связаны следующим образом:

${\displaystyle {\tilde {\mathbf {x} }}'=\mathbf {R} \,({\tilde {\mathbf {x} }}-\mathbf {t} )}$

где - матрица вращения, а - трехмерный вектор переноса.${\displaystyle \mathbf {R} }$${\displaystyle 3\times 3}$${\displaystyle \mathbf {t} }$

Затем основная матрица определяется как:

${\displaystyle \mathbf {E} =\mathbf {R} \,[\mathbf {t} ]_{\times }}$

где - матричное представление векторного произведения с .${\displaystyle [\mathbf {t} ]_{\times }}$${\displaystyle \mathbf {t} }$

Чтобы увидеть, что это определение основной матрицы описывает ограничение на соответствующие координаты изображения, умноженные слева и справа на трехмерные координаты точки P в двух разных системах координат:${\displaystyle \mathbf {E} }$

${\displaystyle ({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,({\tilde {\mathbf {x} }}-\mathbf {t} )^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,({\tilde {\mathbf {x} }}-\mathbf {t} )^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0}$

1. Вставьте приведенные выше отношения между и и определением в терминах и .${\displaystyle {\tilde {\mathbf {x} }}'}$${\displaystyle {\tilde {\mathbf {x} }}}$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$
2. ${\displaystyle \mathbf {R} ^{T}\,\mathbf {R} =\mathbf {I} }$поскольку это матрица вращения.${\displaystyle \mathbf {R} }$
3. Свойства матричного представления векторного произведения .

Наконец, можно предположить, что оба и > 0, иначе они не будут видны в обеих камерах. Это дает${\displaystyle x_{3}}$${\displaystyle x'_{3}}$

${\displaystyle 0=({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tilde {\mathbf {x} }}=(\mathbf {y} ')^{T}\,\mathbf {E} \,\mathbf {y} }$

что является ограничением, которое существенная матрица определяет между соответствующими точками изображения.

Свойства [ править ]

Не всякая произвольная матрица может быть незаменимой матрицей для некоторых стереокамер. Чтобы увидеть это уведомление , что она определяются как матричное произведение одной матрицы поворота и один кососимметрической матрицы , как . Кососимметричная матрица должна иметь два одинаковых сингулярных значения и еще одно нулевое значение. Умножение матрицы вращения не изменяет сингулярные значения, что означает, что также существенная матрица имеет два одинаковых сингулярных значения и одно нулевое. Описанные здесь свойства иногда называют внутренними ограничениями существенной матрицы.${\displaystyle 3\times 3}$${\displaystyle 3\times 3}$

Если существенная матрица умножается на ненулевой скаляр, результатом снова будет существенная матрица, которая определяет точно такое же ограничение, как и это. Это означает, что их можно рассматривать как элемент проективного пространства , то есть две такие матрицы считаются эквивалентными, если одна является ненулевым скалярным умножением другой. Это релевантное положение, например, если оно оценивается по данным изображения. Однако также можно занять позицию, которая определяется как${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R} }$

где , а затем имеет четко определенное «масштабирование». Какая позиция наиболее актуальна, зависит от приложения.${\displaystyle \mathbf {\widetilde {t}} =-\mathbf {R} \mathbf {t} }$${\displaystyle \mathbf {E} }$

Ограничения также могут быть выражены как

${\displaystyle \det \mathbf {E} =0}$

и

${\displaystyle 2\mathbf {E} \mathbf {E} ^{T}\mathbf {E} -\operatorname {tr} (\mathbf {E} \mathbf {E} ^{T})\mathbf {E} =0.}$

Здесь последнее уравнение представляет собой матричное ограничение, которое можно рассматривать как 9 ограничений, по одному для каждого элемента матрицы. Эти ограничения часто используются для определения существенной матрицы из пяти соответствующих пар точек.

Существенная матрица имеет пять или шесть степеней свободы, в зависимости от того, рассматривается ли она как проективный элемент. Матрица вращения и вектор переноса имеют по три степени свободы, всего шесть. Однако, если существенная матрица рассматривается как проективный элемент, необходимо вычесть одну степень свободы, относящуюся к скалярному умножению, оставляя в сумме пять степеней свободы.${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$

Оценка [ править ]

Учитывая набор соответствующих точек изображения, можно оценить существенную матрицу, которая удовлетворяет определяющему эпиполярному ограничению для всех точек в наборе. Однако, если точки изображения подвержены шуму, что является обычным случаем в любой практической ситуации, невозможно найти существенную матрицу, которая точно удовлетворяет всем ограничениям.

В зависимости от того, как измеряется ошибка, связанная с каждым ограничением, можно определить или оценить существенную матрицу, которая оптимально удовлетворяет ограничениям для данного набора соответствующих точек изображения. Самый простой подход - создать задачу наименьших квадратов , широко известную как алгоритм из восьми точек .

Извлечение вращения и перемещения [ править ]

Учитывая, что основная матрица была определена для пары стереокамер - например, с использованием описанного выше метода оценки - эту информацию можно использовать также для определения вращения и перемещения (вплоть до масштабирования) между системами координат двух камер. В этих выводах рассматривается как проективный элемент, а не как четко определенный масштаб.${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$

Поиск одного решения [ править ]

Следующий метод определения и основан на выполнение SVD в см книги Hartley & Зиссермана в. Также возможно определение и без SVD, например, следуя статье Лонге-Хиггинса.${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$

СВД дает${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}}$

где и - ортогональные матрицы, а - диагональная матрица с${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} }$${\displaystyle 3\times 3}$${\displaystyle \mathbf {\Sigma } }$${\displaystyle 3\times 3}$

${\displaystyle \mathbf {\Sigma } ={\begin{pmatrix}s&0&0\\0&s&0\\0&0&0\end{pmatrix}}}$

Диагональные элементы матрицы представляют собой сингулярные значения, которые в соответствии с внутренними ограничениями существенной матрицы должны состоять из двух одинаковых и одного нулевого значения. Определять${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {W} ={\begin{pmatrix}0&-1&0\\1&0&0\\0&0&1\end{pmatrix}}}$   с   ${\displaystyle \mathbf {W} ^{-1}=\mathbf {W} ^{T}={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&1\end{pmatrix}}}$

и сделаем следующий анзац

${\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}}$

${\displaystyle \mathbf {R} =\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}}$

Поскольку при работе с данными реального мира (например, изображениями с камеры) могут не полностью соответствовать ограничениям, альтернативный вариант${\displaystyle \mathbf {\Sigma } }$

${\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {Z} \,\mathbf {U} ^{T}}$   с   ${\displaystyle \mathbf {Z} ={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&0\end{pmatrix}}}$

может помочь.

Доказательство [ править ]

Во-первых, эти выражения для и удовлетворяют определяющему уравнению для существенной матрицы${\displaystyle \mathbf {R} }$${\displaystyle [\mathbf {t} ]_{\times }}$

${\displaystyle [\mathbf {t} ]_{\times }\,\mathbf {R} =\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}\,=\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}=\mathbf {E} }$

Во-вторых, необходимо показать, что для некоторых это матричное представление перекрестного произведения . С${\displaystyle [\mathbf {t} ]_{\times }}$${\displaystyle \mathbf {t} }$

${\displaystyle \mathbf {W} \,\mathbf {\Sigma } ={\begin{pmatrix}0&-s&0\\s&0&0\\0&0&0\end{pmatrix}}}$

это случай, который является кососимметричным, т . е .. То же самое и с нашим , так как${\displaystyle \mathbf {W} \,\mathbf {\Sigma } }$${\displaystyle (\mathbf {W} \,\mathbf {\Sigma } )^{T}=-\mathbf {W} \,\mathbf {\Sigma } }$${\displaystyle [\mathbf {t} ]_{\times }}$

${\displaystyle ([\mathbf {t} ]_{\times })^{T}=\mathbf {U} \,(\mathbf {W} \,\mathbf {\Sigma } )^{T}\,\mathbf {U} ^{T}=-\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}=-[\mathbf {t} ]_{\times }}$

Из общих свойств матричного представления перекрестного произведения следует, что это должен быть оператор перекрестного произведения ровно одного вектора .${\displaystyle [\mathbf {t} ]_{\times }}$${\displaystyle \mathbf {t} }$

В-третьих, также необходимо показать, что приведенное выше выражение для является матрицей вращения. Это произведение трех матриц, которые все ортогональны, что означает, что они тоже ортогональны или . Чтобы быть правильной матрицей вращения, она также должна удовлетворять . Поскольку в данном случае он рассматривается как проективный элемент, это может быть достигнуто путем изменения знака, если необходимо.${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {R} }$${\displaystyle \det(\mathbf {R} )=\pm 1}$${\displaystyle \det(\mathbf {R} )=1}$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$

Поиск всех решений [ править ]

До сих пор один из возможных решений для и было установлено дано . Однако это не единственно возможное решение, и оно может быть даже неприемлемым с практической точки зрения. Начнем с того, что, поскольку масштабирование не определено, масштабирование также не определено. Он должен находиться в нулевом пространстве в так${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} \,\mathbf {t} =\mathbf {R} \,[\mathbf {t} ]_{\times }\,\mathbf {t} =\mathbf {0} }$

Однако для последующего анализа решений не так важно точное масштабирование, как его «знак», т. Е. В каком направлении он указывает. Позвольте быть нормализованным вектором в нулевом пространстве . В таком случае оба и являются действительными векторами трансляции относительно . Также можно изменить на в производных от и выше. Для вектора трансляции это вызывает только смену знака, что уже было описано как возможность. С другой стороны, для вращения это приведет к другому преобразованию, по крайней мере, в общем случае.${\displaystyle \mathbf {t} }$${\displaystyle {\hat {\mathbf {t} }}}$${\displaystyle \mathbf {E} }$${\displaystyle {\hat {\mathbf {t} }}}$${\displaystyle -{\hat {\mathbf {t} }}}$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {W} ^{-1}}$${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$

Подводя итог, можно сказать, что существуют два противоположных направления, которые возможны, и два разных вращения, совместимых с этой существенной матрицей. Всего это дает четыре класса решений для вращения и перемещения между двумя системами координат камеры. Кроме того, существует неизвестное масштабирование для выбранного направления трансляции.${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {t} }$${\displaystyle s>0}$

Однако оказывается, что на практике может быть реализован только один из четырех классов решений. По паре соответствующие координаты изображения, три из решений всегда будут производить 3D точку , которая лежит позади , по крайней мере одной из двух камер , и , следовательно , не может быть видна. Только один из четырех классов будет последовательно создавать 3D-точки, которые находятся перед обеими камерами. Тогда это должно быть правильное решение. Тем не менее, он имеет неопределенное положительное масштабирование, связанное с компонентом трансляции.

Вышеупомянутое определение и предполагает, что удовлетворяют внутренним ограничениям существенной матрицы . Если это не тот случай, который, например, обычно имеет место, если оценка производилась на основе реальных (и зашумленных) данных изображения, следует предположить, что это приблизительно удовлетворяет внутренним ограничениям. Затем вектор выбирается как правый сингулярный вектор, соответствующий наименьшему сингулярному значению.${\displaystyle \mathbf {R} }$${\displaystyle \mathbf {t} }$${\displaystyle \mathbf {E} }$${\displaystyle \mathbf {E} }$${\displaystyle {\hat {\mathbf {t} }}}$${\displaystyle \mathbf {E} }$

3D-точки из соответствующих точек изображения [ править ]

Существует множество методов для вычисления заданных соответствующих нормализованных координат изображения и , если известна основная матрица и определены соответствующие преобразования поворота и сдвига.${\displaystyle (x_{1},x_{2},x_{3})}$${\displaystyle (y_{1},y_{2})}$${\displaystyle (y'_{1},y'_{2})}$

См. Также [ править ]

• Регулировка связки
• Эпиполярная геометрия
• Фундаментальная матрица
• Геометрическая калибровка камеры
• Триангуляция (компьютерное зрение)
• Трифокальный тензор

Ящики для инструментов [ править ]

• Оценка существенной матрицы в MATLAB (Манолис Луракис).

Внешние ссылки [ править ]

• Исследование существенной матрицы Р. И. Хартли

Ссылки [ править ]