Істотна матриця

Більш конкретно, якщо ${\displaystyle \mathbf {y} }$ і ${\displaystyle \mathbf {y} '}$ є однорідними нормалізованими координатами зображення на зображеннях 1 та 2 відповідно, тоді

${\displaystyle (\mathbf {y} ')^{\top }\,\mathbf {E} \,\mathbf {y} =0}$

якщо ${\displaystyle \mathbf {y} }$ і ${\displaystyle \mathbf {y} '}$ відповідають одній і тій же 3D точці на сцені.

Вищезазначене співвідношення, яке визначає істотну матрицю, було опубліковане у 1981 р. Х. Крістофером Лонге-Хіггінсом. У книзіі Лонгє-Хіггінса наводиться алгоритм оцінки ${\displaystyle \mathbf {E} }$ з набору відповідних нормалізованих координат зображення, а також алгоритм визначення відносного положення та орієнтації двох камер за відомою ${\displaystyle \mathbf {E} }$. Нарешті, показано, як за допомогою істотної матриці можна визначити 3D-координати точок зображення.

Істотну матрицю можна розглядати як попередник фундаментальної матриці . Обидві матриці можна використовувати для встановлення звʼязку між відповідними точками зображень, але істотну матрицю можна використовувати лише щодо каліброваних камер, оскільки внутрішні параметри камери повинні бути відомі для досягнення нормалізації. Однак, якщо камери відкалібровані, істотна матриця може бути корисною для визначення як відносного положення, так і орієнтації між камерами та положення 3D відповідних точок зображення.

Виведення згідно роботі Лонгет-Гіггінса.

Дві нормалізовані камери проектують 3D-світ на свої відповідні площини зображення. Позначимо 3D координати точки Р у системах координат кожної камери як ${\displaystyle (x_{1},x_{2},x_{3})}$ і ${\displaystyle (x'_{1},x'_{2},x'_{3})}$ . Оскільки камери нормалізовані, відповідні координати зображення

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$ і ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\end{pmatrix}}}$

Тоді однорідні координати можна записати як

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}$ і ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\\1\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}}$

або більш компактно

${\displaystyle \mathbf {y} ={\frac {1}{x_{3}}}\,{\tilde {\mathbf {x} }}}$ і ${\displaystyle \mathbf {y} '={\frac {1}{x'_{3}}}\,{\tilde {\mathbf {x} }}'}$

де ${\displaystyle \mathbf {y} }$ і ${\displaystyle \mathbf {y} '}$ є однорідними 2D координатами зображення, а ${\displaystyle {\tilde {\mathbf {x} }}}$ і ${\displaystyle {\tilde {\mathbf {x} }}'}$ тривимірні координати в двох різних системах координат.

Ще однією властивістю нормалізованих камер є те, що їх відповідні системи координат пов'язані за допомогою зсуву та обертання. Це означає, що два набори тривимірних координат пов'язані як

${\displaystyle {\tilde {\mathbf {x} }}'=\mathbf {R} \,({\tilde {\mathbf {x} }}-\mathbf {t} )}$

де ${\displaystyle \mathbf {R} }$ є ${\displaystyle 3\times 3}$ матрицею повороту і ${\displaystyle \mathbf {t} }$ є тривимірним вектором зсуву.

Тоді істотна матриця визначається як:

${\displaystyle \mathbf {E} =\mathbf {R} \,[\mathbf {t} ]_{\times }}$

де ${\displaystyle [\mathbf {t} ]_{\times }}$ є матричним записом векторного добутку з ${\displaystyle \mathbf {t} }$ .

Щоб продемонструвати, що це визначення істотної матриці описує звʼязок відповідних координат зображення помножимо ${\displaystyle \mathbf {E} }$ зліва та зправа на 3D-координати точки P у двох різних системах координат:

${\displaystyle ({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,({\tilde {\mathbf {x} }}-\mathbf {t} )^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,({\tilde {\mathbf {x} }}-\mathbf {t} )^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0}$

1. Використано наведене вище співвідношення між ${\displaystyle {\tilde {\mathbf {x} }}'}$ і ${\displaystyle {\tilde {\mathbf {x} }}}$ та визначення ${\displaystyle \mathbf {E} }$ через ${\displaystyle \mathbf {R} }$ і ${\displaystyle \mathbf {t} }$ .
2. ${\displaystyle \mathbf {R} ^{T}\,\mathbf {R} =\mathbf {I} }$ оскільки матриця обертання ${\displaystyle \mathbf {R} }$ є ортогональною матрицею.
3. Властивість матричного запису векторного добутку .

Нарешті, можна припустити, що обидва ${\displaystyle x_{3}}$ і ${\displaystyle x'_{3}}$ > 0, інакше їх не видно в обох камерах. Це дає

${\displaystyle 0=({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tilde {\mathbf {x} }}=(\mathbf {y} ')^{T}\,\mathbf {E} \,\mathbf {y} }$

що є звʼязком між відповідними точками зображення, який визначає істотна матриця.

Результатом множення істотної матриці ${\displaystyle \mathbf {E} }$ на ненульовий скаляр, є істотна матриця, яка визначає точно такий же звʼязок, як і ${\displaystyle \mathbf {E} }$. Це означає що ${\displaystyle \mathbf {E} }$ можна розглядати як елемент проективного простору, тобто дві такі матриці вважаються еквівалентними, якщо одна є ненульовим скалярним множенням іншої. Це є важливою властивістю, якщо ${\displaystyle \mathbf {E} }$ визначається за даними зображень. Однак можна також визначити ${\displaystyle \mathbf {E} }$ як

${\displaystyle \mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R} }$

де ${\displaystyle \mathbf {\widetilde {t}} =-\mathbf {R} \mathbf {t} }$, і тоді ${\displaystyle \mathbf {E} }$ задає чітко визначене масштабування. На практиці реалізації алгоритмів можуть використовувати обидві форми.

Звʼязок також може бути виражений як

${\displaystyle \det \mathbf {E} =0}$

і

${\displaystyle 2\mathbf {E} \mathbf {E} ^{T}\mathbf {E} -\operatorname {tr} (\mathbf {E} \mathbf {E} ^{T})\mathbf {E} =0.}$

Тут останнє рівняння є обмеженням матриці, яке можна розглядати як 9 обмежень, по одному для кожного елемента матриці. Ці обмеження часто використовуються для визначення суттєвої матриці з п'яти відповідних пар точок.

Істотна матриця має п’ять-шість ступенів вільності, залежно від того, розглядається вона як проективний елемент чи ні. Матриця обертання ${\displaystyle \mathbf {R} }$ і вектор зсуву ${\displaystyle \mathbf {t} }$ мають три ступені вільності кожен а загалом їх шість. Якщо суттєву матрицю розглядати як проективний елемент потрібно відняти один ступінь свободи, пов'язану зі скалярним множенням, залишаючи в цілому п'ять ступенів свободи.

Враховуючи набір відповідних точок зображення, можна оцінити істотну матрицю, яка задовольняє визначальному епіполярному обмеженню для всіх точок набору. Однак, якщо точки зображення зашумлені, що є типовим випадком у будь-якій практичній ситуації, неможливо знайти істотну матрицю, яка б точно задовольняла всім обмеження.

Залежно від того, як враховується похибка, пов'язана з кожним обмеженням, можна визначити або оцінити істотну матрицю, яка оптимально задовольняє всім обмеженням для даного набору відповідних точок зображення. Найпростіший підхід полягає в постановці загальної задачі найменших квадратів, широко відомої як восьмиточковий алгоритм .

Враховуючи, що істотна матриця була визначена для пари стереокамер - наприклад, за допомогою методу оцінки наведеного вище - ця матриця може бути використана для визначення повороту ${\displaystyle \mathbf {R} }$ та зсув ${\displaystyle \mathbf {t} }$ між системами координат цих двох камер. У цьому частинному випадку ${\displaystyle \mathbf {E} }$ розглядається як проективний елемент, та не визначає масштаб.

Існує багато методів обчислень ${\displaystyle (x_{1},x_{2},x_{3})}$ за відповідними нормованими координатами зображення ${\displaystyle (y_{1},y_{2})}$ і ${\displaystyle (y'_{1},y'_{2})}$, якщо істотна матриця відома і були визначені відповідні перетворення обертання та паралельного переносу камери.

• Епіполярна геометрія
• Фундаментальна матриця
• Калібрування геометричної камери
• Тріангуляція (комп'ютерний зір)
• Трифокальний тензор

• Оцінка істотної матриці в MATLAB (Маноліс Луракіс).
• В бібліотеці OpenCV визначити істотну матрицю можна за допомогою функції cv::findEssentialMat.