Ректифікація зображення

Якщо зображення, які необхідно вирівняти відзняті з камер без геометричної дисторсії, це обчислення легко виконати за допомогою лінійного відображення. Обертання довкола X і Y повертає зображення до однієї спільної площини, масштабування дозволяє отримати кадри зображення одного розміру, а обертання довкола осі Z і коригування скосу дозволяє повністю вирівняти рядки пікселів зображення. Потрібно знати точну орієнтацію камер відносно одна одної і коефіцієнти калібрування, які використовуються при трансформування.[2]

Для виконання перетворення, камери самі по собі калібруються для отримання власних параметрів, де основна матриця містить співвідношення між камерами. В більш загальному вигляді (без калібрування камер) вони представлені у вигляді фундаментальної матриці. Якщо фундаментальна матриця не відома, необхідно знайти попередні точки відповідності між стереозображеннями для її знаходження.[2]

Є три основні категорії алгоритмів вирівнювання зображень: планарне вирівнювання,[3] циліндричне вирівнювання[1] і полярне вирівнювання.[4][5][6]

Ректифіковане зображення повинно задовольняти двом наступним властивостям:[7]

• Всі епіполярні лінії паралельні до горизонтальної осі.
• Відповідні точки мають однакові вертикальні координати.

Для того, щоб перетворити вихідну пару зображень на ректифіковану пару зображень, необхідно знайти проективне перетворення H. На H накладаються умови аби задовольняти вищезгадані властивості. Наприклад, умова що епіполярні лінії мають бути паралельними до горизонтальної осі, означає що епіполюси мають відображатися на нескінченно віддалену точку [1,0,0]^T в однорідних координатах. Навіть ці умови, H ще мають чотири степені свободи.[8] Також треба знайти відповідне перетворення H' для ректифікації другого зображення в парі зображень. Невдалий вибір H і H' може призвести до того що ректифіковані зображення мають значні зміни масштабу або серйозно спотворені.

Існує багато різних стратегій вибору проективного перетворенняH для кожного зображення із множини можливих рішень. Одним із прогресивним методом є мінімізація диспарності (невідповідності) або знайдення найменшої квадратичної різниці відповідних точок в горизонтальній осі ректифікованої пари зображень.[8] Інший метод полягає в розділенні H на спеціалізоване проективне перетворення, перетворення подібності і перетворення зсуву (нахилу) для зменшення дисторсії зображення.[7] Одним із простих методів є поворот обох зображень, так що вони виглядають перпендикулярними до лінії, що сполучає їхні загальні оптичні центри, поворот оптичних осей так що горизонтальна вісь кожного малюнку вказує у напрямку оптичного центру іншого зображення, і в кінці масштабується менше зображення так, щоб воно відповідало лінія до лінії іншому зображенню.[9] Цей процес описаний в наступному прикладі.

Модель, яка використана для прикладу ректифікації зображення. (автор зображення Silvio Savarese)

3D представлення сцени прикладу. Оптичний центр першої камери і площина зображення показана зеленим колом і квадратом. Друга камера має відповідне червоне представлення.

Набір 2D зображень із прикладу. Початкові зображення відзняті з різною перспективою (рядок 1). Використовуючи послідовні перетворення із прикладу (рядок 2 і 3), ми можемо перетворити обидва зображення таким чином, що відповідні точки матимуть вирівняні горизонтальні рядки (рядок 4).

Моделлю для даного прикладу є пара зображень, на яких спостерігається тривимірна точка P, яка відповідає точкам p і p' в координатах пікселів кожного зображення. O і O' є оптичними центрами кожної камери, із відомими матрицями камери ${\displaystyle M=K[I~0]}$ і ${\displaystyle M'=K'[R~T]}$ (ми припускаємо що координати реального світу беруться з першої камери). Коротко опишемо і ілюструємо результати простого підходу для вибору проективних перетворень H і H' , які дозволяють ректифікувати пару зображень із прикладу.

Спершу, розрахуємо епіполюси, e і e' кожного зображення:

${\displaystyle e=M{\begin{bmatrix}O'\\1\end{bmatrix}}=M{\begin{bmatrix}-R^{T}T\\1\end{bmatrix}}=K[I~0]{\begin{bmatrix}-R^{T}T\\1\end{bmatrix}}=-KR^{T}T}$

${\displaystyle e'=M'{\begin{bmatrix}O\\1\end{bmatrix}}=M'{\begin{bmatrix}0\\1\end{bmatrix}}=K'[R~T]{\begin{bmatrix}0\\1\end{bmatrix}}=K'T}$

По друге, знайдемо проективне перетворення H₁ яке повертає перше зображення так, що воно буде перпендикулярним до лінії яка сполучає O і O' (рядок 2, стовпець 1 в ілюстрованому наборі 2D зображень). Цей поворот можна обчислити за допомогою векторного добутку між початковою і бажаною оптичною віссю.[9] Потім, ми знаходимо проективне перетворенняH₂ яке отримує на вхід повернуте зображення і перекручує його так, що горизонтальна вісь збігається з базовою лінією. Якщо все обраховано вірно, друге перетворення повинно відобразити e на нескінченність на осі x (рядок 3, стовпець 1 в ілюстрованому наборі 2D зображень). І врешті решт, визначимо ${\displaystyle H=H_{2}H_{1}}$ як проективне перетворення для ректифікації першого зображення.

По третє, за допомогою еквівалентних операцій, ми можемо знайти H' для ректифікації другого зображення (стовпець 2 в ілюстрованому наборі 2D зображень). Відмітимо, що перетворення H'₁ повинно повернути друге зображення, так що оптична вісь має бути паралельною із трансформованою оптичною віссю першого зображення. Однією стратегією є підібрати площину паралельну лінії, в якій дві початкові оптичні осі перетинаються для зменшення дисторсії від процесу проектування.[10] В прикладі, ми просто визначаємо H' використовуючи матрицю повороту R і початкове проективне перетворення H як ${\displaystyle H'=HR^{T}}$.

В кінці, ми масштабуємо обидва зображення до приблизно однієї роздільної здатності і суміщаємо горизонтальні епіполюси для більш простого горизонтального пошуку відповідностей (рядок 4 в ілюстрованому наборі 2D зображень).

Варто відмітити, що виконати цей і подібні алгоритми можливо не маючи відомих матриць параметрів камери M і M' . Все що тоді потрібно це набір з семи чи більше зображень для обрахунку фундаментальних матриць і епіполюсів із відповідностей зображень.[8]