Фазова кореляція

Наступне зображення показує використання фазової кореляції для визначення відносного зміщення паралельним перенесенням між двома зображеннями, пошкодженими незалежним гауссовим шумом. Зображення було перенесено на (30,33) пікселів. Відповідно, можливо чітко побачити пік у фазово-кореляційному поданні приблизно в (30,33).

Для заданих двох вхідних зображень ${\displaystyle \ g_{a}}$ та ${\displaystyle \ g_{b}}$:

Застосувати до обох зображень віконну функцію (наприклад, вікно Геммінга), щоби знизити крайові впливи (це може бути необов'язковим залежно від характеристик зображення). Потім обчислити дискретні двовимірні перетворення Фур'є обох зображень.

${\displaystyle \ \mathbf {G} _{a}={\mathcal {F}}\{g_{a}\},\;\mathbf {G} _{b}={\mathcal {F}}\{g_{b}\}}$

Обчислити спектр взаємної потужності, взявши комплексне спряження другого результату, поелементно перемноживши ці перетворення Фур'є, та поелементно унормувавши цей добуток.

${\displaystyle \ R={\frac {\mathbf {G} _{a}\circ \mathbf {G} _{b}^{*}}{|\mathbf {G} _{a}\circ \mathbf {G} _{b}^{*}|}}}$

де ${\displaystyle \circ }$ є добутком Адамара (поелементним добутком), й модулі беруться також поелементно. В поелементному записі для індекса елемента ${\displaystyle (j,k)}$:

${\displaystyle \ R_{jk}={\frac {G_{a,jk}\cdot G_{b,jk}^{*}}{|G_{a,jk}\cdot G_{b,jk}^{*}|}}}$

Отримати унормовану взаємну кореляцію, застосувавши обернене перетворення Фур'є.

${\displaystyle \ r={\mathcal {F}}^{-1}\{R\}}$

Визначити положення піку в ${\displaystyle \ r}$.

${\displaystyle \ (\Delta x,\Delta y)=\arg \max _{(x,y)}\{r\}}$

Зазвичай використовують методи інтерполювання, щоби оцінювати положення піку у взаємній корелограмі в не-цілих значеннях, незважаючи на той факт, що дані є дискретними, й цю процедуру часто називають «субпіксельним зіставлянням» (англ. 'subpixel registration'). У технічній літературі наводиться велике різноманіття методів субпіксельного зіставляння. Застосування знаходили такі поширені методи інтерполювання піку як параболічне інтерполювання, а пакунок комп'ютерного бачення OpenCV використовує центроїдні методи, хоча вони загалом мають нижчу точність у порівнянні зі складнішими методами.

Оскільки Фур'є-подання даних вже було обчислено, особливо зручно використовувати для цієї мети теорему Фур'є про запізнювання з дійнозначними (суб-цілими) зміщеннями, що по суті є здійсненням інтерполяції із застосуванням синусоїдних базисних функцій перетворення Фур'є. Особливо популярний оцінювач на основі ПФ пропонують Форуш та ін.[1] У цьому методі субпіксельне положення піку наближується простою формулою, яка включає пікове значення пікселя та значення його найближчих сусідів, де ${\displaystyle r_{(0,0)}}$ є значенням піку, а ${\displaystyle r_{(1,0)}}$ є його найближчим сусідом у напрямку x (якщо спиратися на припущення, як і в більшості підходів, що цілочислове зміщення вже було знайдено, й порівнювані зображення відрізняються лише зміщенням субпіксельним).

${\displaystyle \ \Delta x={\frac {r_{(1,0)}}{r_{(1,0)}\pm r_{(0,0)}}}}$^{[прояснити]}

Метод Форуша та ін. доволі простий у порівнянні з більшістю методів, хоча й не завжди найточніший. Деякі методи зміщують пік у просторі Фур'є й застосовують для максимізації піку корелограми нелінійну оптимізацію, але вони, як правило, дуже повільні, оскільки мусять застосовувати у цільовій функції обернене перетворення Фур'є або його еквівалент.[2]

Також, як зазначив Стоун,[3] можливо висновувати положення піку з фазових характеристик у просторі Фур'є і без оберненого перетворення. Ці методи зазвичай використовують допасовування фазових кутів до планарної моделі лінійними найменшими квадратами (ЛНК). Тривале обчислення фазового кута в цих методах є недоліком, але швидкість може бути іноді порівнянною з методом Форуша та ін., залежно від розміру зображення. Вони часто вигідно порівнюються за швидкістю з декількома ітераціями надзвичайно повільних цільових функцій в ітераційних нелінійних методах.

Оскільки всі методи обчислення субпіксельних зміщень принципово інтерполяційні, продуктивність певного методу залежить від того, наскільки добре підстильні дані відповідають припущенням в інтерполяторі. Цей факт також може обмежувати корисність високої чисельної точності в алгоритмах, оскільки невизначеність через вибір інтерполяційного методу може бути більшою за будь-яку чисельну або наближувальну похибку певного методу.

Субпіксельні методи також особливо чутливі до шуму в зображеннях, і корисність певного алгоритму відрізняють не лише за його швидкістю й точністю, але й за його стійкістю до певних типів шуму в застосуванні.

Цей метод ґрунтується на теоремі Фур'є про запізнювання.

Нехай два зображення ${\displaystyle \ g_{a}}$ та ${\displaystyle \ g_{b}}$ є версіями одне одного з круговим зміщенням:

${\displaystyle \ g_{b}(x,y)\ {\stackrel {\mathrm {def} }{=}}\ g_{a}((x-\Delta x){\bmod {M}},(y-\Delta y){\bmod {N}})}$

(де розмір зображень становить ${\displaystyle \ M\times N}$).

Тоді дискретні перетворення Фур'є цих зображень будують відносно зміщеними за фазою:

${\displaystyle \mathbf {G} _{b}(u,v)=\mathbf {G} _{a}(u,v)e^{-2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}$

Потім можливо обчислити унормований спектр взаємної потужності, щоби вирахувати різницю фаз:

${\displaystyle {\begin{aligned}R(u,v)&={\frac {\mathbf {G} _{a}\mathbf {G} _{b}^{*}}{|\mathbf {G} _{a}\mathbf {G} _{b}^{*}|}}\\&={\frac {\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{|\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}|}}\\&={\frac {\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{|\mathbf {G} _{a}\mathbf {G} _{a}^{*}|}}\\&=e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}\end{aligned}}}$

оскільки абсолютна величина уявної експоненти є завжди одиницею, а фаза ${\displaystyle \ \mathbf {G} _{a}\mathbf {G} _{a}^{*}}$ є завжди нульовою.

Обернене перетворення Фур'є комплексної експоненти є дельтою Кронекера, тобто єдиним піком:

${\displaystyle \ r(x,y)=\delta (x+\Delta x,y+\Delta y)}$

Цей результат можливо було би отримати прямим розрахунком взаємної кореляції. Перевага цього методу полягає в можливості виконання перетворення Фур'є та його обернення швидким перетворенняя Фур'є, що набагато швидше за кореляцію для великих зображень.

Фазовій кореляції віддають перевагу як методові для перетворювання телевізійних стандартів, оскільки вона лишає найменше артефактів.

Загальне

• Взаємна кореляція
• Масштабна кореляція
• Відновлення фази

Телебачення

• Перетворювання телевізійних стандартів
• Зворотне перетворювання стандартів

• Застосування Matlab для виконання унормованої взаємної кореляції на зображеннях (англ.)