Оптичний потік

Послідовності впорядкованих зображень уможливлюють оцінювання руху або як миттєвих швидкостей зображення, або як дискретних зміщень зображень.[7] Фліт та Вейсс пропонують навчальний посібник з оптичного потоку на основі градієнта.[8] Джон Л. Баррон, Девід Дж. Фліт та Стівен Бошемен пропонують аналіз продуктивності низки методик оптичного потоку, з наголосом на точності та густоті вимірювань.[9]

Методи оптичного потоку намагаються обчислювати рух між двома кадрами, що було знято в моменти часу ${\displaystyle t}$ та ${\displaystyle t+\Delta t}$, в положенні кожного вокселя. Ці методи називають диференціальними, оскільки вони ґрунтуються на локальних наближеннях сигналу зображення рядами Тейлора, тобто, вони використовують частинні похідні за просторовими та часовими координатами.

Для (2D + t)-вимірного випадку (випадки 3D та n-D є подібними) воксель у положенні ${\displaystyle (x,y,t)}$ з інтенсивністю ${\displaystyle I(x,y,t)}$ буде переміщено між цими двома кадрами на ${\displaystyle \Delta x}$, ${\displaystyle \Delta y}$ та ${\displaystyle \Delta t}$, й може бути задано наступне обмеження сталості яскравості (англ. brightness constancy constraint):

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

Якщо виходити з того, що переміщення є невеликим, це обмеження зображення в ${\displaystyle I(x,y,t)}$ може бути розгорнуло за допомогою ряду Тейлора в

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}$члени вищих порядків

При відкиданні членів вищих порядків (що здійснює лінеаризацію) з цього випливає, що

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

або, при діленні на ${\displaystyle \Delta t}$,

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

що в результаті дає

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

де ${\displaystyle V_{x},V_{y}}$ є складовими ${\displaystyle x}$ та ${\displaystyle y}$ швидкості або оптичного потоку ${\displaystyle I(x,y,t)}$, а ${\displaystyle {\tfrac {\partial I}{\partial x}}}$, ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ та ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ є похідними зображення в ${\displaystyle (x,y,t)}$ у відповідних напрямках. Далі ці похідні може бути позначено через ${\displaystyle I_{x}}$,${\displaystyle I_{y}}$ та ${\displaystyle I_{t}}$.

Отже:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

або

${\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}$

Це — рівняння з двома невідомими, й саме по собі розв'язаним бути не може. Це відоме як проблема вікна (англ. aperture problem) в алгоритмах оптичного потоку. Щоби знайти оптичний потік, потрібен інший набір рівнянь, заданий деяким додатковим обмеженням. Для оцінювання фактичного потоку всі алгоритми оптичного потоку запроваджують додаткові умови.

Головними аспектами дослідження оптичного потоку стали оцінювання руху та стискання відео. Хоча поле оптичного потоку на перший погляд і схоже на щільне поле руху, отримуване за допомогою методик оцінювання руху, оптичний потік є дослідженням не лише визначення самого поля оптичного потоку, але також і його використання в оцінюванні тривимірної природи та структури сцени, як і тривимірного руху об'єктів та спостерігача відносно сцени, де здебільшого використовують якобіан зображення.[15]

Дослідники в галузі робототехніки використовували оптичний потік в багатьох областях, таких як виявляння та відстежування об'єктів, виділяння основного плану зображення, виявляння руху, навігація роботів та візуальна одометрія.[6] Інформацію оптичного потоку визнавали корисною для керування мініатюрними літальними апаратами.[16]

До застосувань оптичного потоку належить задача висновування не лише руху спостерігача та об'єктів у сцені, але також і структури об'єктів та середовища. Оскільки усвідомлення руху та породжування ментальних мап структури нашого середовища є критичними складовими тваринного (та людського) зору, перетворення цієї вродженої здібності на комп'ютерну здатність є так само вирішальним й у галузі зору машинного.[17]

Вектор оптичного потоку руху об'єкта в послідовності відео.

Розгляньмо п'ятикадровий кліп руху м'яча з лівої нижньої частини поля зору до правої верхньої. Методики оцінювання руху можуть визначити, що на двовимірній площині м'яч рухається вгору та праворуч, й вектори, що описують цей рух, можливо виділити з цієї послідовності кадрів. Для цілей стискання відео (наприклад, MPEG), послідовність тепер описано настільки добре, наскільки потрібно. Проте в галузі машинного зору питання про те, чи це м'яч рухається праворуч, чи спостерігач рухається ліворуч, є непізнанною, але критичною інформацією. Навіть якби в цих п'яти кадрах було присутнє статичне візерункове тло, ми не змогли би з упевненістю стверджувати, що м'яч рухався праворуч, оскільки цей візерунок міг мати нескінченну відстань від спостерігача.

Давач оптичного потоку — це зоровий давач, здатний вимірювати оптичний потік або візуальний рух, та видавати вимірювання, що ґрунтуються на оптичному потоці. Існують різноманітні конфігурації давачів оптичного потоку. Однією з конфігурацій є чип давача зображення, з'єднаний з процесором, запрограмованим виконувати алгоритм оптичного потоку. Інша конфігурація використовує зоровий чип, що є інтегрованою схемою, яка має як давач зображення, так і процесор, на одному й тому ж кристалі, що уможливлює компактне втілення.[18][19] Таким прикладом є звичайний давач оптичної миші. У деяких випадках схему обробки може бути втілено із застосуванням схем з аналоговим або змішаними сигналами для уможливлення швидкого обчислювання оптичного потоку з мінімальним споживанням струму.

Однією з областей сучасних досліджень є застосування методик нейроморфної інженерії для втілення схем, що реагують на оптичний потік, і відтак можуть бути доречними для використання в давачі оптичного потоку.[20] Такі схеми можуть черпати натхнення з біологічних нейронних схем, що реагують на оптичний потік подібним чином.

Давачі оптичного потоку широко використовують у комп'ютерних оптичних мишах як головну давачеву складову для вимірювання руху миші поверхнею.

Давачі оптичного потоку використовують також і в робототехніці, переважно де є потреба у вимірюванні візуального руху або відносного руху робота та інших об'єктів поблизу робота. Однією з областей поточних досліджень також є використання давачів оптичного потоку в безпілотних літальних апаратах (БПЛА) задля забезпечення стабільності та уникання перешкод.[21]

• Осяжний оптичний лад
• Оптична миша
• Дальнісне зображення
• Зоровий процесор
• Рівняння неперервності

• Finding Optic Flow (англ.)
• Стаття Art of Optical Flow на fxguide.com (з використанням оптичного потоку у візуальних ефектах) (англ.)
• Optical flow evaluation and ground truth sequences. (англ.)
• Middlebury Optical flow evaluation and ground truth sequences. (англ.)
• mrf-registration.net — оцінювання оптичного потоку за допомогою МВП (англ.)
• The French Aerospace Lab: втілення оптичного потоку на основі Лукаса — Канаде на ГП (англ.)
• Втілення на CUDA від CUVI (CUDA Vision & Imaging Library) (англ.)
• Horn and Schunck Optical Flow: інтерактивне демо та первинний код методу Горна та Шунка
• TV-L1 Optical Flow: інтерактивне демо та первинний код методу Зака та ін.
• Robust Optical Flow: інтерактивне демо та первинний код методу Брокса та ін.