Рівняння Гамільтона — Якобі — Беллмана

Розглянемо наступну задачу детермінованого оптимального управління за період часу ${\displaystyle [0,T]}$ :

${\displaystyle V_{T}(x(0),0)=\min _{u}\left\{\int _{0}^{T}C[x(t),u(t)]\,dt+D[x(T)]\right\}}$

де ${\displaystyle C[\cdot ]}$ — скалярна функція норми втрат і ${\displaystyle D[\cdot ]}$ є функцією, яка дає успадковану цінність у кінцевому стані, ${\displaystyle x(t)}$ — вектор стану системи, ${\displaystyle x(0)}$ передбачається даним, і ${\displaystyle u(t)}$ для ${\displaystyle 0\leq t\leq T}$ — це вектор управління, який ми намагаємося знайти.

Система також повинна підпорядковуватися

${\displaystyle {\dot {x}}(t)=F[x(t),u(t)]\,}$

де ${\displaystyle F[\cdot ]}$ дає вектор, що визначає фізичну зміну вектора стану з часом.

Для цієї простої системи (нехай ${\displaystyle V=V_{T}}$), диференціальне рівняння з частинними похідними Гамільтона–Якобі–Беллмана представляє собою

${\displaystyle {\frac {\partial V(x,t)}{\partial t}}+\min _{u}\left\{{\frac {\partial V(x,t)}{\partial x}}\cdot F(x,u)+C(x,u)\right\}=0}$

залежно від термінальної умови

${\displaystyle V(x,T)=D(x),\,}$

Невідомий скаляр ${\displaystyle V(x,t)}$ у наведеному вище диференціальному рівнянні з частинними похідними є функцієї цінності Беллмана, яка представляє втрати, понесені від початку роботи в стані ${\displaystyle x}$ під час ${\displaystyle t}$ і оптимальне управління системою з тих пір і до часу ${\displaystyle T}$.

Інтуїтивно рівняння HJB можна вивести наступним чином. Якщо ${\displaystyle V(x(t),t)}$ є оптимальною функцією втрат на доставку (також званою «функцією цінності»), то відповідно до принципу оптимальності Річарда Беллмана, переходячи від часу t до t + dt, маємо

${\displaystyle V(x(t),t)=\min _{u}\left\{V(x(t+dt),t+dt)+\int _{t}^{t+dt}C(x(s),u(s))\,ds\right\}.}$

Зауважте, що розкладання Тейлора першого члена в правій частині є

${\displaystyle V(x(t+dt),t+dt)=V(x(t),t)+{\frac {\partial V(x,t)}{\partial t}}\,dt+{\frac {\partial V(x,t)}{\partial x}}\cdot {\dot {x}}(t)\,dt+{\mathcal {o}}(dt),}$

де ${\displaystyle {\mathcal {o}}(dt)}$ позначає елементи в розкладанні Тейлора вищого порядку за одиницю у нотації з маленьким о. Тоді, якщо відняти ${\displaystyle V(x(t),t)}$ з обох сторін, поділити на dt і знайти границю, коли dt наближається до нуля, то ми отримуємо рівняння HJB, визначене вище.

Рівняння HJB зазвичай розв'язується у зворотному напрямку в часі, починаючи з ${\displaystyle t=T}$ і закінчується на ${\displaystyle t=0}$.

При розв'язанні на всьому просторі станів ${\displaystyle V(x)}$ є безперервно диференційованою, рівняння HJB є необхідною та достатньою умовою оптимуму, коли кінцевий стан є необмеженим.[11] Якщо ми зможемо вирішити ${\displaystyle V}$, то матимемо змогу знайти з нього елемент управління ${\displaystyle u}$, що забезпечує мінімальну вартість (цінність).

У загальному випадку рівняння HJB не має класичного (гладкого) розв'язку. Для охоплення таких ситуацій було розроблено кілька понять про узагальнені рішення, включаюч в'язкісне рішення (П'єр-Луї Лайонс і Майкл Крендалл),[12] мінімаксне рішення (Андрій Ізмаїлович Субботін), та інші.

Наближене динамічне програмування було введено Д. П. Берцекасом та Дж. Цициклісом із використанням штучних нейронних мереж (багатошарових персептронів) для апроксимації функції Беллмана в цілому.[13] Це ефективна стратегія пом'якшення для зменшення впливу розмірності шляхом заміни запам'ятовування повного відображення функцій для всієї просторової області запам'ятовуванням окремих параметрів нейронної мережі. Зокрема, для систем безперервного часу введено наближений підхід динамічного програмування, який поєднує обидва ітераційних підходи з нейронними мережами.[14] У дискретному часі було введено підхід до вирішення рівняння HJB, що поєднує ітерації значень і нейронні мережі.[15]

Крім того, було показано, що оптимізація суми квадратів може дати наближений поліноміальний розв'язок рівняння Гамільтона-Якобі-Беллмана довільно добре по відношенню до ${\displaystyle L^{1}}$ норми.[16]

Ідею вирішення задачі управління шляхом застосування з подальшою розробкою стратегії оптимізації назад у часі можна узагальнити на стохастичні задачі управління. Розглянемо

${\displaystyle \min _{u}\mathbb {E} \left\{\int _{0}^{T}C(t,X_{t},u_{t})\,dt+D(X_{T})\right\}}$

де ${\displaystyle (X_{t})_{t\in [0,T]}\,\!}$ є стохастичним процесом для оптимізації та ${\displaystyle (u_{t})_{t\in [0,T]}\,\!}$ є управлінням. Спочатку використавши принцип оптимальності Беллмана, а потім розширивши ${\displaystyle V(X_{t},t)}$ за правилом Іто, можна знайти стохастичне рівняння HJB

${\displaystyle \min _{u}\left\{{\mathcal {A}}V(x,t)+C(t,x,u)\right\}=0,}$

де ${\displaystyle {\mathcal {A}}}$ представляє стохастичний оператор диференціювання, і підлягає термінальній умові

${\displaystyle V(x,T)=D(x)\,\!.}$

Зауважте, що випадковість зникла. В даному випадку останнє рішення ${\displaystyle V\,\!}$не обов'язково вирішує основну задачу, воно є лише кандидатом і потрібен додатковий перевіряючий аргумент. Цей метод широко використовується у фінансовій математиці для визначення оптимальних інвестиційних стратегій на ринку (див., наприклад, проблему портфеля Мертона).

• Рівняння Беллмана, аналог рівняння Гамільтона–Якобі–Беллмана з дискретним часом.
• Принцип максимуму Понтрягіна, необхідна, але не достатня умова для оптимуму, шляхом максимізації гамільтоніана, але він має перевагу над HJB, оскільки його необхідно задовольнити лише на одній розглянутій траєкторії.

• Bertsekas, Dimitri P. (2005). Dynamic Programming and Optimal Control. Athena Scientific.
• Pham, Huyên (2009). The Classical PDE Approach to Dynamic Programming. Continuous-time Stochastic Control and Optimization with Financial Applications. Springer. с. 37–60. ISBN 978-3-540-89499-5.
• Stengel, Robert F. (1994). Conditions for Optimality. Optimal Control and Estimation. New York: Dover. с. 201–222. ISBN 0-486-68200-5.