Автоматичне диференціювання

Основою AD є розклад диференціалів використовуючи ланцюгове правило. Застосувавши його до складеної функції y = g(h(x)) = g(w) отримаємо:

${\displaystyle {\frac {dy}{dx}}={\frac {dy}{dw}}{\frac {dw}{dx}}}$

Рух вперед

Зафіксувавши незалежну змінну, і застосовуючи ланцюгове правило до проміжної функції, отримаємо:

${\displaystyle {\frac {\partial y}{\partial x}}={\frac {\partial y}{\partial w_{1}}}{\frac {\partial w_{1}}{\partial x}}={\frac {\partial y}{\partial w_{1}}}\left({\frac {\partial w_{1}}{\partial w_{2}}}{\frac {\partial w_{2}}{\partial x}}\right)={\frac {\partial y}{\partial w_{1}}}\left({\frac {\partial w_{1}}{\partial w_{2}}}\left({\frac {\partial w_{2}}{\partial w_{3}}}{\frac {\partial w_{3}}{\partial x}}\right)\right)=\cdots }$

Рух назад

Застосовуючи ланцюгове правило до початкової функції по нововведеній змінній отримаємо:

${\displaystyle {\frac {\partial y}{\partial x}}={\frac {\partial y}{\partial w_{1}}}{\frac {\partial w_{1}}{\partial x}}=\left({\frac {\partial y}{\partial w_{2}}}{\frac {\partial w_{2}}{\partial w_{1}}}\right){\frac {\partial w_{1}}{\partial x}}=\left(\left({\frac {\partial y}{\partial w_{3}}}{\frac {\partial w_{3}}{\partial w_{2}}}\right){\frac {\partial w_{2}}{\partial w_{1}}}\right){\frac {\partial w_{1}}{\partial x}}=\cdots }$

Рух вперед і назад є крайніми випадками застосування ланцюгового правила. Задача ж обчислення повного Якобіана з мінімальною кількістю операцій є NP-повною.

Застосовуючи рух вперед, помістимо поряд із кожним числом, що використовується для обчислення функії, ще одне, яке міститиме значення похідної. Буквально, замінимо дійсне число ${\displaystyle \,a}$ на конструкцію ${\displaystyle (a+a'\varepsilon )}$, де ${\displaystyle a'}$ є дійсним числом, а ${\displaystyle \varepsilon }$ є уявною одиницею, такою, що ${\displaystyle \varepsilon ^{2}=0}$. Така конструкція називається дуальним числом.

Тоді для арифметичних операцій отримаємо:

${\displaystyle (a+a'\varepsilon )+(b+b'\varepsilon )=(a+b)+(a'+b')\varepsilon =(a+b)+(a+b)'\varepsilon }$

${\displaystyle (a+a'\varepsilon )*(b+b'\varepsilon )=ab+(ab'+ba')\varepsilon =ab+(ab)'\varepsilon }$

Тобто, уявна частина знову буде містити значення похідної від виразу в дійсній частині.

Запишемо дуальні числа без уявної одиниці у вигляді впорядкованої пари ${\displaystyle \langle a,a'\rangle }$ і використаємо ланцюгове правило для функції двох аргументів ${\displaystyle g}$:

${\displaystyle g(\langle a,a'\rangle ,\langle b,b'\rangle )=\langle g(a,b),\;\;g_{a}(a,b)a'+g_{b}(a,b)b'\rangle }$

де ${\displaystyle g_{a}}$ та ${\displaystyle g_{b}}$ є похідними ${\displaystyle g}$ по першому та другому аргументу відповідно.

Підставивши замість ${\displaystyle g}$ арифметичні операції та елементарні функції, отримаємо повний набір операцій над дуальними числами:

${\displaystyle {\begin{aligned}\left\langle a,a'\right\rangle +\left\langle b,b'\right\rangle &=\left\langle a+b,a'+b'\right\rangle \\\left\langle a,a'\right\rangle -\left\langle b,b'\right\rangle &=\left\langle a-b,a'-b'\right\rangle \\\left\langle a,a'\right\rangle *\left\langle b,b'\right\rangle &=\left\langle ab,a'b+ab'\right\rangle \\\left\langle a,a'\right\rangle /\left\langle b,b'\right\rangle &=\left\langle {\frac {a}{b}},{\frac {a'b-ab'}{b^{2}}}\right\rangle \quad (b\neq 0)\\\sin \left\langle a,a'\right\rangle &=\left\langle \sin(a),a'\cos(a)\right\rangle \\\cos \left\langle a,a'\right\rangle &=\left\langle \cos(a),-a'\sin(a)\right\rangle \\\exp \left\langle a,a'\right\rangle &=\left\langle \exp a,a'\exp a\right\rangle \\\log \left\langle a,a'\right\rangle &=\left\langle \log(a),a'/a\right\rangle \quad (a>0)\\\left\langle a,a'\right\rangle ^{k}&=\left\langle a^{k},ka^{k-1}a'\right\rangle \quad (a\neq 0)\\\left|\left\langle a,a'\right\rangle \right|&=\left\langle \left|a\right|,a'{\mbox{sign}}a\right\rangle \quad (a\neq 0)\end{aligned}}}$

Реалізація автоматичного диференціювання можлива через:

• автоматичне перетворення вихідного коду,
• перевантаження функцій та операторів.

• www.autodiff.org An "entry site to everything you want to know about automatic differentiation"