Вентильний рекурентний вузол

Повний рекурентний вузол.

Повний рекурентний вузол працює наступним чином. На вхід подаються значення вектору входу ${\displaystyle x_{t}}$ та значення виходу ${\displaystyle h_{t-1}}$ (при ${\displaystyle t=0}$, вектор виходу ${\displaystyle h_{0}=0}$). По ним обчислюється претендент на нове значення виходу — вектор вузла скидання (англ. reset gate vector) ${\displaystyle r_{t}}$, який обчислюється як функція активації (зазвичай сигмоїд) від матричного виразу по параметрам ${\displaystyle W}$, ${\displaystyle U}$ та ${\displaystyle b}$. Незалежно, подібним чином, обчислюється вектор вузла уточнення (англ. update gate vector) ${\displaystyle z_{t}}$. Цей вектор містить значення, які визначають, чи варто залишити значення зі старого вектору, чи взяти нове значення. Фактично, це набір «вентилів» (англ. gate), які «пропускають» або старе, або нове значення. Далі обчислюється вектор виходу ${\displaystyle h_{t}}$, в якому з ймовірністю ${\displaystyle z_{t}}$ береться старе значення з вектору ${\displaystyle h_{t-1}}$, або з ймовірністю ${\displaystyle (1-z_{t})}$ обчислюється нове значення.[6]

Формули для обчислень наступні:

${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=z_{t}\circ h_{t-1}+(1-z_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}}$

Змінні

• ${\displaystyle x_{t}}$: вектор входу
• ${\displaystyle h_{t}}$: вектор виходу
• ${\displaystyle z_{t}}$: вектор вузла уточнення
• ${\displaystyle r_{t}}$: вектор вузла скидання
• ${\displaystyle W}$, ${\displaystyle U}$ та ${\displaystyle b}$: матриці та вектор параметрів

Функції активації

• ${\displaystyle \sigma _{g}}$: В оригіналі є сигмоїдною функцією.
• ${\displaystyle \sigma _{h}}$: В оригіналі є гіперболічним тангенсом.