Обмежена машина Больцмана

Стандартний тип ОМБ має двійковозначні (булеві/бернуллієві) приховані та видимі вузли, і складається з матриці вагових коефіцієнтів ${\displaystyle W=(w_{i,j})}$ (розміру m×n), пов'язаної зі з'єднанням між прихованим вузлом ${\displaystyle h_{j}}$ та видимим вузлом ${\displaystyle v_{i}}$, а також вагових коефіцієнтів упереджень (зсувів) ${\displaystyle a_{i}}$ для видимих вузлів, і ${\displaystyle b_{j}}$ для прихованих вузлів. З урахуванням цього, енергія конфігурації (пари булевих векторів) (v,h) визначається як

${\displaystyle E(v,h)=-\sum _{i}a_{i}v_{i}-\sum _{j}b_{j}h_{j}-\sum _{i}\sum _{j}v_{i}w_{i,j}h_{j}}$

або, в матричному записі,

${\displaystyle E(v,h)=-a^{\mathrm {T} }v-b^{\mathrm {T} }h-v^{\mathrm {T} }Wh}$

Ця функція енергії є аналогічною до функції енергії мережі Хопфілда. Як і в загальних машинах Больцмана, розподіли ймовірності над прихованими та/або видимими векторами визначаються в термінах функції енергії:[9]

${\displaystyle P(v,h)={\frac {1}{Z}}e^{-E(v,h)}}$

де ${\displaystyle Z}$ є статистичною сумою, визначеною як сума ${\displaystyle e^{-E(v,h)}}$ над усіма можливими конфігураціями (іншими словами, просто нормувальна стала для забезпечення того, щоби розподіл імовірності давав у сумі 1). Аналогічно, (відособлена) ймовірність видимого (вхідного) вектора булевих значень є сумою над усіма можливими конфігураціями прихованого шару:[9]

${\displaystyle P(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}}$

Оскільки ОМБ має форму двочасткового графу, без з'єднань усередині шарів, активації прихованих вузлів є взаємно незалежними для заданих активацій видимих вузлів, і навпаки, активації видимих вузлів є взаємно незалежними для заданих активацій прихованих вузлів.[7] Тобто, для ${\displaystyle m}$ видимих вузлів та ${\displaystyle n}$ прихованих вузлів умовною ймовірністю конфігурації видимих вузлів v для заданої конфігурації прихованих вузлів h є

${\displaystyle P(v|h)=\prod _{i=1}^{m}P(v_{i}|h)}$.

І навпаки, умовною ймовірністю h для заданої v є

${\displaystyle P(h|v)=\prod _{j=1}^{n}P(h_{j}|v)}$.

Окремі ймовірності активації задаються як

${\displaystyle P(h_{j}=1|v)=\sigma \left(b_{j}+\sum _{i=1}^{m}w_{i,j}v_{i}\right)\,}$ та ${\displaystyle \,P(v_{i}=1|h)=\sigma \left(a_{i}+\sum _{j=1}^{n}w_{i,j}h_{j}\right)}$

де ${\displaystyle \sigma }$ позначає логістичну сигмоїду.

Незважаючи на те, що приховані вузли є бернуллієвими, видимі вузли ОМБ можуть бути багатозначними. В такому випадку логістична функція для видимих вузлів замінюється нормованою експоненційною функцією (англ. Softmax function)

${\displaystyle P(v_{i}^{k}=1|h)={\frac {\exp(a_{i}^{k}+\Sigma _{j}W_{ij}^{k}h_{j})}{\Sigma _{k=1}^{K}\exp(a_{i}^{k}+\Sigma _{j}W_{ij}^{k}h_{j})}}}$

де K є кількістю дискретних значень, які мають видимі значення. Вони застосовуються в тематичному моделюванні[6] та рекомендаційних системах.[4]

Обмежені машини Больцмана тренуються максимізувати добуток ймовірностей, призначених певному тренувальному наборові ${\displaystyle V}$ (матриця, кожен рядок якої розглядається як видимий вектор ${\displaystyle v}$),

${\displaystyle \arg \max _{W}\prod _{v\in V}P(v)}$

або, рівноцінно, максимізувати математичне сподівання логарифмічної ймовірності ${\displaystyle V}$:[10][11]

${\displaystyle \arg \max _{W}\mathbb {E} \left[\sum _{v\in V}\log P(v)\right]}$

Алгоритмом, що найчастіше застосовується для тренування ОМБ, тобто для оптимізації вектора вагових коефіцієнтів ${\displaystyle W}$, є алгоритм порівняльної розбіжності (ПР, англ. contrastive divergence, CD), що належить Хінтонові, первинно розроблений для тренування моделей добутку експертів (англ. product of experts, PoE).[13][14] Цей алгоритм здійснює вибірку за Ґіббсом, і використовується всередині процедури градієнтного спуску (подібного до того, як зворотне поширення використовується всередині такої процедури при тренуванні нейронних мереж прямого поширення) для обчислення уточнення вагових коефіцієнтів.

Елементарну, однокрокову процедуру порівняльної розбіжності (ПР-1, англ. CD-1) для єдиного зразка може бути описано таким чином:

1. Взяти тренувальний зразок v, обчислити ймовірності прихованих вузлів, та вибрати вектор прихованої активації h з цього розподілу ймовірності.
2. Обчислити зовнішній добуток v та h, і назвати це позитивним градієнтом.
3. Спираючись на h, вибрати відбудову видимих вузлів v', а потім перевибрати з неї приховані активації h'. (крок вибірки за Ґіббсом)
4. Обчислити зовнішній добуток v' та h', і назвати це негативним градієнтом.
5. Покласти уточненням ${\displaystyle w_{i,j}}$ різницю позитивного та негативного градієнтів, помножену на певний темп навчання: ${\displaystyle \Delta w_{i,j}=\epsilon (vh^{\mathsf {T}}-v'h'^{\mathsf {T}})}$.

Правило уточнення для упереджень a та b визначається аналогічно.

Практичну настанову з тренування ОМБ, написану Хінтоном, можна знайти на його домашній сторінці.[9]

• Автокодувальник
• Глибинне навчання
• Машина Гельмгольца
• Нейронна мережа Хопфілда

• Введення до обмежених машин Больцмана. Блог Едвіна Чена (англ. Edwin Chen), 18 липня 2011 р. (англ.)
• Керівництво з обмежених машин Больцмана для початківців. Документація Deeplearning4j (англ.)
• Розуміння ОМБ. Документація Deeplearning4j, 4 серпня 2015 р. (англ.)