Машина Больцмана

Як і мережа Гопфілда, машина Больцмана є мережею вузлів (нейронів) з визначеним для неї поняттям «енергії». Розрахунок глобальної енергії виконується ідентичним за формою з мережею Гопфілда чином:

${\displaystyle E=-\sum _{i<j}w_{ij}\,s_{i}\,s_{j}-\sum _{i}\theta _{i}\,s_{i}}$

Де:

• ${\displaystyle w_{ij}}$ сила зв'язку між вузлами ${\displaystyle j}$ і ${\displaystyle i}$.
• ${\displaystyle s_{i}}$ стан , ${\displaystyle s_{i}\in \{0,1\}}$, вузла ${\displaystyle i}$.
• ${\displaystyle \theta _{i}}$ поріг для вузла ${\displaystyle i}$.

Зв'язки мають такі обмеження:

• ${\displaystyle w_{ii}=0\qquad \forall i}$. (нейрон не може мати зв'язок з самим собою);
• ${\displaystyle w_{ij}=w_{ji}\qquad \forall i,j}$ (всі зв'язки є симетричними).

Одним з основних недоліків мережі Гопфілда є схильність до «стабілізації» стану мережі в локальному, а не в глобальному мінімумі. Практично бажано, щоб мережа переходила в глибокі мінімуми енергії частіше, ніж неглибокі, і щоб відносна ймовірність переходу мережі в один з двох мінімумів з різною енергією залежала тільки від співвідношення їх глибин. Це дозволило б керувати можливостями отримання конкретних вихідних векторів стану шляхом зміни профілю енергетичної поверхні системи за рахунок модифікації ваг зв'язків. На основі цих міркувань і побудовано машину Больцмана.

Ідея застосування «теплового шуму» для виходу з локальних мінімумів і підвищення ймовірності попадання в більш глибокі мінімуми належить С. Кірпатріку. На основі цієї ідеї розроблено алгоритм імітації відпалу. Введімо деякий параметр ${\displaystyle t}$ — аналог рівня теплового шуму. Тоді ймовірність активності деякого вузла ${\displaystyle k}$ визначається на основі ймовірнісної функції Больцмана:

${\displaystyle Pk=1/(1+e^{-E_{k}/t}),}$

де ${\displaystyle t}$ — рівень теплового шуму в мережі; ${\displaystyle E_{k}}$ — сума ваг зв'язків k-го вузла зі всіма активними на даний момент вузлами.

• Обмежена машина Больцмана

• Talk at Google by Geoffrey Hinton на YouTube (англ.)