Графова модель

Якщо мережеву структуру моделі представлено як орієнтований ациклічний граф, то ця модель представляє розклад спільної ймовірності всіх випадкових змінних. Точніше, якщо подіями є ${\displaystyle X_{1},\ldots ,X_{n}}$, то спільна ймовірність задовольняє

${\displaystyle P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|pa_{i}]}$

де ${\displaystyle pa_{i}}$ є набором батьків вершини ${\displaystyle X_{i}}$. Іншими словами, спільний розподіл розкладається у добуток умовних розподілів. Наприклад, зображена вище статистична модель (що насправді є не орієнтованим ациклічним, а родовим графом) складається з випадкових змінних ${\displaystyle A,B,C,D}$ з густиною спільного розподілу ймовірності, що розкладається як

${\displaystyle P[A,B,C,D]=P[A]\cdot P[B]\cdot P[C|B,D]\cdot P[D|A,B,C].}$

Будь-які дві вершини є умовно незалежними для заданих значень їх батьків. Загалом, будь-які дві множини вершин є умовно незалежними для заданої третьої множини, якщо в графі виконується критерій, що називається о-розділеністю. В баєсових мережах локальна та глобальна незалежності є еквівалентними.

Цей тип графової моделі відомий як орієнтована графова модель, баєсова мережа, або мережа переконань. Класичні методи машинного навчання, такі як приховані марковські моделі, нейронні мережі, та новіші моделі, такі як марковські моделі зі змінним порядком, можуть розглядатися як окремі випадки баєсових мереж.

Марковське випадкове поле, відоме також як марковська мережа, є моделлю над неорієнтованим графом. Графічну модель з багатьма повторюваними підблоками може бути представлено за допомогою пластинного позначення.

• Факторний граф — це неорієнтований двочастковий граф, що з'єднує змінні та фактори. Кожен фактор представляє функцію над змінними, з якими його з'єднано. Це представлення є корисним для розуміння та реалізації поширення переконання.
• Дерево клік або дерево злук, є деревом, що складається з клік, яке застосовується в алгоритмі дерева злук.
• Ланцюговий граф — це граф, що може мати як орієнтовані, так і неорієнтовані ребра, але без жодних орієнтованих циклів (тобто, якщо ми почали з будь-якої вершини і рухаємось графом, дотримуючись напрямків наявних стрілок, то ми не зможемо повернутися до початкової вершини, якщо ми пройшли стрілку). Як орієнтовані ациклічні графи, так і неорієнтовані графи є окремими випадками ланцюгових графів, що відтак забезпечують спосіб уніфікації та узагальнення баєсових та марковських мереж.[2]
• Родовий граф є подальшим розширенням, що має орієнтовані, біорієнтовані та неорієнтовані ребра.[3]
• Умовне випадкове поле є розрізнювальною моделлю, визначеною над неорієнтованим графом.
• Обмежена машина Больцмана є двочастковою породжувальною моделлю, визначеною над неорієнтованим графом.

• Bishop, Christopher M. (2006). Chapter 8. Graphical Models. Pattern Recognition and Machine Learning. Springer. с. 359–422. ISBN 0-387-31073-8. MR 2247587. (англ.)
• Cowell, Robert G.; Dawid, A. Philip; Lauritzen, Steffen L.; Spiegelhalter, David J. (1999). Probabilistic networks and expert systems. Berlin: Springer. ISBN 0-387-98767-3. MR 1697175. (англ.) Досконаліша та статистично орієнтована книга
• Jensen, Finn (1996). An introduction to Bayesian networks. Berlin: Springer. ISBN 0-387-91502-8.
• Koller, D.; Friedman, N. (2009). Probabilistic Graphical Models. Massachusetts: MIT Press. с. 1208. ISBN 0-262-01319-3. (англ.)
• Pearl, Judea (1988). Probabilistic Reasoning in Intelligent Systems (вид. 2nd revised). San Mateo, CA: Morgan Kaufmann. ISBN 1-55860-479-0. MR 0965765. (англ.) Обчислювальний підхід до аргументації, в якому було формально представлено взаємозв'язки між графами та ймовірностями.

• Edoardo M. Airoldi (2007). Getting Started in Probabilistic Graphical Models. PLoS Computational Biology 3 (12): e252. PMC 2134967. PMID 18069887. doi:10.1371/journal.pcbi.0030252. (англ.)
• Jordan, M. I. (2004). Graphical Models. Statistical Science 19: 140–155. doi:10.1214/088342304000000026. (англ.)

• Heckerman's Bayes Net Learning Tutorial (англ.)
• A Brief Introduction to Graphical Models and Bayesian Networks (англ.)
• Sargur Srihari's lecture slides on probabilistic graphical models (англ.)