Умовне випадкове поле

Для графів загального вигляду задача точного висновування в УВП є нерозв'язною. Задача висновування для УВП є по суті такою ж, як і для МВП, і мають місце ті самі аргументи.[7] Проте, існують особливі випадки, для яких висновування є здійсненним:

• Якщо граф є ланцюгом або деревом, то точні розв'язки дають алгоритми передавання повідомлень. Алгоритми, що застосовують в цих випадках, є аналогічними до послідовно-зворотного алгоритму та алгоритму Вітербі для випадку ПММ.
• Якщо УВП містить лише попарні потенціали, й ця енергія є субмодулярною, то точні розв'язки дають комбінаторні алгоритми мінімального розрізу/максимального потоку.

Якщо точне висновування є неможливим, то можливо застосовувати декілька алгоритмів для отримування наближених розв'язків. До них належать:

• Петлясте поширення переконання
• Альфа-розширення (англ. alpha expansion)
• Висновування середнього поля (англ. mean field inference)
• Лінійне програмування з послабленням

Навчання параметрів ${\displaystyle \theta }$ зазвичай виконують навчанням максимальної правдоподібності для ${\displaystyle p(Y_{i}|X_{i};\theta )}$. Якщо всі вузли мають розподіли експоненційного сімейства, та є спостережуваними під час тренування, то ця оптимізація є опуклою.[7] Її можливо розв'язувати, наприклад, застосуванням алгоритмів градієнтного спуску, або квазі-ньютоновими методами, такими як алгоритм L-BFGS. З іншого боку, якщо деякі змінні є неспостережуваними, то для цих змінних має бути розв'язано задачу висновування. Для графів загального вигляду точне висновування є непіддатливим, тож мають застосовуватися наближення.

У послідовнісному моделюванні, граф, який становить інтерес, зазвичай є ланцюговим. Входова послідовність спостережуваних змінних ${\displaystyle X}$ представляє послідовність спостережень, а ${\displaystyle Y}$ представляє приховану (або невідому) змінну стану, висновки про яку потрібно отримувати зі спостережень. ${\displaystyle Y_{i}}$ структурують так, щоби утворити ланцюг, з ребрами між кожними ${\displaystyle Y_{i-1}}$ та ${\displaystyle Y_{i}}$. Маючи просте представлення ${\displaystyle Y_{i}}$ як «міток» для кожного з елементів послідовності входу, це компонування також уможливлює дієві алгоритми для:

• тренування моделі, навчання умовних розподілів між ${\displaystyle Y_{i}}$ та функціями ознак для деякого корпусу тренувальних даних.
• декодування, визначення ймовірності заданої послідовності міток ${\displaystyle Y}$ за заданої ${\displaystyle X}$.
• висновування, визначення найправдоподібнішої послідовності міток ${\displaystyle Y}$ за заданої ${\displaystyle X}$.

Умовну залежність кожної з ${\displaystyle Y_{i}}$ від ${\displaystyle X}$ визначають через фіксований набір функцій ознак вигляду ${\displaystyle f(i,Y_{i-1},Y_{i},X)}$, які можливо розглядати як вимірювання на послідовності входу, що частково визначають правдоподібність кожного з можливих значень ${\displaystyle Y_{i}}$. Ця модель призначує кожній ознаці числову вагу, й поєднує їх для визначення ймовірності певного значення ${\displaystyle Y_{i}}$.

Лінійно-ланцюгові УВП мають багато таких же застосувань, як і концептуально простіші приховані марковські моделі (ПММ), але послаблюють деякі вихідні положення щодо розподілів послідовностей входу та виходу. ПММ можливо грубо розуміти як УВП з дуже особливими функціями ознак, які використовують сталі ймовірності для моделюванні переходів станів та виходів. І навпаки, УВП можливо грубо розуміти як узагальнення ПММ, яке робить сталі ймовірності переходів довільними функціями, що міняться над позиціями в послідовності прихованих станів, залежно від послідовності входу.

Примітно, що, на противагу до ПММ, УВП можуть містити будь-яке число функцій ознак, ці функції ознак можуть оглядати всю послідовність входу ${\displaystyle X}$ в будь-який момент висновування, і спектрові функцій ознак не потрібно мати ймовірнісної інтерпретації.

УВП можливо розширити до моделей вищих порядків, зробивши кожну з ${\displaystyle Y_{i}}$ залежною від фіксованого числа ${\displaystyle k}$ попередніх змінних ${\displaystyle Y_{i-k},...,Y_{i-1}}$. У звичайних формулюваннях УВП вищих порядків тренування та висновування є дієвими лише для маленьких значень ${\displaystyle k}$ (таких як k ≤ 5),[8] оскільки їхня обчислювальна витратність зростає з ${\displaystyle k}$ експоненційно.

Проте, іншому нещодавньому просуванню вдалося поліпшити ці нюанси шляхом задіювання понять та інструментів з області баєсової непараметрії. Конкретніше, УВП-нескінченний (англ. CRF-infinity) підхід[9] становить УВП-модель, здатну навчатися нескінченно тривалої часової динаміки масштабованою манерою. Це здійснюється введенням новітньої функції потенціалу для УВП, яка ґрунтується на «запам'ятовувачі послідовностей» (ЗП, англ. Sequence Memoizer, SM), непараметричній баєсовій моделі для навчання нескінченно тривалих динамік у послідовних спостереженнях.[10] Щоби зробити таку модель обчислювально піддатливою, УВП-нескінченність застосовує наближення середнього поля[11] запостульованих новітніх функцій потенціалу (які веде ЗП). Це дозволяє винаходити дієві алгоритми наближеного тренування та висновування для цієї моделі, не підриваючи її здатності схоплювати та моделювати часові залежності довільної тривалості.

Існує ще одне узагальнення УВП, напівма́рковське умо́вне випадко́ве по́ле (напів-УВП, англ. semi-Markov conditional random field, semi-CRF), яке моделює сегментування довільної довжини послідовності міток ${\displaystyle Y}$.[12] Воно забезпечує майже таку ж потужність для моделювання довготривалих залежностей ${\displaystyle Y_{i}}$, як і УВП вищих порядків, за помірних обчислювальних витрат.

Нарешті, як альтернативу процедурі тренування УВП можливо розглядати моделі з широким розділенням (англ. large-margin models) для структурового передбачування, такі як структурові опорно-векторні машини.

Лате́нтно-динамі́чні умо́вні випадко́ві по́ля (ЛДУВП, англ. latent-dynamic conditional random fields, LDCRF), або розрі́знювальні імові́рнісні моде́лі з лате́нтними змі́нними (РІМЛЗ, англ. discriminative probabilistic latent variable models, DPLVM) — це один із типів УВП для задач маркування послідовностей. Вони є моделями з латентними змінними, що тренують розрізнювально.

В ЛДУВП, як і в будь-якій задачі маркування послідовностей, для заданої послідовності спостережень x = ${\displaystyle x_{1},\dots ,x_{n}}$ головною задачею, яку ця модель мусить розв'язати, є як призначити послідовність міток y = ${\displaystyle y_{1},\dots ,y_{n}}$ з однієї скінченної множини міток Y. Замість моделювати P(y|x) безпосередньо, як робило би звичайне лінійно-ланцюгове УВП, між x та y «вставляють» множину латентних змінних h, застосовуючи ланцюгове правило ймовірності:[13]

${\displaystyle P(\mathbf {y} |\mathbf {x} )=\sum _{\mathbf {h} }P(\mathbf {y} |\mathbf {h} ,\mathbf {x} )P(\mathbf {h} |\mathbf {x} )}$

Це дозволяє схоплювати латентну структуру між спостереженнями та мітками.[14] В той час як ЛДУВП може бути треновано з використанням квазі-ньютонових методів, для них на основі алгоритму структурового перцептрону Коллінза також було розроблено особливу версію алгоритму перцептрону, названу перцептро́ном з лате́нтними змі́нними (англ. latent-variable perceptron).[13] Ці моделі знаходять застосування в комп'ютерному баченні, зокрема в розпізнаванні жестів для потоків відео,[14] та в поверхнево-синтаксичному аналізі.[13]