Спряжений апріорний розподіл

Форму спряженого апріора як правило, можне визначити шляхом перевірки густини ймовірності чи функції ймовірності розподілу. Наприклад, розглянемо випадкову величину, що складається з кількості успіхів ${\displaystyle s}$ в ${\displaystyle n}$ випробуваннях Бернуллі з невідомою ймовірністю успіху ${\displaystyle q}$ в [0,1]. Ця випадкова величина має біноміальний розподіл з функцією ймовірності у вигляді

${\displaystyle p(s)={n \choose s}q^{s}(1-q)^{n-s}}$

Звичайним спряженим апріором такої функції є функція ймовірності бета-розподілу з параметрами ( ${\displaystyle \alpha }$, ${\displaystyle \beta }$ ):

${\displaystyle p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

де ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ вибираються для відображення будь-яких наявних переконань чи інформації ( ${\displaystyle \alpha }$ = 1 і ${\displaystyle \beta }$ = 1 дасть рівномірний розподіл ) і Β ( ${\displaystyle \alpha }$ , ${\displaystyle \beta }$ ) — бета-функція, яка діє як нормалізуюча константа .

У цьому контексті, ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ називаються гіперпараметрами (параметрами апріора), щоб відрізнити їх від параметрів базової моделі (тут q). Типовою характеристикою спряжених апріорів є те, що розмірність гіперпараметрів на одиницю більша, ніж розмірність параметрів вихідного розподілу. Якщо всі параметри є скалярними значеннями, то це означає, що буде на один гіперпараметр більше, ніж параметр; але це також стосується параметрів із векторними та матричними значеннями. (Див. загальну статтю про експоненційну сім’ю, а також розглянемо розподіл Вішарта, спряжений апріор коваріаційної матриці багатовимірного нормального розподілу, для прикладу, коли маємо справу з великою розмірністю).

Якщо ми потім виберемо цю випадкову величину і отримаємо s успіхів і f невдач, ми маємо

${\displaystyle {\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\end{aligned}}}$

тобто ще один бета-розподіл з параметрами ( ${\displaystyle \alpha }$ + s, ${\displaystyle \beta }$ + f ). Цей апостеріорний розподіл можна було б використовувати як апріор для більшої кількості вибірок, при цьому гіперпараметри просто щоразу додають додаткову порцію інформації щойно вона надходить.

Часто корисно вважати гіперпараметри спряженого апріора розподілу як відповідні спостереженню певної кількості псевдоспостережень із властивостями, заданими параметрами. Наприклад, значення ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ бета-розподілу можна вважати відповідним ${\displaystyle \alpha -1}$ успіхам і ${\displaystyle \beta -1}$ невдачам, якщо постеріорний режим використовується для вибору оптимального параметра, або ${\displaystyle \alpha }$ успіхів і ${\displaystyle \beta }$ невдач, якщо для вибору оптимального параметра використовується постеріорне середнє значенняя. Загалом, для майже всіх спряжених апріорів розподілів гіперпараметри можна інтерпретувати в термінах псевдоспостережень. Це може допомогти як в інтуїтивному трактуванні часто заплутаних оновлень рівняннянь, так і для вибору розумних гіперпараметрів для апріора.

Припустимо, у вашому місті працює служба прокату автомобілів. Водії можуть залишати та брати автомобілі в будь-якому місці в межах міста. Ви можете знайти та орендувати авто за допомогою програми.

Припустимо, ви хочете знайти ймовірність того, що ви зможете знайти авто для оренди на невеликій відстані від вашої домашньої адреси в будь-який час доби.

Протягом трьох днів ви переглядаєте додаток і знаходите таку кількість автомобілів на невеликій відстані від вашої домашньої адреси: ${\displaystyle \mathbf {x} =[3,4,1]}$

Якщо ми припустимо, що дані отримані з розподілу Пуассона, ми можемо обчислити оцінку максимальної правдоподібності параметра моделі ${\textstyle \lambda ={\frac {3+4+1}{3}}\approx 2.67.}$ Використовуючи цю оцінку максимальної ймовірності, ми можемо обчислити ймовірність того, що в певний день буде принаймні один автомобіль: ${\textstyle p(x>0|\lambda \approx 2.67)=1-p(x=0|\lambda \approx 2.67)=1-{\frac {2.67^{0}e^{-2.67}}{0!}}\approx 0.93}$

Цей розподіл Пуассона, який, скоріш за все, породив бачені нами дані ${\displaystyle \mathbf {x} }$ . Але дані також могли бути отримані з іншого розподілу Пуассона, наприклад, з ${\displaystyle \lambda =3}$, або ${\displaystyle \lambda =2}$, тощо Насправді існує нескінченна кількість розподілів Пуассона, які могли б генерувати спостережувані дані, і з відносно невеликою кількістю спостережень ми неможемо бути досить впевнені щодо того, який саме розподіл Пуассона згенерував ці дані. Інтуїтивно ми повинні замість цього взяти середнє зважене значення ймовірності ${\displaystyle p(x>0|\lambda )}$ для кожного з цих розподілів Пуассона, зважених значенням того наскільки вони ймовірні, враховуючи дані, які ми спостерігали ${\displaystyle \mathbf {x} }$ .

Як правило, ця величина відома як апостеріорний прогнозний розподіл ${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta )p(\theta |\mathbf {x} )d\theta \,,}$ де ${\displaystyle x}$ це нова точка даних, ${\displaystyle \mathbf {x} }$ є спостережуваними даними і ${\displaystyle \theta }$ є параметрами моделі. Використовуючи теорему Баєса, можна розширити ${\displaystyle p(\theta |\mathbf {x} )={\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}\,,}$ тому ${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta ){\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}d\theta \,.}$ Як правило, цей інтеграл важко обчислити. Однак, якщо ви виберете спряжений апріорний розподіл ${\displaystyle p(\theta )}$, можна отримати явну формулу. Її можна знайти в останньому стовпці в таблицях нижче.

Повертаючись до нашого прикладу, якщо виберемо гамма-розподіл як наш апріорний розподіл параметра ${\displaystyle \lambda }$ в розподілі Пуассона, то постеріорним розподілом для передбачення буде негативний біноміальний розподіл, як видно з останнього стовпця таблиці нижче. Гамма-розподіл параметризується двома гіперпараметрами ${\displaystyle \alpha ,\beta }$ які ми маємо вибрати. Зважаючи на графіки гамма-розподілу, вибираємо ${\displaystyle \alpha =\beta =2}$, що, видається обґрунтованим апріором для середньої кількості автівок. Вибір апріорних гіперпараметрів за своєю суттю є суб’єктивним і заснований на попередніх знаннях і досвіді.

Враховуючи апріорні гіперпараметри ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ ми можемо обчислити постеріорні гіперпараметри ${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$ і ${\textstyle \beta '=\beta +n=2+3=5}$

Враховуючи постеріорні гіперпараметри, ми можемо нарешті обчислити апостеріорний прогноз ${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {1}{1+5}}\right)\approx 0.84}$

Ця набагато більш консервативна оцінка відображає невизначеність параметрів моделі, яку враховує постеріорний прогноз.

Нехай n - кількість спостережень. У всіх нижченаведених випадках передбачається, що дані складаються з n точок ${\displaystyle x_{1},\ldots ,x_{n}}$ (які будуть випадковими векторами у багатовимірних випадках).

Якщо функція правдоподібності належить експоненціальному сімейству, то спряжений апріор існує, часто також з експоненціального сімейства.

Коли функція правдоподібності є дискретним розподілом

Правдоподібність	Параметри моделі	Розподіл спряженого апріора	Гіперпараметри апріора	Гіперпараметри постреріора[note 1]	Інтерпретація гіперпараметрів	Постеріорний прогнозний розподіл[note 2]
Бернуллі	p (ймовірність)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успіхи, ${\displaystyle \beta }$ невдачі[note 3]	${\displaystyle p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}}$
Біноміальний	p (ймовірність)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успіхи, ${\displaystyle \beta }$ невдачі[note 3]	${\displaystyle \operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')}$ (Бета-біноміальний)
Від'ємний біноміальний з відомою кількістю невдач, r	p (ймовірність)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ число всіх успіхів, ${\displaystyle \beta }$ невдачі[note 3] (тобто, ${\displaystyle {\frac {\beta }{r}}}$ експериментів, за умови, що ${\displaystyle r}$ фіксоване)	${\displaystyle \operatorname {BetaNegBin} ({\tilde {x}}|\alpha ',\beta ')}$ (beta-negative binomial)
Пуассон	λ (темп)	Гамма	${\displaystyle k,\,\theta \in \mathbb {R} \!}$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!}$	${\displaystyle k}$ загальна кількість випадань в ${\displaystyle {\frac {1}{\theta }}}$ інтервалах	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid k',{\frac {\theta '}{\theta '+1}}\right)}$ (Від'ємний біноміальний)
			${\displaystyle \alpha ,\,\beta \!}$ [note 4]	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!}$	${\displaystyle \alpha }$ загальна кількість випадань в ${\displaystyle \beta }$ інтервалах	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid \alpha ',{\frac {1}{1+\beta '}}\right)}$ (Від'ємний біноміальний)
Категорійний	p (вектор ймовірності), k (число категорій; тобто, розмірність p)	Діріхле	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),}$ де ${\displaystyle c_{i}}$ число спостережень в категорії i	${\displaystyle \alpha _{i}}$ число випадінь категорії ${\displaystyle i}$[note 3]	${\displaystyle {\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}}$
Поліноміальний	p (вектор ймовірності), k (число категорій; тобто, розмірність p)	Діріхле	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!}$	${\displaystyle \alpha _{i}}$ число випадінь категорії ${\displaystyle i}$[note 3]	${\displaystyle \operatorname {DirMult} ({\tilde {\mathbf {x} }}\mid {\boldsymbol {\alpha }}')}$ (Dirichlet-multinomial)
Гіпергеометричний з відомим розміром загальної популяції, N	M (цільове число членів)	Бета-біноміальний[4]	${\displaystyle n=N,\alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ успіхи, ${\displaystyle \beta }$ невдачі[note 3]
Геометричний	p0 (ймовірність)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$ експерименти, ${\displaystyle \beta }$ всі невдачі[note 3]

Коли функція ймовірності є безперервним розподілом

Правдоподібність	Параметри моделі	Розподіл спряженого апріора	Гіперпараметри апріора	Гіперпараметри постреріора[note 1]	Інтерпретація гіперпараметрів	Постеріорний прогнозний розподіл[note 5]
Нормальний з відомою дисперсією σ2	μ (середнє)	Нормальний	${\displaystyle \mu _{0},\,\sigma _{0}^{2}\!}$	${\displaystyle {\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}}$	mean was estimated from observations with total precision (sum of all individual precisions)${\displaystyle 1/\sigma _{0}^{2}}$ and with sample mean ${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})}$[5]
Нормальний with known precision τ	μ (середнє)	Нормальний	${\displaystyle \mu _{0},\,\tau _{0}\!}$	${\displaystyle {\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\left(\tau _{0}+n\tau \right)^{-1}}$	mean was estimated from observations with total precision (sum of all individual precisions)${\displaystyle \tau _{0}}$ and with sample mean ${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {x}}\mid \mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)}$
Нормальний з відомим середнім μ	σ2 (дисперсія)	Обернений гамма	${\displaystyle \mathbf {\alpha ,\,\beta } }$	${\displaystyle \mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}}$	variance was estimated from ${\displaystyle 2\alpha }$ observations with sample variance ${\displaystyle \beta /\alpha }$ (i.e. with sum of squared deviations ${\displaystyle 2\beta }$, where deviations are from known mean ${\displaystyle \mu }$)	${\displaystyle t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')}$
Нормальний з відомим середнім μ	σ2 (дисперсія)	Scaled inverse chi-squared	${\displaystyle \nu ,\,\sigma _{0}^{2}\!}$	${\displaystyle \nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!}$	variance was estimated from ${\displaystyle \nu }$ observations with sample variance ${\displaystyle \sigma _{0}^{2}}$	${\displaystyle t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')}$
Нормальний з відомим середнім μ	τ (прецизійність)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!}$	precision was estimated from ${\displaystyle 2\alpha }$ observations with sample variance ${\displaystyle \beta /\alpha }$ (i.e. with sum of squared deviations ${\displaystyle 2\beta }$, where deviations are from known mean ${\displaystyle \mu }$)	${\displaystyle t_{2\alpha '}({\tilde {x}}\mid \mu ,\sigma ^{2}=\beta '/\alpha ')}$
Нормальний	μ і σ2 за умови взаємозамінности	Normal-inverse gamma	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ середнє вибірки	mean was estimated from ${\displaystyle \nu }$ observations with sample mean ${\displaystyle \mu _{0}}$; variance was estimated from ${\displaystyle 2\alpha }$ observations with sample mean ${\displaystyle \mu _{0}}$ and sum of squared deviations ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)}$
Нормальний	μ і τ за умови взаємозамінности	Normal-gamma	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ середнє вибірки	mean was estimated from ${\displaystyle \nu }$ observations with sample mean ${\displaystyle \mu _{0}}$, and precision was estimated from ${\displaystyle 2\alpha }$ observations with sample mean ${\displaystyle \mu _{0}}$ and sum of squared deviations ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)}$
Багатовимірний нормальний з відомою матрицею коваріації Σ	μ (вектор середнього)	Багатовимірний нормальний	${\displaystyle {\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),}$ ${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ середнє вибірки	mean was estimated from observations with total precision (sum of all individual precisions)${\displaystyle {\boldsymbol {\Sigma }}_{0}^{-1}}$ and with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})}$
Багатовимірний нормальний з відомою матрицею прецизійності Λ	μ (вектор середнього)	Багатовимірний нормальний	${\displaystyle \mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}}$	${\displaystyle \left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)}$ ${\displaystyle \mathbf {\bar {x}} }$ середнє вибірки	mean was estimated from observations with total precision (sum of all individual precisions)${\displaystyle {\boldsymbol {\Lambda }}_{0}}$ and with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1}\right)}$
Багатовимірний нормальний з відомим середнім μ	Σ (матриця коваріації)	Inverse-Wishart	${\displaystyle \nu ,\,{\boldsymbol {\Psi }}}$	${\displaystyle n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}}$	covariance matrix was estimated from ${\displaystyle \nu }$ observations with sum of pairwise deviation products ${\displaystyle {\boldsymbol {\Psi }}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)}$
Багатовимірний нормальний з відомим середнім μ	Λ (матриця прецизійності)	Wishart	${\displaystyle \nu ,\,\mathbf {V} }$	${\displaystyle n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}}$	covariance matrix was estimated from ${\displaystyle \nu }$ observations with sum of pairwise deviation products ${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\mid {\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)}$
Багатовимірний нормальний	μ (вектор середнього) і Σ (матриця коваріації)	normal-inverse-Wishart	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle {\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}}$ ${\displaystyle \mathbf {\bar {x}} }$ середнє вибірки ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	mean was estimated from ${\displaystyle \kappa _{0}}$ observations with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$; covariance matrix was estimated from ${\displaystyle \nu _{0}}$ observations with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$ and with sum of pairwise deviation products ${\displaystyle {\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)}$
Багатовимірний нормальний	μ (вектор середнього) і Λ (матриця прецизійності)	normal-Wishart	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V} }$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle \left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ середнє вибірки ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	mean was estimated from ${\displaystyle \kappa _{0}}$ observations with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$; covariance matrix was estimated from ${\displaystyle \nu _{0}}$ observations with sample mean ${\displaystyle {\boldsymbol {\mu }}_{0}}$ and with sum of pairwise deviation products ${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)}$
Рівномірний	${\displaystyle U(0,\theta )\!}$	Парето	${\displaystyle x_{m},\,k\!}$	${\displaystyle \max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!}$	${\displaystyle k}$ observations with maximum value ${\displaystyle x_{m}}$
Парето з відомим мінімумом xm	k (форма)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!}$	${\displaystyle \alpha }$ observations with sum ${\displaystyle \beta }$ of the order of magnitude of each observation (i.e. the logarithm of the ratio of each observation to the minimum ${\displaystyle x_{m}}$)
Weibull з відомим параметром форми β	θ (масштаб)	Обернений гамма	${\displaystyle a,b\!}$	${\displaystyle a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!}$	${\displaystyle a}$ observations with sum ${\displaystyle b}$ of the β'th power of each observation
Логнормальний	Same as for the normal distribution after applying the natural logarithm to the data for the posterior hyperparameters. Please refer to page 21 and 22 [4] to see the details.
Експоненційний	λ (темп)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha -1}$ observations that sum to ${\displaystyle \beta }$	${\displaystyle \operatorname {Lomax} ({\tilde {x}}\mid \beta ',\alpha ')}$ (Lomax distribution)
Гамма з відомим параметром α	β (темп)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha _{0}/\alpha }$ observations with sum ${\displaystyle \beta _{0}}$	${\displaystyle \operatorname {CG} ({\tilde {\mathbf {x} }}\mid \alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')}$
Обернений гамма з відомим параметром форми α	β (обернений масштаб)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!}$	${\displaystyle \alpha _{0}/\alpha }$ observations with sum ${\displaystyle \beta _{0}}$
Гамма з відомим параметром темпу β	α (форма)	${\displaystyle \propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}}$	${\displaystyle a,\,b,\,c\!}$	${\displaystyle a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!}$	${\displaystyle b}$ or ${\displaystyle c}$ observations (${\displaystyle b}$ for estimating ${\displaystyle \alpha }$, ${\displaystyle c}$ for estimating ${\displaystyle \beta }$) with product ${\displaystyle a}$
Гамма	α (форма), β (обернений масштаб)	${\displaystyle \propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}}$	${\displaystyle p,\,q,\,r,\,s\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!}$	${\displaystyle \alpha }$ was estimated from ${\displaystyle r}$ observations with product ${\displaystyle p}$; ${\displaystyle \beta }$ was estimated from ${\displaystyle s}$ observations with sum ${\displaystyle q}$
Beta	α, β	${\displaystyle \propto {\frac {\Gamma (\alpha +\beta )^{k}\,p^{\alpha }\,q^{\beta }}{\Gamma (\alpha )^{k}\,\Gamma (\beta )^{k}}}}$	${\displaystyle p,\,q,\,k\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q\prod _{i=1}^{n}(1-x_{i}),\,k+n\!}$	${\displaystyle \alpha }$ and ${\displaystyle \beta }$ were estimated from ${\displaystyle k}$ observations with product ${\displaystyle p}$ and product of the complements ${\displaystyle q}$

• Бета-біноміальний розподіл

1. Позначається тими ж символами що й апріорні гіперпараметри з апострофами('). Наприклад ${\displaystyle \alpha }$ позначається ${\displaystyle \alpha '}$
2. Це постеріорний прогнозний розподіл нової точки ${\displaystyle {\tilde {x}}}$ зумовлений спостереженими точками (наявною інформацією), що мають парпметри граничного розподілу. Змінні з апострофами позначають постеріорні значення параметрів.
3. Точна інтерпретація параметрів бета-розподілу з точки зору кількості успіхів і невдач залежить від того, яка функція використовується для отримання точкової оцінки з розподілу. Матсподівання бета-розподілу обчислюється як ${\displaystyle {\frac {\alpha }{\alpha +\beta }},}$ що відповідає ${\displaystyle \alpha }$ успіхам і ${\displaystyle \beta }$ невдачам, тоді як його мода дорівнює ${\displaystyle {\frac {\alpha -1}{\alpha +\beta -2}},}$ що відповідає ${\displaystyle \alpha -1}$ успіхам і ${\displaystyle \beta -1}$ невдачам. У Баєсівських обчисленнях точкових оцінок віддають перевагу постеріорному матсподіванню перед постеріорною модою, ґрунтуючись на квадратичній функції втрат, до того ж використання ${\displaystyle \alpha }$ і ${\displaystyle \beta }$ математично зручніше, тоді як перевагою використання ${\displaystyle \alpha -1}$ і ${\displaystyle \beta -1}$ є те, що рівномірний апріор ${\displaystyle {\rm {Beta}}(1,1)}$ відповідає випадку коли маємо 0 успіхів і 0 невдач. Аналогічні міркування мають місце при використанні розподілу Діріхле.
4. β темп зміни чи обернений до параметра масштабу. В параметризації Гамма-розподіл, θ = 1/β і k = α.
5. Це постеріорний прогнозний розподіл нової точки ${\displaystyle {\tilde {x}}}$ зумовлений спостереженими точками (наявною інформацією), що мають парпметри граничного розподілу. Змінні з апострофами позначають постеріорні значення параметрів. ${\displaystyle {\mathcal {N}}}$ and ${\displaystyle t_{n}}$ позначають нормальний розподіл і t-розподіл Стьюдента або ж багатовимірний нормальний розподіл і багатовимірний t-розподіл Стьюдента у багатовиміних випадках відповідно.