Спільний розподіл

Розгляньмо підкидання двох правдивих монет; нехай A та B є дискретними випадковими змінними, пов'язаними з результатами підкидань першої та другої монети відповідно. Якщо монета показує аверс, то пов'язана випадкова змінна є 1, інакше 0. Спільна функція маси ймовірності A та B визначає ймовірності для кожної з пар результатів. Усіма можливими результатами є

${\displaystyle (A=0,B=0),(A=0,B=1),(A=1,B=0),(A=1,B=1)}$

Оскільки кожен з результатів є однаково правдоподібним, то спільною функцією маси ймовірності стає

${\displaystyle P(A,B)=1/4}$

де ${\displaystyle A,B\in \{0,1\}}$. Оскільки підкидання монет є незалежними, спільна функція маси ймовірності є добутком відособлених:

${\displaystyle P(A,B)=P(A)P(B)}$.

Загалом, кожне підкидання монети є пробою Бернуллі, й послідовність підкидань слідує розподілові Бернуллі.

Розгляньмо кидання правдивого грального кубика, і нехай A = 1, якщо число є парним (тобто, 2, 4, або 6), а інакше A = 0. До того ж, нехай B = 1, якщо число є простим (тобто, 2, 3, або 5), а інакше B = 0.

Тоді спільним розподілом A та B, вираженим як функція маси ймовірності, є

${\displaystyle \mathrm {P} (A=0,B=0)=P\{1\}={\frac {1}{6}},\;\mathrm {P} (A=1,B=0)=P\{4,6\}={\frac {2}{6}},}$

${\displaystyle \mathrm {P} (A=0,B=1)=P\{3,5\}={\frac {2}{6}},\;\mathrm {P} (A=1,B=1)=P\{2\}={\frac {1}{6}}.}$

Ці ймовірності обов'язково дають в сумі 1, оскільки ймовірністю того, що трапиться якась комбінація A та B, є 1.

Спільною функцією маси ймовірності двох дискретних випадкових змінних ${\displaystyle X,Y}$ є

${\displaystyle {\begin{aligned}\mathrm {P} (X=x,Y=y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)\end{aligned}}.}$

Узагальненням попереднього випадку для двох змінних є спільний розподіл імовірності ${\displaystyle n\,}$ дискретних випадкових змінних ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$, яким є

${\displaystyle {\begin{aligned}\mathrm {P} (X_{1}=x_{1},\dots ,X_{n}=x_{n})&=\mathrm {P} (X_{1}=x_{1})\\&\qquad \times \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\quad \qquad \times \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\times \dots \times P(X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1})\end{aligned}}}$

Ця тотожність відома як ланцюгове правило ймовірності.

Оскільки це є ймовірностями, у випадку для двох змінних ми маємо

${\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i},Y=y_{j})=1,\,}$

що узагальнюється для ${\displaystyle n\,}$ дискретних випадкових змінних ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ як

${\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}$

Спільна функція густини ймовірності f_X,Y(x, y) для неперервних випадкових змінних дорівнює

${\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)\;}$

…де f_Y|X(y|x) та f_X|Y(x|y) дають умовні розподіли Y коли X = x та X коли Y = y відповідно, а f_X(x) та f_Y(y) дають відособлені розподіли X та Y відповідно.

Знов-таки, оскільки вони є розподілами ймовірності, маємо

${\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1.}$

Змішану спільну густину може бути визначено, коли одна випадкова змінна X є неперервною, а інша випадкова змінна Y є дискретною, або навпаки, як

${\displaystyle {\begin{aligned}f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x)\end{aligned}}}$

Один з прикладів ситуації, в якій ми можемо хотіти знаходити сукупний розподіл однієї випадкової змінної, що є неперервною, та іншої випадкової змінної, що є дискретною, виникає, коли ми хочемо використовувати логістичну регресію в передбаченні ймовірності двійкового результату Y в залежності від неперервно розподіленого результату X. Ми змушені використовувати «змішану» спільну густину при знаходженні сукупного розподілу цього двійкового результату, оскільки вхідні змінні (X, Y) початково було визначено таким чином, що неможливо одночасно призначити їм або функцію густини ймовірності, або функцію маси ймовірності. Формально f_X,Y(x, y) є функцією густини ймовірності (X, Y) з урахуванням добутку мір відповідних носіїв X та Y. Будь-який з цих двох розкладів може потім бути використано для відновлення спільної кумулятивної функції розподілу:

${\displaystyle {\begin{aligned}F_{X,Y}(x,y)&=\sum \limits _{t\leq y}\int _{s=-\infty }^{x}f_{X,Y}(s,t)\;ds\end{aligned}}}$

Це визначення узагальнюється до суміші довільного числа дискретних та неперервних випадкових змінних.

Дві дискретні випадкові змінні ${\displaystyle X}$ та ${\displaystyle Y}$ є незалежними, якщо спільна функція маси ймовірності задовольняє

${\displaystyle \ P(X=x,Y=y)=P(X=x)\cdot P(Y=y)}$

для всіх x та y.

Аналогічно, дві абсолютно неперервні випадкові змінні є незалежними, якщо

${\displaystyle \ f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}$

для всіх x та y. Це означає, що отримання будь-якої інформації про значення однієї або більше випадкових змінних веде до такого умовного розподілу будь-якої іншої змінної, що є тотожним її безумовному (відособленому) розподілові; таким чином, жодна змінна не надає жодної інформації про будь-яку іншу змінну.

Якщо підмножина ${\displaystyle A}$ змінних ${\displaystyle X_{1},\cdots ,X_{n}}$ є умовно залежною від іншої підмножини ${\displaystyle B}$ цих змінних, то спільний розподіл ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$ дорівнює ${\displaystyle P(B)\cdot P(A\mid B)}$. Таким чином, його може бути ефективно представлено розподілами нижчої розмірності ${\displaystyle P(B)}$ та ${\displaystyle P(A\mid B)}$. Такі відносини умовної незалежності може бути представлено баєсовою мережею.

Спільний розподіл імовірності для пари випадкових змінних може бути виражено в термінах кумулятивної функції розподілу ${\displaystyle F(x,y)=P(X\leq x,Y\leq y).}$