Завісні втрати

Хоч є поширеною практикою узагальнення бінарних ОВМ на багатокласову ОВМ у режимі один з усіх або один в один,[2] також можливе узагальнення з використанням завісної функції. Було запропоновано декілька різних багатокласових завісних втрат.[3] Наприклад, Крамер та Сінгер[4] дали таке визначення у випадку лінійного класифікатора:[5]

${\displaystyle \ell (y)=\max(0,1+\max _{t\neq y}\mathbf {w} _{t}\mathbf {x} -\mathbf {w} _{y}\mathbf {x} ).}$

Тут ${\displaystyle y}$ — мітка цілі, ${\displaystyle \mathbf {w} _{t}}$ та ${\displaystyle \mathbf {w} _{y}}$ — параметри моделі.

Вестон і Воткінс дали подібне визначення, але з сумою замість максимуму:[6][3]

${\displaystyle \ell (y)=\sum _{t\neq y}\max(0,1+\mathbf {w} _{t}\mathbf {x} -\mathbf {w} _{y}\mathbf {x} ).}$

При структуровому передбачуванні завісні втрати можуть бути поширені на структуровані вихідні простори. Структурова опорно-векторна машина з масштабуванням розділення використовує наступний варіант, де w позначає параметри ОВМ, y — передбачення ОВМ, φ додає функцію ознак та Δ є відстанню Геммінга:

${\displaystyle {\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle ).\end{aligned}}}$

Завісні втрати є опуклою функцією, отже, опуклі оптимізатори, що використовуються у машинному навчанні, можуть працювати з ними. Це не диференційовна функція, проте вона має субградієнт відносно параметрів моделі w лінійної ОВМ з функцією оцінки ${\displaystyle y=\mathbf {w} \cdot \mathbf {x} }$, який буде

${\displaystyle {\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1\\0&{\text{otherwise}}\end{cases}}}$

Креслення трьох варіантів завісних втрат як функції z = ty: «звичайний» варіант (синій), його квадрат (зелений), і кусково гладкий варіант Ренні та Сребро (червоний).

Однак, оскільки похідна завісних втрат при ${\displaystyle ty=1}$ невизначена, то гладкий варіант, запропонований Ренні та Сребро, є більш бажаним для оптимізації[7]

${\displaystyle \ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty\leq 1,\\0&{\text{if}}~~1\leq ty\end{cases}}}$

або квадратично гладкий

${\displaystyle \ell _{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma \\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}}$

запропонований Чангом.[8] Модифікований варіант втрат Губера ${\displaystyle L}$ є спеціальним випадком цієї функції втрат з ${\displaystyle \gamma =2}$, зокрема, ${\displaystyle L(t,y)=4\ell _{2}(y)}$.