Трансформер (модель машинного навчання)

Вентильні РНМ обробляють лексеми послідовно, підтримуючи вектор стану, що містить подання даних, побачене після кожної лексеми. Щоб обробити n-ту лексему, ця модель поєднує стан, що подає речення по лексему n − 1, з інформацією про цю нову лексему, щоби створити новий стан, що подає речення по лексему n. Теоретично, інформація від однієї лексеми може поширюватися послідовністю як завгодно далеко, якщо в кожній точці стан продовжує кодувати контекстну інформацію про цю лексему. На практиці цей механізм має вади: проблема зникання градієнту залишає стан моделі в кінці довгого речення без точної, добутної інформації про попередні лексеми.

Цю проблему було розв'язано механізмами уваги. Механізми уваги дозволяють моделі робити висновки зі стану в будь-якій ранішій точці протягом послідовності. Шар уваги має доступ до всіх попередніх станів, і зважує їх відповідно до навченої міри або доречності, забезпечуючи доречну інформацію про віддалені лексеми.

Яскравим прикладом цінності уваги є мовний переклад, у якому для визначення значення слова в реченні є важливим контекст. У системі перекладу з англійської українською перше слово україномовного виходу найімовірніше сильно залежить від перших декількох слів англомовного входу. Проте в класичній моделі ДКЧП, щоби виробити перше слово україномовного виходу, моделі дається лише вектор стану крайнього англомовного слова. Теоретично цей вектор може кодувати інформацію про все англомовне речення, даючи моделі все необхідне знання. На практиці ДКЧП часто зберігає цю інформацію погано. Для подолання цієї проблеми може бути додано механізм уваги: декодувальникові надають доступ до векторів стану кожного вхідного англомовного слова, а не лише крайнього, і він може навчатися ваг уваги, що диктують, як багато уваги приділяти кожному з векторів стану англомовного входу.

При додаванні до РНМ механізми уваги покращують продуктивність. Розробка архітектури Трансформера показала, що механізми уваги були потужними самі по собі, і що послідовна рекурентна обробка даних не була необхідною для досягання виграшу в продуктивності РНМ з увагою. Трансформери використовують механізм уваги без РНМ, обробляючи всі лексеми одночасно, й обчислюючи ваги уваги між ними в послідовних шарах.

Будівельними блоками трансформера є вузли масштабованої скалярнодобуткової уваги (англ. scaled dot-product attention units). Коли трансформеровій моделі передають речення, ваги уваги між усіма лексемами обчислюються одночасно. Вузол уваги виробляє вкладення для кожної лексеми в контексті, які містять інформацію про саму лексему, разом зі зваженим поєднанням інших релевантних лексем, кожну з яких зважено за вагою уваги до неї.

Для кожного вузла уваги трансформерова модель навчається трьох вагових матриць: ваг запиту (англ. query weights) ${\displaystyle W_{Q}}$, ваг ключа (англ. key weights) ${\displaystyle W_{K}}$, та ваг значення (англ. value weights) ${\displaystyle W_{V}}$. Для кожної лексеми ${\displaystyle i}$ вкладення слова входу ${\displaystyle x_{i}}$ множиться на кожну з цих трьох матриць, даючи вектор запиту ${\displaystyle q_{i}=x_{i}W_{Q}}$, вектор ключа ${\displaystyle k_{i}=x_{i}W_{K}}$, та вектор значення ${\displaystyle v_{i}=x_{i}W_{V}}$. Ваги уваги обчислюються з використанням векторів запиту та ключа: вага уваги ${\displaystyle a_{ij}}$ з боку лексеми ${\displaystyle i}$ до лексеми ${\displaystyle j}$ є скалярним добутком ${\displaystyle q_{i}}$ на ${\displaystyle k_{j}}$. Ваги уваги ділять на квадратний корінь розміру векторів ключа, ${\displaystyle {\sqrt {d_{k}}}}$, що стабілізує градієнти під час тренування, та пропускають через softmax, що унормовує ці ваги. Той факт, що ${\displaystyle W_{Q}}$ та ${\displaystyle W_{K}}$ є різними матрицями, дає увазі можливість бути несиметричною: якщо лексема ${\displaystyle i}$ звертає увагу на лексему ${\displaystyle j}$ (тобто, ${\displaystyle q_{i}\cdot k_{j}}$ є великим), то це не обов'язково означає, що лексема ${\displaystyle j}$ звертає увагу на лексему ${\displaystyle i}$ (тобто, ${\displaystyle q_{j}\cdot k_{i}}$ може бути малим). Виходом вузла уваги для лексеми ${\displaystyle i}$ є зважена сума векторів значення всіх лексем, зважених на ${\displaystyle a_{ij}}$, увагу з боку лексеми ${\displaystyle i}$ до кожної з лексем.

Обчислення уваги (англ. attention) для всіх лексем може бути виражено через одне велике матричне обчислення з використанням функції softmax, що є корисним для тренування через обчислювальні оптимізації матричних операцій, які обчислюють матричні операції швидко. Матриці ${\displaystyle Q}$, ${\displaystyle K}$ та ${\displaystyle V}$ визначено як матриці, в яких ${\displaystyle i}$-ті рядки є векторами ${\displaystyle q_{i}}$, ${\displaystyle k_{i}}$ та ${\displaystyle v_{i}}$ відповідно.

${\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}}$

Один набір матриць ${\displaystyle \left(W_{Q},W_{K},W_{V}\right)}$ називають головою уваги (англ. attention head), й кожен шар у трансформеровій моделі має декілька голів уваги. В той час як кожна з голів уваги звертає увагу на лексеми, що є релевантними до кожної з лексем, з декількома головами уваги ця модель може робити це для різних визначень «релевантності». Крім того, поле впливу, що подає релевантність, може поступово розширюватися в послідовних шарах. Багато трансформерових голів уваги кодують відношення релевантності, що є змістовними для людей. Наприклад, одні голови можуть звертати найбільше уваги на наступне слово, в той час як інші переважно звертають увагу дієслів на їхні безпосередні об'єкти.[8] Обчислення для кожної з голів уваги можуть виконуватися паралельно, що уможливлює швидку обробку. Виходи шару уваги зчіплюють, щоби передавати їх до шарів нейронних мереж прямого поширення.

Кожен кодувальник (англ. encoder) складається з двох головних складових: механізму самоуваги (англ. self-attention mechanism), та нейронної мережі прямого поширення. Механізм самоуваги приймає кодування входу з попереднього кодувальника, та зважує їхню релевантність одне одному, щоби породити кодування виходу. Нейронна мережа прямого поширення здійснює подальшу обробку кожного кодування виходу окремо. Ці кодування виходу відтак передають наступному кодувальникові як його вхід, так само як і декодувальникам.

Перший кодувальник отримує як вхід не кодування, а інформацію про положення та вкладення послідовності входу. Інформація про положення є необхідною трансформерові, щоби використовувати порядок послідовності, оскільки жодна інша частина трансформера його не використовує.[1]

Кожен декодувальник (англ. decoder) складається з трьох головних складових: механізму самоуваги, механізму уваги над кодуваннями, та нейронної мережі прямого поширення. Декодувальник працює подібно до кодувальника, крім вставленого додаткового механізму уваги, що натомість дістає релевантну інформацію з кодувань, породжених кодувальниками.[1][7]

Подібно до першого кодувальника, перший декодувальник бере як свій вхід не кодування, а інформацію про положення та вкладення послідовності виходу. Трансформер мусить не використовувати для передбачування виходу поточний або майбутній вихід, тож послідовність виходу мусить бути частково приховано, щоби запобігти цьому зворотному потокові інформації.[1] За крайнім декодувальником йде завершальне лінійне перетворення та шар softmax, щоби виробляти ймовірності виходу над словником.

Тренування архітектур на трансформеровій основі може бути витратним, особливо для довгих речень.[9] До альтернативних архітектур належить Реформер (англ. Reformer, що знижує обчислювальне навантаження з ${\displaystyle O(N^{2})}$ до ${\displaystyle O(N\ln N)}$) та моделі на кшталт ETC/BigBird (які можуть знижувати його до ${\displaystyle O(N)}$),[10] де ${\displaystyle N}$ є довжиною послідовності. Це здійснюється шляхом застосування локально-чутливого гешування та оборотних шарів (англ. reversible layers).[11][12]

Орієнтир для порівнювання трансформерових архітектур було запроваджено наприкінці 2020 року.[13]