Нейронний машинний переклад Google
Нейронний машинний переклад Google (GNMT) — це система нейронного машинного перекладу (NMT), розроблена компанією Google і представлена в листопаді 2016 року, яка використовує штучну нейронну мережу для підвищення швидкості і якості перекладу в Google Перекладачі.[1][2][3]
GNMT підвищує якість перекладу, застосовуючи метод машинного перекладу що базуеться на прикладах (EBMT), в якому система "навчається на мільйонах прикладів". Архітектура системного навчання GNMT була вперше випробувана на більш, ніж ста мовах, що підтримуються Google Перекладачем. Завдяки потужній внутрішній структурі, система з часом вчиться створювати більш якісні і природні переклади. GNMT здатна перекладати речення в цілому, а не частинами. GNMT здатна виконувати інтерлінгвальний машинний переклад, кодуючи семантику речення замість того, щоб запам'ятовувати переклади окремих фраз.[4]
Історія
Проект Google Brain був створений в 2011 році в “секретній дослідницькій лабораторії Google X” Джеффом Діном, співробітником Google, Грегом Коррадо, дослідником з Google, та Ендрю Ином, професором комп'ютерних наук Стенфордського університету.[5][6][7] Робота Ина лягла в основу одного з найбільших технологічних проривів в Google і Стенфорді.[8]
У вересні 2016 року дослідницька група Google оголосила про розробку системи перекладу GNMT, і до листопада Google Перекладач почав використовувати нейронний машинний переклад (NMT) замість колишніх статистичних методів (SMT)[9][10][11], які використовувалися з жовтня 2007 року всередині власної закритої SMT системи.[12][13]
Система NMT всередині Google Перекладача використовує велику штучну нейронну мережу, придатну для глибинного навчання.[1][2][3] Вивчаючи мільйони прикладів, GNMT покращує якість перекладу, використовуючи більш широкий контекст для виведення найбільш якісного перекладу. Потім результат перебудовується і пристосовується для відповідності граматиці людської мови. GNMT не створила свою внутрішню універсальну мову, а скоріше прагнула знайти спільне між багатьма мовами, що має бути цікаво більше для психологів і лінгвістів, ніж для фахівців в галузі інформатики.[14] Новий механізм перекладу був включений в обидві сторони для дев'яти мов: англійської, французької, німецької, іспанської, португальської, китайської, японської, корейської та турецької в 2016 році.[1] У березні 2017 року були додані ще три мови: російська, хінді і в'єтнамська.[15] У тому ж місяці за допомогою спільноти Google Перекладача була додана підтримка івриту та арабської мови.[16] Далі в кінці квітня 2017 року було додано підтримку дев'яти індійських мов, а саме: хінді, бенгалі, маратхі, гуджараті, пенджабі, тамільської, телугу, малаялам і каннада.[17]
Мови, що підтримуються GNMT
Нижче наведено список мовних пар, в яких для перекладу використовується модель нейронного машинного перекладу Google (NMT). Станом на липень 2017 року для всіх мов підтримується тільки переклад на англійську мову і назад:[18]
Мовна пара | Коди мов | |
---|---|---|
1 | Африкаанс <-> Англійська | af <-> en |
2 | Арабська <-> Англійська | ar <-> en |
3 | Болгарська <-> Англійська | bg <-> en |
4 | Китайська (спрощена) <-> Англійська | zh-CN <-> en |
5 | Китайська (традиційна) <-> Англійська | zh-TW <-> en |
6 | Хорватська <-> Англійська | hr <-> en |
7 | Чеська <-> Англійська | cs <-> en |
8 | Данська <-> Англійська | da <-> en |
9 | Голландська <-> Англійська | nl <-> en |
10 | Французька <-> Англійська | fr <-> en |
11 | Німецька <-> Англійська | de <-> en |
12 | Грецька <-> Англійська | el <-> en |
13 | Іврит <-> Англійська | iw <-> en |
14 | Хінді <-> Англійська | hi <-> en |
15 | Ісландська <-> Англійська | is <-> en |
16 | Індонезійська <-> Англійська | id <-> en |
17 | Італійська <-> Англійська | it <-> en |
18 | Японська <-> Англійська | ja <-> en |
19 | Корейська <-> Англійська | ko <-> en |
20 | Норвезька <-> Англійська | no <-> en |
21 | Польська <-> Англійська | pl <-> en |
22 | Португальська <-> Англійська | pt <-> en |
23 | Румунська <-> Англійська | ro <-> en |
24 | Російська <-> Англійська | ru <-> en |
25 | Словацька <-> Англійська | sk <-> en |
26 | Іспанська <-> Англійська | es <-> en |
27 | Шведська <-> Англійська | sv <-> en |
28 | Тайська <-> Англійська | th <-> en |
29 | Турецька <-> Англійська | tr <-> en |
30 | В'єтнамська <-> Англійська | vi <-> en |
Прямий переклад
Стверджується, що система GNMT краще попереднього варіанту Google Перекладача тим, що вона може виконувати "прямий переклад", тобто перекладати з однієї мови на іншу безпосередньо (наприклад, з японської на корейську). Раніше Google Перекладач спочатку перекладав з початкової мови на англійську, а потім з англійської на кінцеву мову замість прямого перекладу з однієї мови на іншу.[4]
Див. також
- Машинний переклад на основі прикладів
- Машинний переклад на основі правил
- Порівняння застосунків для машинного перекладу
- Статистичний машинний переклад
- Штучний інтелект
- Кешувальна модель мови
- Обчислювальна лінгвістика
- Автоматизований переклад
- Історія машинного перекладу
- Список перспективних технологій
- Список науково-дослідних лабораторій машинного перекладу
- Нейронний машинний переклад
- Машинний переклад
- Універсальний перекладач
Примітки
- Barak Turovsky (15 листопада 2016). Found in translation: More accurate, fluent sentences in Google Translate. Google Blog. Процитовано 11 січня 2017.
- Mike Schuster, Melvin Johnson, and Nikhil Thorat (22 листопада 2016). Zero-Shot Translation with Google’s Multilingual Neural Machine Translation System. Google Research Blog. Процитовано 11 січня 2017.
- Gil Fewster (5 січня 2017). The mind-blowing AI announcement from Google that you probably missed. freeCodeCamp. Процитовано 11 січня 2017.
- Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). MT on and for the Web (PDF). Процитовано 1 грудня 2016.
- Jeff Dean and Andrew Ng (26 червня 2012). Using large-scale brain simulations for machine learning and A.I.. Official Google Blog. Процитовано 26 січня 2015.
- Google's Large Scale Deep Neural Networks Project. Процитовано 25 жовтня 2015.
- Markoff, John (25 червня 2012). How Many Computers to Identify a Cat? 16,000. New York Times. Процитовано 11 лютого 2014.
- Robert D. Hof (14 серпня 2014). A Chinese Internet Giant Starts to Dream: Baidu is a fixture of online life in China, but it wants to become a global power. Can one of the world’s leading artificial intelligence researchers help it challenge Silicon Valley’s biggest companies?. Technology Review. Процитовано 11 січня 2017.
- Katyanna Quach (17 листопада 2016). Google's neural network learns to translate languages it hasn't been trained on: First time machine translation has used true transfer learning. Процитовано 11 січня 2017.
- Lewis-Kraus, Gideon (14 грудня 2016). The Great A.I. Awakening. The New York Times. Процитовано 11 січня 2017.
- Le, Quoc; Schuster, Mike (27 вересня 2016). A Neural Network for Machine Translation, at Production Scale. Google Research Blog. Google. Процитовано 1 грудня 2016.
- Google Switches to its Own Translation System, October 22, 2007
- Barry Schwartz (23 жовтня 2007). Google Translate Drops SYSTRAN for Home-Brewed Translation. Search Engine Land.
- Chris McDonald (7 січня 2017). Commenting on Gil Fewster's January 5th article in the Atlantic. Процитовано 11 січня 2017.
- Turovsky, Barak. Higher quality neural translations for a bunch more languages. The Keyword Google Blog. Google. Процитовано 6 березня 2017.
- Novet, Jordan (30 березня 2017). Google now provides AI-powered translations for Arabic and Hebrew. VentureBeat.
- Turovsky, Barak (25 квітня 2017). Making the internet more inclusive in India. The Keyword.
- Translation API Language Support. Google Cloud Platform. 4 травня 2017.
Посилання
- Переваги та недоліки машинного перекладу
- Статистичний машинний переклад
- Міжнародна асоціація машинного перекладу (IAMT)
- Архів машинного перекладу від Джона Хатчинса. Електронне сховище (і бібліографія) статей, книг і статей в області машинного перекладу і технології комп'ютерного перекладу
- Машинний переклад (автоматичний переклад) – публікації Джона Хатчинса (включають в себе PDF кількох книг про машинний переклад)