OpenAI Five

В листопаді 2016 року почалася робота над алгоритмами, які б використовувалися для ботів. OpenAI вирішив взяти за основу відеогру Dota 2, в якій змагаються команди у форматі п'ять на п'ять, через її популярність на стримінговій платформі Twitch, яка має вбудовану підтримку Linux і має доступний API.[1] Спочатку, до того як почати симулювати гру команди із п'яти осіб, система перемогла у прямому ефірі один на один професійного українського кіберспортсмена Денді на першій публічній демонстрації у серпні під час щорічного чемпіонату світу The International 2017.[2][3] Після матчу, технічний директор проекту Грег Брокман пояснив, що бот вчився, граючи проти самого себе протягом двох тижнів реального часу, і що створене для цього програмне забезпечення було кроком у напрямку створення систем, які зможуть виконувати більш складні завдання «на кшталт, бути хірургом».[4][5] OpenAI використовували у своїй роботі «навчання з підкріпленням», оскільки боти вчились, граючи проти себе сотні разів на день протягом місяців, отримуючи винагороду за такі дії, як вбивство ворога та руйнування веж.[6][7][8]

У червні 2018 року можливості ботів розширилися до можливості грати разом як повна команда з п'яти осіб, і вони могли перемогати команди аматорів і напівпрофесійних гравців.[9][10][11][12] Під час The International 2018 OpenAI Five зіграв у двох матчах проти професійних команд, перший матч був проти бразильської paiN Gaming, а другий був проти команди всіх зірок, створеної із колишніх професійних китайських гравців.[13][14] Хоча боти програли обидва матчі, OpenAI вважали це успішним результатом, заявивши, що гра проти одних із кращих гравців в «Dota 2» дозволила їм проаналізувати та налаштувати свої алгоритми для майбутніх ігор.[15] Остання публічна демонстрація ботів відбулася у квітні 2019 року, коли вони виграли best-of-three серію проти чемпіонів The International 2018 OG на живому заході в Сан-Франциско.[16] Того ж місяця відбулася чотириденна онлайн-подія в самій грі, де кожний бажаючий міг зіграти проти ботів.[17] У підсумку з ботами було зіграно 42 729 публічні гри, серед яких боти програли тільки 4 075 гри.[18]

Кожна мережа OpenAI Five містить один шар із 4096 вузлів LSTM[19], який спостерігає за поточним станом гри, отриманим через API Dota. Нейронна мережа виконує дії за допомогою численних можливих «голів» дій (без залучення людських даних), і кожна така «голова» має семантичне значення. Наприклад, кількість часу для затримки дії, яку дію обрати — координати X або Y для цієї дії у системі координат юніта. Крім того, «голови» дій обчислюються незалежно. Система ШІ спостерігає за оточенням, представленим у вигляді списку із 20 000 чисел і виконує дію, створюючи список із восьми перерахованих значень. Крім того, вона обирає різні дії та цілі, щоб зрозуміти, як кодувати кожну дію та спостерігати за оточенням.[20]

OpenAI Five розроблена як універсальна система навчання з підкріпленням на інфраструктурі «Rapid». Rapid складається з двох типів воркерів: перший тип — rollout, який запускає тисячі копій гри і допомагає їм «розмовляти» один з одним, другий тип — optimizer, запускає програмне забезпечення для виконання градієнтного спуску. До 2018 року для навчання з підкріпленням градієнтним методом «Проксимальна стратегія оптимізації» (англ. Proximal Policy Optimization) OpenAI Five встиг награти близько 180 років гри на 256 GPU і 128 000 ядрах CPU[21][22][23].

До OpenAI Five раніше успішно використовувалися інші проекти та системи ШІ, що грають проти людей, наприклад Jeopardy! з Watson, шахи з Deep Blue і Го з AlphaGo.[24][25][26] У порівнянні з іншими іграми, які використовували системи штучного інтелекту для гри проти людей, Dota 2 відрізняється наявністю наступних елементів:

Перегляд довгострокової дії: боти працюють зі швидкістю 30 кадрів за секунду протягом середнього матчу тривалістю 45 хвилин, що призводить до 80 000 ходів за гру. OpenAI Five спостерігає за кожним четвертим кадром, генеруючи 20 000 ходів. Для порівняння, шахи зазвичай закінчуються до 40 ходу, тоді як Го закінчується до 150 ходу.[27]

Частково спостережуваний стан гри: гравці та їхні союзники можуть бачити карту лише навколо себе. Решта його вкрита туманом війни, який приховує ворожі підрозділи та їхні переміщення. Таким чином, гра в Dota 2 вимагає робити висновки на основі цих неповних даних, а також передбачати, що може робити опонент в цей самий час. Для порівняння, шахи і Гo — це ігри з повною інформацією, оскільки вони не приховують елементів від гравця суперника.[28][29]

Простір безперервної дії: кожен персонаж у грі Dota 2, відомий як герой, може виконувати десятки дій, спрямованих на іншого персонажа або позицію. Розробники OpenAI Five надають простір для 170 000 можливих дій для одного героя. Не враховуючи постійних аспектів гри, існує в середньому приблизно 1000 дійсних дій для кожного моменту часу. Для порівняння, середня кількість дій у шахах становить 35 і 250 у Го.[30]

Простір безперервного спостереження: Dota 2 грається на великій карті з десятьма героями, по п'ять у кожній команді, а також десятками будівель та персонажами (NPC). Система OpenAI спостерігає за станом гри через API бота розробників, отримуючи 20 000 значень, що становлять всю інформацію, до якої може отримати доступ людина. Шахова дошка представлена приблизно 70 значеннями, тоді як дошка для Го має близько 400 значень.[31]

OpenAI Five отримала визнання від спільноти ШІ, технологій та відеоігор у цілому. Засновник Майкрософт Білл Гейтс назвав це «великою справою», оскільки їхні перемоги вимагали командної роботи та співпраці.[32][33] Гравець в шахи Гаррі Каспаров, який програв ШІ Deep Blue у 1997 році, заявив, що, незважаючи на те, що боти програли на The International 2018, вони зрештою переможуть, і це буде раніше, ніж очікується.[34]

У розмові з MIT Technology Review експерти зі штучного інтелекту також вважали систему OpenAI Five значним досягненням, оскільки відзначили, що Dota 2 є надзвичайно складною грою, тож навіть перемоги над непрофесійними гравцями вражали.[35] PC Gamer написав, що перемоги ботів над професійними гравцями були важливою подією для машинного навчання.[36] На відміну від цього, Motherboard писав, що перемога була «шахрайством» через зменшений вибір доступних для гри героїв з обох сторін, а також через те, що ботам надали прямий доступ до API, на відміну від використання ними технології комп'ютерного зору для інтерпретації пікселів на екрані.[37] The Verge писав, що боти були доказом того, що підхід компанії до навчання з підкріпленням та її загальна філософія щодо штучного інтелекту «приносять плоди».[38]

У 2019 році DeepMind показав AlphaStar — схожого бота для Starcraft II. Як і OpenAI Five, AlphaStar використовував навчання з підкріпленням і гру сам із собою. «The Verge» повідомляє, що «мета такого типу досліджень штучного інтелекту полягає не тільки в тому, щоб перемогти людей у різних іграх, а щоб довести, що це можливо. Складне програмне забезпечення для штучного інтелекту може краще людей виконувати майже будь-яке когнітивне завдання, будь то настільна чи сучасна відеогра». Вони додали, що перемоги DeepMind і OpenAI також є свідченням користі використання навчання з підкріпленням.[39]

• Офіційний сайт
• Офіційний блог