GPT-3

Згідно журналу «Економіст», вдосконалені алгоритми, потужні комп'ютери, та збільшення оцифрованих даних спричинили революцію в машиннім навчанні, завдяки чому нові методики призвели 2010 року до «швидкого вдосконалення в задачах», включно з маніпулюванням мовою.[8] Програмні моделі тренуються навчатися, використовуючи тисячі або мільйони зразків у «структурі, … що в загальних рисах ґрунтується на нейронній архітектурі мозку».[8] Однією з архітектур, які використовують в обробці природної мови (ОПМ), є нейронна мережа, що ґрунтується на моделі глибинного навчання, вперше представлена 2017 року —Трансформер.[9] Моделі GPT-n ґрунтуються на цій нейромережній архітектурі глибинного навчання на основі Трансформера. Існує низка систем ОПМ, здатних оброблювати, видобувати, впорядковувати, з'єднувати, протиставляти, розуміти, та породжувати відповіді на питання.[10]

11 червня 2018 року дослідники та інженери OpenAI опублікувати свою оригінальну працю про породжувальні моделі — мовні моделі — системи штучного інтелекту — які може бути попередньо треновано величезним та різноманітним корпусом тексту через набори даних, у процесі, який вони назвали породжувальним попереднім тренуванням (англ. generative pre-training, GP).[11] Ці автори описали, як в GPT-n було покращено продуктивності розуміння мови в обробці природної мови (ОПМ) за допомогою процесу «породжувального попереднього тренування моделі мови на різноманітнім корпусі неміченого тексту, з подальшим розрізнювальним тонким налаштуванням на для кожної конкретної задачі». Це усунуло потребу в людському керуванні та тривалому міченні вручну.[11]

В лютому 2020 року Microsoft представила своє Тюрінгове породжування природної мови (англ. Turing Natural Language Generation, T-NLG), що було на той момент «найбільшою моделлю мови з будь-коли опублікованих, із 17 мільярдами параметрів».[12] Вона працювала краще за будь-яку іншу модель мови на різноманітних задачах, до яких належали автоматизоване реферування та відповідання на питання.[12]

Сигнальний примірник arXiv 28 травня 2020 року від групи з 31 інженера та дослідника OpenAI[lower-alpha 1] описав розробку GPT-3, «моделі мови найвищого рівня» третього покоління.[1][5] Ця команда збільшила ємність GPT-3 на понад два порядки відносно її попередниці, GPT-2,[13] зробивши GPT-3 найбільшою нерозрідженою^{[прояснити]} моделлю мови на той момент.[1]^:14[3] Вище число параметрів GPT-3 дає їй вищий рівень точності відносно попередніх версій із меншою ємністю.[14] Ємність GPT-3 є в десять разів більшою за Тюрінгове ППМ Microsoft.[5]

Шістдесят відсотків зваженого набору даних попереднього тренування GPT-3 походить із відфільтрованої версії Common Crawl, що складається з 410 мільярдів діграмно кодованих лексем[1]^:9. Іншими джерелами є 19 мільярдів лексем з WebText2, що представляють 22 % зваженого загального, 12 мільярдів лексем з Books1, що представляють 8 %, 55 мільярдів лексем з Books2, що представляють 8 %, та 3 мільярди лексем із Вікіпедії, що представляють 3 %[1]^:9. GPT-3 треновано на сотнях мільярдів слів, і вона здатна, серед іншого, писати код мовами CSS, JSX та Python[4]. Оскільки тренувальні дані GPT-3 були всеосяжними, вона не вимагає подальшого тренування для окремих мовних задач[4].

11 червня 2020 року OpenAI оголосила, що користувачі можуть робити запити на доступ до їхнього дружнього ППІ GPT-3 — «набору інструментів машинного навчання» (англ. «machine learning toolset») — щоби допомогти OpenAI «дослідити сильні сторони та межі» цієї нової технології.[15][16] Це запрошення описувало, що цей ППІ мав інтерфейс загального призначення «текст на вході, текст на виході», що може виконувати майже «будь-яку задачу для англійської мови», замість звичного єдиного сценарію використання.[15] Згідно з одним користувачем, який мав доступ до приватного раннього випуску ППІ GPT-3 OpenAI, GPT-3 була «моторошно доброю» в написанні «напрочуд зв'язного тексту», маючи лише декілька простих підказок[17].

Оскільки GPT-3 може «породжувати новинні статті, які оцінювачам-людям складно відрізнити від статей, написаних людьми»,[5] GPT-3 має «потенціал створити прогрес як у корисних, так і в шкідливих застосуваннях моделей мови».[1]^:34 У своїй праці від 28 травня 2020 року дослідники описали в деталях потенційні «шкідливі впливи GPT-3»,[5] до яких належать «дезінформація, спам, фішинг, зловживання правовими та державними процесами, написання шахрайських академічних есе та соціально-інженерний претекстинг».[1] Автори привернули увагу до цих небезпек, щоби закликати до дослідження стосовно зниження ризику.[1]^:34

У своєму огляді 29 липня 2020 року в «Нью-Йорк таймс» Фархад Манджу сказав, що GPT-3, яка може породжувати комп'ютерний код та поезію, так само як і прозу, є не просто «дивовижною», «моторошною» та «принижувальною», але й також «більш ніж трохи жахальною»[18].

«Дейлі Ноус» представив низку статей про GPT-3 від дев'яти філософів.[19] Австралійський філософ Девід Чалмерс описав GPT-3 як «одну із найцікавіших та найважливіших систем ШІ з будь-коли зроблених».[6]

В огляді у «Wired» сказано, що GPT-3 «викликала озноб по всій Кремнієвій долині».[20]

У статті в «Towards Data Science» зазначено, що GPT-3 треновано на сотнях мільярдів слів, і що вона здатна писати код мовами CSS, JSX, Python, та іншими[4].

У «National Law Review» сказано, що GPT-3 є «вражаючим кроком у масштабнішому процесі», і що OpenAI та інші перебувають у пошуку «корисних застосувань для всієї цієї потужності», в той же час продовжуючи «працювати в напрямку сильнішого інтелекту».[21]

У статті в «MIT Technology Review», написаній у співавторстві з критиком глибинного навчання Ґері Маркусом,[22] зазначено стосовно GPT-3, що її «розуміння світу є часто дуже бідним, що означає, що ви ніколи не можете насправді довіряти тому, що вона каже».[23] Згідно цих авторів, GPT-3 моделює взаємозв'язки між словами, не маючи розуміння значення, що стоїть за кожним словом.

Джером Пезенті, голова лабораторії Facebook A.I., сказав, що GPT-3 є «не безпечною», вказавши на сексистські, расистські та інші упередження й негативний тон, породжувані цією системою, коли її просили обговорити євреїв, жінок, чорношкірих та Голокост.[24]

• GPT-3 використано Ендрю Мейном для AI Writer, який дозволяє людям листуватися з історичними діячами електронною поштою.
• GPT-3 використано Джейсоном Рорером в стилізованім під ретро проєкті чатботу, названім «Project December» («Проєкт Грудень»), що є доступним онлайн і дозволяє користувачам спілкуватися з декількома ШІ за допомогою технології GPT-3.
• GPT-3 використано «Ґардіан» для написання статті про те, що ШІ є нешкідливим для людей. Їй згодовано декілька ідей, і вона виробила вісім різних есе, які в підсумку об'єднано в одну статтю[25].
• GPT-3 використовують у AI Dungeon (Темниця ШІ), що породжує текстові пригодницькі ігри.

• Відео: OpenAI GPT-3 - Good At Almost Everything! на YouTube (Two Minute Papers) (англ.)
• Відео: GPT3: An Even Bigger Language Model на YouTube (Computerphile) (англ.)
• Відео: GPT-3 vs Human Brain на YouTube (Lex Fridman) (англ.)