Генеративна змагальна мережа

Генеративні змага́льні мере́жі (англ. Generative adversarial networks, GANs) — це клас алгоритмів штучного інтелекту, що використовуються в навчанні без учителя, реалізовані системою двох штучних нейронних мереж, які змагаються одна з одною в рамках гри з нульовою сумою. Вони були запроваджені Яном Ґудфелоу в 2014 році.[1] Ця методика дозволяє створювати фотографії, які для побіжного огляду людиною виглядають як справжні та мають багато реалістичних елементів (хоча в тестах люди можуть відрізнити реальні зображення від згенерованих у багатьох випадках).[2]

Частина з циклу
Машинне навчання
та добування даних
Штучна нейронна мережа

Метод
Приклад поліпшення якості зображення за допомогою GAN

Одна мережа генерує кандидатів (генератор), а інша оцінює їх (дискримінатор).[3][4][5][6] Як правило, генеративна мережа навчається будувати відповідності з латентного простору до певного розподілу даних, тоді як дискримінаційна мережа розрізняє представників справжнього розподілу даних та кандидатів, вироблених генератором. Метою тренувальної мережі є збільшення частоти помилок дискримінаційної мережі (тобто «обдурити» дискримінатор шляхом створення нових синтезованих екземплярів, які повинні походити на представників справжнього розподілу даних).[3][7]

На практиці заздалегідь відомий набір даних використовують як початкові навчальні данні для дискримінатора. Навчання дискримінатора передбачає забезпечення його зразками з набору даних, доки він не досягне певного рівня точності. Зазвичай генератор на початку отримує випадково відбирані дані із заздалегідь визначеного латентного простору[4] (наприклад, за допомогою багатовимірного нормального розподілу. Після цього зразки, синтезовані генератором, оцінюються дискримінатором. Метод зворотного поширення помилки застосовується в обох мережах[5], так що генератор створює кращі зображення, тоді як дискримінатор стає більш кваліфікованим при визначенні синтезованих зображень.[8] Генератор, як правило, є деконволюційною нейронною мережею, а дискримінатор — згортковою нейронною мережею.

Ідея вивести моделі в конкурентному середовищі (модель проти дискримінатора) була запропонована Лі, Гаучі та Гросом в 2013 році.[9]. Їх метод використовується для висновків поведінки. Це називається навчання по Тюрінгу (англ. Turing Learning),[10] оскільки цей параметр схожий на тест Тюрінга. Навчання по Тюрінгу є узагальненням генеративної змагальної мережі.[11] У них можуть розглядатись і моделі, відмінні від нейронних мереж. Крім того, дискримінаторам дозволяється впливати на процеси, з яких отримані набори даних, що робить їх активними учасниками, як у тесті Тюрінга. Ідею змагального навчання можна знайти й у більш ранніх роботах, таких як стаття Шмідхубера (англ. Schmidhuber) 1992 року.[12]

Застосування

ГЗМ використовуються для створення зразків фотореалістичних зображень з метою візуалізації нових дизайнів інтер'єру та промислового дизайну, взуття, сумок, одягу та предметів для сцен у комп'ютерних іграх. Відомо, що ці мережі використовуються Facebook.[13] Нещодавно ГЗМ змоделювали закономірності руху у відео.[14] Вони також використовувались для реконструкції 3D-моделей об'єктів зображень[15] і для покращення зображень в астрономії.[16] У 2017 для суттєвого поліпшення якості фотографій використовувалася удосконалена ГЗМ з автоматичною генерацією текстур. Від системи вимагалось скоріше створення реалістичних текстур ніж піксельна деталізація. Результатом була висока якість зображення при високій роздільній здатності.[17]

Посилання
  1. Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Joshua (2014). «Generative Adversarial Networks». arXiv:1406.2661 [cs.LG].
  2. Salimans, Tim; Goodfellow, Ian; Zaremba, Wojciech; Cheung, Vicki; Radford, Alec; Chen, Xi (2016). «Improved Techniques for Training GANs». arXiv:1606.03498 [cs.LG].
  3. Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). «Generative Adversarial Networks». arXiv:1406.2661 [stat.ML].
  4. Thaler, SL, US Patent 05659666, Device for the autonomous generation of useful information, 08/19/1997.
  5. Thaler, SL, US Patent, 07454388, Device for the autonomous bootstrapping of useful information, 11/18/2008.
  6. Thaler, SL, The Creativity Machine Paradigm, Encyclopedia of Creativity, Invention, Innovation, and Entrepreneurship, (ed.) E.G. Carayannis, Springer Science+Business Media, LLC, 2013.
  7. Luc, Pauline; Couprie, Camille; Chintala, Soumith; Verbeek, Jakob (25 листопада 2016). Semantic Segmentation using Adversarial Networks. NIPS Workshop on Adversarial Training, Dec , Barcelona, Spain 2016. Bibcode:2016arXiv161108408L. arXiv:1611.08408.
  8. Andrej Karpathy, Pieter Abbeel, Greg Brockman, Peter Chen, Vicki Cheung, Rocky Duan, Ian Goodfellow, Durk Kingma, Jonathan Ho, Rein Houthooft, Tim Salimans, John Schulman, Ilya Sutskever, And Wojciech Zaremba. Generative Models. OpenAI. Процитовано 7 квітня 2016.
  9. Li, Wei; Gauci, Melvin; Gross, Roderich (July 6, 2013). A Coevolutionary Approach to Learn Animal Behavior Through Controlled Interaction. Proceedings of the 15th Annual Conference on Genetic and Evolutionary Computation (GECCO 2013). Amsterdam, The Netherlands: ACM. с. 223–230.
  10. Li, Wei; Gauci, Melvin; Groß, Roderich (30 серпня 2016). Turing learning: a metric-free approach to inferring behavior and its application to swarms. Swarm Intelligence 10 (3): 211–243. doi:10.1007/s11721-016-0126-1.
  11. Gross, Roderich; Gu, Yue; Li, Wei; Gauci, Melvin (December 6, 2017). Generalizing GANs: A Turing Perspective. Proceedings of the Thirty-first Annual Conference on Neural Information Processing Systems (NIPS 2017). Long Beach, CA, USA. с. 1–11.
  12. Schmidhuber, Jürgen (November 1992). Learning Factorial Codes by Predictability Minimization. Neural Computation (англ.) 4 (6): 863–879. doi:10.1162/neco.1992.4.6.863.
  13. Greenemeier, Larry (20 червня 2016). When Will Computers Have Common Sense? Ask Facebook. Scientific American. Процитовано 31 липня 2016.
  14. Generating Videos with Scene Dynamics. web.mit.edu.
  15. 3D Generative Adversarial Network. 3dgan.csail.mit.edu.
  16. Schawinski, Kevin; Zhang, Ce; Zhang, Hantian; Fowler, Lucas; Santhanam, Gokula Krishnan (1 лютого 2017). Generative Adversarial Networks recover features in astrophysical images of galaxies beyond the deconvolution limit. Monthly Notices of the Royal Astronomical Society: Letters: slx008. arXiv:1702.00403. doi:10.1093/mnrasl/slx008.
  17. Sajjadi, Mehdi S. M.; Schölkopf, Bernhard; Hirsch, Michael (23 грудня 2016). EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis. arXiv:1612.07919 [cs].
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.