Доповнена реальність
Допо́внена реа́льність (англ. augmented reality, AR), — термін, що позначає всі проєкти, спрямовані на доповнення реальності будь-якими віртуальними елементами. Доповнена реальність — складова частина змішаної реальності (англ. mixed reality), в яку також входить «доповнена віртуальність» (коли реальні об'єкти інтегруються у віртуальне середовище).
Загальний опис
Найпоширеніші приклади доповненої реальності — кольорова лінія, що показує знаходження найближчого польового гравця до воріт при телетрансляції футбольних матчів, стрілки з вказівкою відстані від місця штрафного удару до воріт, намальована траєкторія шайби під час хокею тощо.
Сам термін імовірно був запропонований при співпраці з корпорацією Boeing дослідником Томом Коделом (англ. Tom Caudell) в 1990 році[1]. Існує кілька визначень доповненої реальності: дослідник Рональд Азума (англ. Ronald Azuma) в 1997 році визначив доповнену реальність як систему, яка[2]:
- Поєднує віртуальне і реальне
- Взаємодіє в реальному часі
- Працює в 3D
У 1994 році Пол Мілграм (англ. Paul Milgram) і Фуміо Кісін (англ. Fumio Kishino) описали Континуум Віртуальність-Реальність (англ. Milgram's Reality-Virtuality Continuum)[3] — простір між реальністю і віртуальністю, між якими розташована доповнена реальність (ближче до реальності) і доповнена віртуальність (ближче до віртуальності).
Іноді використовують як синоніми назви «розширена реальність», «поліпшена реальність», «збагачена реальність».
Джерела стверджують, що Apple може представити окуляри доповненої реальності, створені у співпраці з Carl Zeiss AG, влітку 2017 року.[4]
Корпорація Microsoft 2018 року запустила проєкт HoloLens — окуляри змішаної реальності. На основі цієї розробки найбільший китайський інтернет-магазин Taobao створив модель MR Buy — окуляри, що можуть ідентифікувати такі товари, як одяг та аксесуари, і надавати про них загальну інформацію (місця, де можна придбати, ціну, відгуки покупців). Також окуляри мають доступ до асортименту Taobao, що допомагає користувачам отримати інформацію і про інші товари магазину, які є в наявності. Взаємодія з інформацією, наданою окулярами, можлива не тільки за допомогою рухів рукам, а й очима. У вересні 2018 року новинка буде доступна для тестування усіма бажаючими на тематичному заході магазину Taobao.[5]
Технічна складова
Апаратне забезпечення
Апаратна частина пристрою для роботи з доповненою реальністю дуже складна. Вона складається з наступних частин: процесор, дисплеї, різноманітні датчики, та пристрої вводу інформації. Сучасні мобільні пристрої, як смартфони або планшети, мають в собі всі зазначені елементи, а також камеру та МЕМС (акселерометр, GPS, цифровий компас), що роблять їх придатними до використання в якості платформи для AR.
Система розпізнавання
Система розпізнавання — це основа технології доповненої реальності. Вона використовується для ідентифікації об'єктів та людей в реальному часі в фізичному просторі, основані на обчисленні даних о геолокації, просторової орієнтації та часу або визначення форм, атрибутів та характерних ознак об'єкту. Таким чином, системи розпізнавання для доповненої реальності можна поділити на локаціїно-залежні та об'єктно-залежні. При цьому об'єктно-залежне розпізнавання також може бути реалізовано двома способами: за допомогою штучних маркерів та без них.
Важливу роль в системі розпізнавання зіграв SLAM - метод одночасної локалізації та побудування карти, використовуваний для побудови карти в невідомому просторі з одночасним контролем поточного місцезнаходження і пройденого шляху. У спрощеному вигляді, SLAM - це спосіб розпізнавання оточення та місця розташування камери, шляхом розкладання картинки на геометричні об'єкти і лінії. Після чого кожної окремої формі система присвоює точку (або декілька точок), фіксуючи їх розташування в просторових координатах на послідовних кадрах відео потоку. Таким чином, умовно будівля розкладається на площині стін, вікна, межі та інші елементи, що виділяються. А умовна кімната - на площини (підлога, стеля, стіни) і об'єкти всередині. Завдяки тому, що алгоритм дозволяє запам'ятовувати положення точок в просторі, повернувшись в цю саму кімнату з іншої ви побачите точки на тих же місцях, де вони і перебували раніше.
Особливо сильний поштовх цей метод отримав після того як виробники смартфонів почали вбудовувати додаткові камери для розрахунку глибини різкості в свої апарати.
Не варто думати, що SLAM — це продвинута версія звичайного розпізнавання образів і відстеження маркерів. Швидше, це інструмент, який набагато краще підходить для орієнтації систем доповненої реальності в просторі. Він дає системі зрозуміти, де знаходиться користувач. Але набагато гірше підходить для розпізнавання що саме знаходиться перед камерою.
Пристрої
Ще в 1984 році у фільмі «Термінатор» Джеймса Кемерона була візуалізована концепція доповненої реальності і комп'ютерного зору. Але Кемерон сильно випередив час, тому що вбудувати систему прямо в око в ті роки було неможливо навіть у найсміливіших фантазіях. Ідеалом бачився форм-фактори контактних лінз або окулярів. Перше і зараз лише на стадії концептів, а ось у міру здешевлення і появи більш тонких виробничих процесів форма окулярів ставала все ближче. З роками до неї додався і другий варіант реалізації: за допомогою смартфонів.
Google
Найгучнішою подією доповненої реальності останніх років стали окуляри Google Glass, які побачили світ у 2013, з якими є невелика плутанина. Незважаючи на те, що саме вони багатьом першими приходять на думку, коли мова заходить про доповнену реальність, до неї ці окуляри відношення майже не мали. Віртуальне середовище практично не взаємодіяло з реальним. Хіба що навігацію можна зарахувати до AR-контенту, але і вона була реалізована в стилі карт для телефону, а не динамічних вивісок над дорогою.
Проте, окуляри вміли робити фото та знімати відео за командою, з автоматичною відправкою в хмару. Цей не ставший масовим експеримент все ж зробив свою справу: запустив хвилю, давши зрозуміти іншим компаніям, що можна серйозно братися за розробку пристроїв доповненої реальності для широких мас.
Microsoft
Естафету одразу прийняла Microsoft, через пару років завуальовано анонсувала (а в 2016 і представила) окуляри змішаної реальності Hololens. Правда, тільки для розробників і журналістів. Продукт складний, його досі розробляють. Але в інтернеті багато захоплених оглядів, де люди діляться своїм досвідом взаємодії з віртуальним середовищем.
Hololens не вимагають підключення до іншого ПК або телефону. У окуляр чотири камери, за допомогою яких пристрій аналізує кімнату (або інше навколишнє середовище) і поєднує віртуальні об'єкти з реальним світом.
Окуляри дозволяють практично повноцінно працювати з Windows 10, причому, назва «Windows» набуває нового сенсу: вікна системи легко вішаються на стіни на манер, власне, вікон. Окуляри запам'ятовують приміщення, тому, коли користувач повертається в ту ж саму кімнату, всі вікна додатків і інші елементи змішаної реальності чекають його на своїх місцях.
Зараз існує близько десятка найбільш перспективних розробників і продуктів для доповненої реальності в форм-факторі окулярів: Vuzix[6], Sony[7], ODG[8], Solos[9].
Мобільні системи
Поки що доповнена реальність в основному зустрічається в смартфонах. Це зручність, готова технічна база, широка поширеність пристроїв і простота написання програмного забезпечення.
Розроблені спеціально під фото для соцмереж додатки пропонують приблизно одні й ті ж функції: маски для обличчя і розміщення персонажів в просторі. Тобто - розваги. Але все більше компаній розуміють важливість цієї ніші і представляють більш утилітарні програми: віртуальні рулетки, перекладачі, що розпізнають текст з камери, додатки, що можуть визначати зірки по зображенню з камери, тощо.
Саме в мобільному сегменті зараз сконцентровані найцікавіші AR-стартапи для масового ринку: YouAR[10], 6D[11], Selerio[12].
Однією з найбільш інвестуючих в технологію компаній є Facebook, який перевіряє нові ідеї на своїй масовій користувацькой базі.
Сфери використання
Головна сфера, де знайшла використання доповнена реальність — це розваги.
Такі компанії як Lego і Disney активно ведуть розробку ігор з використанням доповненої реальності, а наміри до них приєднатися висловили практично всі великі виробники іграшок. Дослідницькі групи вже зайнялися збором даних про те, як маленькі діти взаємодіють з іграми і додатками доповненої реальності, і яким чином це впливає на їх сприйняття реального світу. Можливо, в майбутньому найцікавіші ідеї з розвитку технології будуть звучати від тих, для кого ця сама технологія була просто частиною дитинства.
Саме розваги сьогодні розвивають дослідницьку базу доповненої реальності. А завдяки колосальним обсягами даних, добровільно переданих людьми компаніям-розробникам, технологія в зв'язці з машинним навчанням роблять кроки в бік більш серйозних областей.
Наразі список потенційних користувачів доповненої реальності виглядає так:
- сфера розваг
- медицина
- освіта
- військові технології
- ремонтні служби
- авіація
- експлуатація автомобіля
- служби безпеки
- транспортні компанії
- будівництво
- диспетчерські служби
- сфера DIY
- поліграфія
Військова техніка
Поширення у збройних силах провідних країнах світу різноманітних тактичних засобів доповненої реальності (для екіпажів літаків, вертольотів, суден, бойових машин, танків, в екіпіровці солдат[13] тощо) робить актуальним завдання стандартизації відповідної технології візуалізації та протоколів передачі даних.
Основними напрямами стандартизації при цьому вважаються[14]: таксономія і категоризація відповідної термінології; операційні сценарії використання засобів AR різними категоріями користувачів; мінімальні військові вимоги до спроможностей AR засобів, типовий інтерфейс користувача, топологія фреймів візуалізації AR даних на дисплеях (фрейм вибору режимів роботи та індикації поточного з них (налагодження, бойовий, тренувальний тощо); фрейм відображення основної візуальної інформації та фрейм візуалізації даних GPS і параметрів руху транспортного засобу, зокрема, за допомогою одного чи кількох навігаційних кілець, що використовуються, наприклад, в системі ARC4 (США)); типові AR символи для різних функцій та категорій користувачів; основні технічні специфікації (наприклад, максимальна кількість анотацій, що одночасно виводяться на дисплей та їхня щільність на одиницю відстані); протокол передачі AR даних (структура та розміри типового блоку даних).
Найбільш простим варіантом реалізації тактичних систем доповненої реальності є використання анотативної символіки (Annotative Augmentation), в подальшому відбудеться перехід й до анімованих символів (Simulative Augmentation)[14] та символів, що синтезуються на основі алгоритмів штучного інтелекту[15].
Стосовно візуальних анотативних символів стандартизації підлягають розміри ікон (тактичних символів), їхні колір та його варіації у просторі і часі, 2D та 3D форми візуалізації, текстовий контент, час існування (поновлення), гіперпосилання, зміст і обсяги регіональної інформації.
Типовими категоріями анотативних тактичних симовлів є[14]: положення дружніх підрозділів, передній край та позиції противника (історичні, поточні та прогнозовані), місця знаходження саморобних вибухових пристроїв (історія, виявлені, але не знищені, ймовірні або підозрілі), дороги, мости, підземна інфраструктура, розчищені майданчики для вертольотів, локальні культурні пам'ятки тощо.
В якості важливого показника мінімальних вимог до спроможностей тактичних систем AR слід вказати діапазон дальностей 15 — 30 км, в межах якого має бути забезпечена оперативна генерація інформації для підтримки послуг AR[14]. Середовищем поширення даних доповненої реальності може бути Федеративна мережа місій (FMN)[16]. При цьому необхідно досягти взаємосумісності між форматом (моделлю) даних, які централізовано формуються у штабах, і програмним забезпеченням пристроїв відтворення AR символів, яке має ідентифікувати тип даних і відправити їх на дисплей (візуальні дані), динаміки (акустичні символи) чи тактильні елементи (рукавички, пояси тощо)[14].
В перспективі, з впровадженням Інтернету речей, цю проблему можливо вирішити через надання кожному з відтворювальних пристроїв унікальної IP-адреси в мережі й застосування звичайної IP-адресації для передачі AR даних. Доки цього не відбулося, система доповненої реальності за допомогою стандартизованого протоколу має розрізняти типи даних та фізичний принцип їх відтворення[14].
Технологія доповненої реальності є потужним інструментом відпрацювання 3D-топології сховищ боєприпасів на місцевості з вибором сукупності боєприпасів у стеках та відстаней між ними на основі динамічної візуалізації зон ризиків. Поширення інформації про такі зони дозволить обирати безпечні місця дислокації та найменш ризикові маршрути пересування підрозділів[15]. Крім того, на окулярах AR або ж відповідних дисплеях можуть відображатися відомості про стан та історію боєприпасів[15].
Книговидання
Першу книгу з елементами доповненої реальності було представлено 2008 року на Франкфуртському книжковому ярмарку.
Надалі ця технологія набула поширення в різноманітній літературі для дітей, де за допомогою доповненої реальності створюються анімовані 3D персонажі, з якими можливо взаємодіяти. Крім того, за схожим принципом виготовляють друковані підручники, навчальні посібники з використанням доповненої реальності як джерела додаткової інформації, наочного прикладу для розв'язування завдань тощо.
Див. також
Примітки
- Brian X. Chen (25 серпня 2009). If You’re Not Seeing Data, You’re Not Seeing (англійською). Wired. Архів оригіналу за 25 грудня 2010. Процитовано 10 грудня 2010.
- R. Azuma, A Survey of Augmented Reality Presence: Teleoperators and Virtual Environments, pp. 355—385, August 1997.
- P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays Архівовано 3 листопада 2009 у Wayback Machine. IEICE Transactions on Information and Systems, E77-D(12), pp. 1321—1329, 1994.
- Тім Кук бачить доповнену реальність такою ж «великою ідеєю, як і смартфони». www.computerrex.com. ComputerREX. 14 лютого 2017 року.
- Нові окуляри покажуть, де можна купити одяг, на який ви дивитесь. Tokar.ua (uk-UA). 20 вересня 2018. Процитовано 21 вересня 2018.
- Vuzix
- Sony
- ODG
- Solos
- YouAR
- 6D
- Selerio
- Слюсар В. И. Персональный хаб как элемент экипировки.//Озброєння та військова техніка. — № 1 (17). — 2018. — С. 79 — 84.
- Слюсар В. І. Концепція стандартизації тактичних засобів доповненої реальності. //Тези доповідей Міжнародної науково-технічної конференції «Перспективи розвитку озброєння та військової техніки Сухопутних військ». –Львів: Національна академія сухопутних військ імені гетьмана Петра Сагайдачного. — 17-18 травня 2018 р. — C. 63 — 64.
- Slyusar, Vadym (2019). Artificial intelligence as the basis of future control networks.. Coordination problems of military technical and devensive industrial policy in Ukraine. Weapons and military equipment development perspectives/ VII International Scientific and Practical Conference. Abstracts of reports. - October 8–10, 2019. - Kyiv. - Pp. 76 - 77. - DOI: 10.13140/RG.2.2.30247.50087.
- Слюсар В.І. Федеративна мережа місій як середовище поширення даних доповненої реальності. //Матеріали Міжнародної науково-технічної конференції "Перспективи розвитку озброєння та військової техніки Сухопутних військ". – 15-17 травня 2019 р. – Львів. – Національна академія Сухопутних військ ім. Гетьмана Петра Сагайдачного. .