Унаочнювання даних

Унаочнювання даних — один із етапів аналізу даних та їх представлення користувачам.

Унаочнювання даних, по суті, означає методи, які використовуються для візуальної передачі даних або інформації через її кодування у вигляді зорових об'єктів (наприклад, це можуть бути точки, лінії чи смуги), які використовуються у графіці. Метою є чітке та ефективне повідомлення інформації користувачам. Це один із кроків як в аналізі даних, так і в науці про данні. За словами Фрідмана (2008), «головна мета унаочнення даних — це чітке та ефективне передавання інформації за допомогою графічних засобів. Це не означає, що візуалізація даних заради функціональності повинна занудно виглядати або бути надзвичайно складною, щоб виглядати красиво. Ефективне вираження ідеї, як через естетичну форму, так і через функціональність повинні йти рука об руку, забезпечуючи можливість розуміти як досить розріджений, так і складний набір даних, через передачу їх ключових аспектів у більш інтуїтивно зрозумілий спосіб. Розробники часто не в змозі досягти балансу між формою та функцією, створюючи чудові візуалізації даних, які не виконують своєї основної мети — передавати інформацію»[5].

Дійсно, Фернанда Вігас та Мартін М. Ваттенберг вважають, що ідеальне унаочнення не лише чітко доносить повідомлення, а й стимулює залучення та увагу глядачів[6].

Унаочнення даних тісно пов'язане з інформаційною графікою, візуалізацією інформації, науковою візуалізацією, розвідувальним аналізом даних та статистичною графікою. У новому тисячолітті унаочнення даних стало активною сферою досліджень, викладання та розвитку. За даними Post et al. (2002), вона об'єднала наукове та інформаційне унаочнення[7].

Діаграма Шарля Жозефа Мінара 1869 року про вторгнення наполеонівської Франції в Росію, ранній приклад інформаційної графіки

Професор Едвард Тафті пояснив, що користувачі інформаційних панелей виконують конкретні аналітичні завдання, такі як порівняння. Тому принцип проектування інформаційної графіки повинен сприяти виконанню аналітичного завдання[9]. Як показують Вільям Клівленд (William Cleveland) та Роберт Макгілл (Robert McGill), різні графічні елементи досягають цього більш-менш ефективно. Наприклад, точкові графіки та діаграми перевершують кругові діаграми[10].

У своїй книзі 1983 року «Зорова передача кількісної інформації» Едвард Туфте дає визначення «графічної панелі» та наводить принципи ефективного графічного відображення: «Досконалість статистичної графіки полягає в чіткому, точному та ефективному повідомленні складних ідей. Графічні панелі повинні:

• показати дані
• спонукають глядача до думки про суть, а не про методологію, графічний дизайн, методологію графічного відображення чи про щось інше
• уникайте спотворення того, що мають сказати дані
• відображати багато чисел на невеликій ділянці
• зробити великі набори даних узгодженими
• заохочувати око порівнювати різні частини даних
• розкривати дані на кількох рівнях деталізації, від загального огляду до мікроструктури
• використовуватись з прозорою метою: опис, дослідження, табличний запис або оформлення
• тісно інтегруватися зі статистичними та словесними описами набору даних.

Графіка виявляє дані. Дійсно, графіка може бути більш точною і виразною, ніж звичайні статистичні обчислення»[11].

Наприклад, діаграма Мінара показує втрати армії Наполеона в період 1812—1813 років. На графіку нанесено шість змінних: розмір армії, її координати на двовимірній поверхні (х та у), час, напрямок руху та температуру. Ширина лінії ілюструє порівняння (розмір армії в конкретні моменти часу), тоді як вісь температури вказує на причину зміни розміру армії. Ця багатоваріантна панель на двовимірній поверхні розповідає історію, яку можна зрозуміти відразу, якщо мати входові дані, які викликають довіру. Туфте написав у 1983 році, що: «Це мабуть найкраща статистична графіка, яка коли-небудь була намальована»[11].

Не застосовування цих принципів може призвести до оману графіками, які спотворюють повідомлення або вказують на помилковий висновок. За словами Туфті, графічний шум відноситься до оформлення графіки, яке не пов'язане з повідомленням і тому його не підсилює. Те ж саме стосується тривимірних ефектів чи ефектів з використанням перспективи. Якщо без потреби відокремити легенду від самого зображення, тоді очі користувача будуть бігати взад та вперед, а саме від зображення до легенди, що є формою «управлінського завалу». Співвідношення «дані до кольору» треба максимізувати, уникаючи використання чорнил, які не несуть даних, усюди де це можливо[11].

Бюджетне бюро Конгресу США узагальнило кілька найкращих практик для графічних панелей у своїй презентації у червні 2014 року. До них належать: а) Знати свою аудиторію; б) Створювати графіку, яка може існувати окремо від контексту звіту; c) Створювати графіку, яка передає ключові повідомлення зі звіту[12].

Часовий ряд, проілюстрований лінійною діаграмою, що демонструє тенденції у витратах та доходах федерального уряду США з часом.

Точкова діаграма, яка ілюструє негативну кореляцію між двома змінними (інфляція та безробіття), виміряними у певні моменти часу.

Стівен Фью (Stephen Few) описав вісім типів кількісних повідомлень, які користувачі можуть намагатися зрозуміти з набору даних та пов'язаних з ним графіків, які допомагають передавати повідомлення:

1. Часовий ряд: Єдина змінна фіксується протягом певного періоду часу, наприклад, рівень безробіття протягом 10-річного періоду. Лінійна діаграма може бути використана для демонстрації тенденції.
2. Ранжування: категоріальні розбиття класифікуються у порядку зростання або зменшення, наприклад, ранжування результатів продажів (міра) по особам, які здійснювали продаж (категорія, кожна особа — категоріальна складова) протягом одного періоду. Можна використати стовпчикову діаграму для порівняння продажів осіб.
3. Частина до цілого: категоріальні розбиття вимірюються як відношення до цілого (тобто, відсоток від 100 %). Кругова діаграма або стовпчикова діаграма можуть показувати порівняння коефіцієнтів, таких як частка ринку, представлена конкурентами на ринку.
4. Відхилення: категоріальні розбиття порівнюються зі зразком, таким як порівняння фактичних та бюджетних витрат для декількох бізнесових підрозділів за певний період часу. Стовпчикова діаграма може відображати порівняння фактичної та запланованої суми.
5. Розподіл частоти: Показує кількість спостережень певної змінної на заданому проміжку, наприклад, кількість років, протягом яких прибуток на фондовому ринку знаходиться між інтервалами, такими як 0-10 %, 11-20 %, тощо. Для такого аналізу може використовуватися гістограма, яка є різновидом стовпчикової діаграми. Коробковий графік допомагає унаочнювати ключові статистичні дані про розподіл, такі як медіана, квартилі, викиди, тощо.
6. Кореляція: Порівняння між спостереженнями, які представлені двома змінними (X, Y), з метою визначення, чи мають вони тенденцію рухатися в одному і тому ж або у протилежному напрямку. Наприклад, побудувати графік безробіття (X) та інфляції (Y) на помісячній вибірці. Для такого повідомлення зазвичай використовується діаграма розкидання.
7. Номінальне порівняння: порівнюються категоріальне розбиття у конкретному порядку, наприклад, обсяг продажів за кодом товару. Для цього порівняння може використовуватися стовпчикова діаграма.
8. Географічні або геопросторові: Порівняння змінної на карті чи схемі, наприклад, рівень безробіття за країною або кількість людей на різних поверхах будівлі. Картограма є типовим прикладом такої графіки[1][13].

Аналітики, які переглядають набір даних, можуть передбачити, які саме з вищезгаданих повідомлень та які графічні типи пасують до їх завдання та аудиторії. Процес спроб та помилок застосовується для виявлення значущих зв'язків та повідомлень у даних, що є частиною розвідувального аналізу даних.

Людина може легко побачити різницю у довжині, формі, орієнтації та кольорі (відтінку) без значних зусиль з обробки; їх називають «атрибутами попередньої уваги». Наприклад, може знадобитися значний час і зусилля («уважна обробка»), щоб визначити кількість разів, коли цифра «5» з'являється у послідовності чисел; але якщо ця цифра відрізняється за розміром, орієнтацією або кольором, екземпляри цифри можна швидко зауважити, бо свідомому зверненню уваги передує підсвідомий процес обробки зображення[14].

Ефективна графіка використовує перевагу підсвідомого процесу обробки зображення та атрибутів та сили відношення цих атрибутів. Наприклад, оскільки людям легше сприйняти відмінності у довжині лінії, ніж у площі поверхні, то використання стовпчикової діаграми (яка використовує саме перевагу довжини лінії для показу порівняння) може бути більш ефективним, на відміну від кругових діаграм (які використовують площу поверхні для показу порівняння)[14].

Не існує повної «історії» унаочнювання даних. Немає даних, які б охоплювали весь розвиток візуального мислення та зорового представлення даних, які б співставляли внесок різних дисциплін[17]. Майкл Френдлі (Michael Friendly) та Даніель Дж. Дені (Daniel J Denis) з Йоркського університету займаються проектом, метою якого є створення повної історії унаочнення. Всупереч загальній думці, унаочнення даних не є сучасною розробкою. Дані про зірки, зокрема, їх розташування, унаочнювалися ще на стінах печер (таких, як знайдені в печері Ласко на півдні Франції) з часів плейстоцену[18]. Фізичні артефакти, такі як месопотамські глиняні жетони (5500 рік до н. е.), Кіпу інків (2600 рік до н. е.) та паличкові діаграми Маршалових Островів (дата не відома), також можуть розглядатися як унаочнення кількісної інформації[19][20].

Перше задокументоване унаочнення даних можна віднести до 1160 року до н. е., часу створення Туринська папірусна карта, яка точно ілюструє розподіл геологічних ресурсів та надає інформацію про видобуток цих ресурсів[21]. Такі карти можна віднести до категорії «Тематична картографія», яка є типом унаочнювання даних, що представляє та передає конкретні дані та інформацію за допомогою географічної ілюстрації, призначеної для відображення певної теми, пов'язаної із конкретною географічною областю. Найдавнішими документально зафіксованими формами візуалізації даних були різні тематичні карти з різних культур та ідеограм та ієрогліфів, які забезпечували та дозволяли інтерпретувати інформацію. Наприклад, лінійні таблички з Мікени забезпечували зорову інформації про торги епохи пізнього бронзового віку в Середземномор'ї. Ідея координат використовувалися стародавніми єгипетськими геодезистами, коли засновувалися міста, земні та небесні координати, які при цьому використовувалися, були чимось схожі на сучасну широту і довготу, принаймні станом на 200-й рік до н. е., коли в Олександрії Клавдій Птолемей (87 — 165 роки) створив проекційне відображення, яке вводило на Земній кулі широту і довготу та було еталонним стандартом до XIV ст.

Винахід паперу та пергаменту уможливив подальший розвиток унаочнення. На малюнку зображено графік 10-го або 11-го століття, який призначався для ілюстрації планетарного руху та використовувався як додаток до підручника в монастирських школах[22]. Графік, мабуть, мав позначати нахили планетарних орбіт як функції часу. З цією метою зона зодіаку була представлена на площині горизонтальною лінією, розділеною на тридцять частин як часова або поздовжня вісь. Вертикальна вісь позначає висоту зодіаку. Для кожної планети вибрано горизонтальну шкалу за періоди, які неможливо узгодити. Супровідний текст стосується лише амплітуд. Скидається, що криві не пов'язані у часі.

Рух планет.

На 16-е століття методи та прилади для точного спостереження та вимірювання фізичних величин, географічного та небесного положення були добре розвинуті (наприклад, «настінний квадрант», створений Тихо Браге [1546–1601], закривав усю стіну його обсерваторії). Особливо важливою була розробка триангуляції та інших методів для точного визначення розташування на картах[17].

Французький філософ і математик Рене Декарт та П'єр де Ферма розробили аналітичну геометрію та двовимірну систему координат, що в свою чергу суттєво вплинуло на практичні методи відображення та обчислення величин. Робота Ферма та Блеза Паскаля зі статистики та теорії ймовірностей заклала основу для того, що зараз є концепцією даних[17]. За даними Фонду дизайну взаємодій (Interaction Design Foundation), ці розробки дозволили і допомогли Вільяму Плейферу, який бачив потенціал у графічному способі повідомлення кількісних даних, створювати та розвивати графічні методи статистики[15].

Часові ряди створені Плейфером.

У другій половині XX століття Жак Бертін використовував кількісні графіки для подання інформації «інтуїтивно, зрозуміло, точно та ефективно»[15].

Джон Тукі та Едвард Туфте розвинули межі візуалізації даних; Тукі зі своїм новим статистичним підходом до дослідницького аналізу даних та Туфте своєю книгою «Зорова передача кількісної інформації» проклали шлях до вдосконалення методів унаочнення даних за межі статистики. Технологічний прогрес спричинив прогрес в унаочненні даних; починаючи з унаочнень, намальованих від руки, і втілюючись у більш технічні застосунки — від інтерактивної побудови до програмного забезпечення для унаочнення[23].

Такі програми, як SAS, SOFA, R, Minitab, Cornerstone та багато інших, дозволяють унаочнювати дані у сфері статистики. Існують спеціалізовані програми унаочнювання даних, також, для цього використовуються спеціалізовані пакети в різних мовах програмування Python та JavaScript, такі як D3 або Graphviz.

Унаочнювання даних використовує специфічну термінологію, частина якої походить із статистики. Наприклад, автор Стівен Фью (Stephen Few) визначає два типи даних, поєднання яких використовуються для підтримки змістовного аналізу або унаочнювання:

• Категорична: Текстові мітки, що описують характер даних, наприклад «Ім'я» або «Вік». Цей термін охоплює також якісні (нечислові) дані.
• Кількісні: Числові метрики, наприклад, «25» для відображення віку в роках.

Два основних типи інфографіки — це таблиці та графіки.

• Таблиця містить кількісні дані, організовані в рядки та стовпці з категоричними позначками. В основному використовується для пошуку конкретних значень. У наведеному вище прикладі таблиця може мати категоричні мітки стовпців, що представляють ім'я (якісна змінна) та вік (кількісна змінна), при цьому кожен рядок даних представляє одну особу (вибіркова експериментальна одиниця або підрозділ категорії).
• Графік в основному використовується для відображення взаємозв'язків між даними та зображує значення, закодовані як зорові об'єкти (наприклад, лінії, стовпчики або точки). Числові значення відображаються в області, окресленій однією або декількома осями. Ці осі задають масштаби (кількісні та категоричні), які використовуються для позначення та відображення величини об'єктів. Багато графіків також називають діаграмами[24].

Епплер та Ленглер розробили «Періодичну таблицю методів візуалізації», інтерактивну діаграму, яка відображає різні методи унаочнювання даних. Він включає шість типів методів унаочнювання даних: дані, інформація, концепція, стратегія, метафора та сполучення[25].

Існують різні підходи до унаочнювання даних. Friendly (2008) виділяє дві головні частини в унаочненні даних: статистичну графіку та тематичну картографію[27]. Стаття «Унаочнювання даних: сучасні підходи» (2007) продовжує цей напрямок і містить огляд семи об'єктів, які унаочнюються[28]:

• Статті та ресурси
• Відображення зв'язків
• Відображення даних
• Відображення новин
• Відображення вебсайтів
• Мапа думок
• Інструменти та послуги

Усі ці теми тісно пов'язані з графічним дизайном та поданням інформації.

З іншого боку, з точки зору інформатики, Фрітс Х. Пост у 2002 році виділив такі області[7][29]:

• Візуалізація інформації
• Способи взаємодії та архітектура
• Методи моделювання
• Методи мультирезолюції
• Алгоритми та методи унаочнювання
• Об'ємна візуалізація

Візуалізація даних із соціальних медіа

Архітектура подання даних (Data presentation architecture, DPA) — це набір підходів спрямованих на те, щоб визначити, знайти, оперувати, форматувати та представляти дані для оптимальної передачі змісту та знання.

Історично склалося так, що термін архітектура подання даних приписується Келі Лауту (Kelly Lautt): [lower-alpha 1] «Архітектура представлення даних (DPA) — це рідко застосовувана навичка, що є визначальною для успіху Business Intelligence. Архітектура представлення даних передбачає глибоке використання науки про числа, дані та статистику для Виявлення і виявлення цінної інформації в даних та робить її корисною, відповідною та досяжною при використанні разом з мистецтвом унаочнювання даних, комунікації, організаційної психології та управління змінами з метою надання бізнес-аналітичних рішень в межах усього досяжного набору даних, за заданий час та у заданому форматі, унаочнення, які найбільш ефективно підтримуватимуть та керуватимуть оперативною, тактичною та стратегічною поведінкою щодо зрозумілих бізнес (або організаційних) цілей. DPA не відноситься ні до ІТ, ні до бізнес-навичок, а є окремим розділом знань. Її часто плутають із унаочненням даних, хоча архітектура подання даних — це набагато ширший набір навичок, який включає визначення того, які дані, за яким розкладом і в якому саме форматі має бути представлено, а не просто найкращий спосіб подання вже відібраних даних. Навички унаочнення даних є одним із елементів DPA».

• Cleveland, William S. (1993). Visualizing Data. Hobart Press. ISBN 0-9634884-0-6.
• Evergreen, Stephanie (2016). Effective Data Visualization: The Right Chart for the Right Data. Sage. ISBN 978-1-5063-0305-5.
• Healy, Kieran (2019). Data Visualization: A Practical Introduction. Princeton: Princeton University Press. ISBN 978-0-691-18161-5.
• Post, Frits H.; Nielson, Gregory M.; Bonneau, Georges-Pierre (2003). Data Visualization: The State of the Art. New York: Springer. ISBN 978-1-4613-5430-7.
• Wilke, Claus O. (2018). Fundamentals of Data Visualization. O'Reilly. ISBN 978-1-4920-3108-6.
• Wilkinson, Leland (2012). Grammar of Graphics. New York: Springer. ISBN 978-1-4419-2033-1.

• Milestones in the History of Thematic Cartography, Statistical Graphics, and Data Visualization, An illustrated chronology of innovations by Michael Friendly and Daniel J. Denis.
• Duke University-Christa Kelleher Presentation-Communicating through infographics-visualizing scientific & engineering information-March 6, 2015