Ґрід

Датаґрід (англ. Data grid) — це географічно розподілена інфраструктура, яка об'єднує множину різних типів, доступ до яких користувач може отримати з будь-якої точки, незалежно від місця їх розміщення. Ґрід надає колективний розподілений режим доступу до ресурсів і до зв'язаних з ними послуг в рамках глобально-розподілених організацій(підприємства які спільно використовують глобальні ресурси, бази даних, спеціалізоване програмне забезпечення).[1][2][3]

Огляд

Ґрід обчислення з'єднує комп'ютери з багатьох адміністративних доменів для досягнення певних цілей,[4] Однією з основних стратегій ґрід обчислень є використання проміжного ПЗ, яке може адаптуватися під завдання, що розв'язується в одному віртуальному домені, для того щоб розподілити шматки програм серед декількох комп'ютерів, іноді навіть серед тисяч. Ґрід обчислення включає обчислення в розподіленій манері, що може включати використання великих кластерів. Розмір сітки може варівнюватися від слабо прикутих до мережі робочих станцій в межах корпорації, до сильно прикутих до мережі комп'ютерних робочих станцій публічної корпорації з багатьма компаніями та мережами.[5]

Координація додатків на Грід системах[6] може бути складним завданням, особливо коли координують потоки інформації через розподілені обчислювальні ресурси. Робочі потоки Ґрід були розроблені як спеціалізована форма систем робочих потоків, зроблених спеціально для того щоб створювати та виконувати серії обчислювальних кроків або кроків маніпуляції з даними, або робочих потоків у контексті Ґрід.

Порівняння Ґрід та звичайних суперкомп'ютерів

«Розподілені» або «ґрід» обчислення загалом є спеціальним типом паралельних обчислень що покладається на цілі комп'ютери(з повною комплектацією), під'єднані до комп'ютерної мережі(приватної або публічної) звичайним мережевим інтерфейсом, в той час як звичайний суперкомп'ютер містить безліч процесорів, підключених до локальної високошвидкісної шини.

Основною перевагою розподілених обчислень є те, що окремий осередок обчислювальної системи може бути придбаний як звичайний неспеціалізований комп'ютер. Таким чином можна отримати практично ті ж обчислювальні потужності, що і на звичайних суперкомп'ютерах, але з набагато меншою вартістю.[7]

Також є певні відмінності у програмуванні та устаткуванні. Писати програми які працюють у середовищі суперкомп'ютера, що може мати унікальну операційну систему, може бути дорого і складно. Якщо проблема може бути адекватно розпаралелена, тонкий шар ґрід-інфраструктури може дозволити звичайній програмі запуститись на декількох машинах. Це робить можливим написання та відлагоджування на одній машині, і виключає ускладення через декілька однакових програм запущених одночасно в спільній пам'яті і просторі збереження даних.

Конструктивні міркування і різновиди

Одна особливість розподілених ґрід-систем це те що вони можуть бути сформовані з обчислювальних ресурсів які належать до декількох організацій. (відомих як адміністративні домени). Це може полегшити комерційні транзакції або збірку волонтерських обчислювальних мереж.

Одним недоліком цієї особливості є те що комп'ютери які виконують обчислення можуть не заслуговувати довіри. Дизайнери систем повинні риймати заходи, щоб запобігти тому, що шкідливі програми або збої посприяють отриманню неправильних, спотворених результатів, чи використання системи як вектор атаки. Це часто включає призначення роботи випадковому вузлу і перевірку чи хоча б два різні вузли надсилають однакову відповідь щодо даної роботи. Розбіжності відразу покажуть збій у системі або шкідливу програму. Проте, через нестачу централізованого контролю над обладнанням, немає гарантії що вузли не виведуть з ладу всю мережу у будь-який момент.

Публічні системи або адміністративні домени часто результують в потребу запуску на гетерогенних системах, використовуючи різні операційні системи і комп'ютерні архітектури.

З багатьма мовами програмування, є компроміс між інвестуванням в програмну розробку та кількість платформ які можуть бути підтримані. Крос-платформенні мови можуть знизити потребу цих компромісів, за рахунок високої продуктивності на будь-якому вузлі. Є різноманітні наукові та комерційні проєкти для використання певної пов'язаної сітки або для встановлення нових.

Справді, проміжне ПЗ можна розглядати як шар між апаратним та програмним забезпеченням. У верхівці проміжного ПЗ, повинно враховуватись кількість технічних територій, і вони можуть або не можуть бути залежними від проміжного ПЗ. Приклади таких територій включають SLA, довіра та безпека, віртуальні організації, менеджмент ліцензій, менеджмент даних.

Сегментація ринку ґрід-обчислень

Для сегментації ринку розподілених обчислень, повинні бути розглянуті дві перспективи: сторона постачальника і сторона користувача:

Сторона провайдера

В цілому, ринок грід включає декілька специфічних ринків. Такими є ринок проміжного ПЗ грід систем, ринок для грід застосунків, та ринок програма-як-сервіс (SaaS).

Проміжне ПЗ грід систем це специфічний програмний продукт, який включає обмін гетерогенними ресурсами та віртуальні організації. Воно інтегроване в існуючу інфраструктуру певної компанії або компаній, і надає спеціальний прошарок між інфраструктурою та користувачами. Основним проміжним ПЗ є Globus Toolkit, gLite, та UNICORE.

Грід застосунки це спеціальне програмне забезпечення яке здатне скористатись інфраструктурою ґрід. Це можливо завдяки використанню проміжного ПЗ.

Модель пропозиції програмного забезпечення споживачеві як послуги (SaaS) коли постачальник розробляє веб-застосунок, розміщує його й управляє ним (самостійно або через третіх осіб) з метою та можливістю використання замовниками через інтернет. Замовники платять не за володіння програмним забезпеченням як таким, а за його використання (через прикладний програмний інтерфейс, що доступний через веб і часто використовує веб-служби). Близьким до терміну SaaS є термін «On-Demand» (за запитом).

Сторона користувача

Для компаній на замовлення або для користувацької сторони ринку грід обчислень, відмінні сегменти мають значні наслідки для їх IT стратегії розгортання. Стратегія ІТ розгортання так як і тип ІТ інвестувань є важливими аспектами для понетціальних грід користувачів та відіграють важливу роль для грід.

Історія

Термін «грід-обчислення» з'явився на початку 1990-х років, як метафора, що демонструє можливість простого доступу до обчислювальних ресурсів як і до електричної мережі (англ. Power grid) у збірнику під редакцією Яна Фостера і Карла Кессельмана "The Grid: Blueprint for a new computing infrastructure ".

Використання вільного часу процесорів і добровільного комп'ютингу стало популярним в кінці 1990-х років після запуску проєктів добровільних обчислень GIMPS в 1996 році, distributed.net в 1997 році і SETI @ home в 1999 році. Ці перші проєкти добровільного комп'ютингу використовували потужності приєднаних до мережі комп'ютерів звичайних користувачів для вирішення дослідницьких завдань, що вимагають великих обчислювальних потужностей.

Ідеї грід-системи (включаючи ідеї з областей розподілених обчислень, об'єктно-орієнтованого програмування, використання комп'ютерних кластерів, веб-сервісів та ін.) були зібрані і об'єднані Іеном Фостером, Карлом Кессельманом і Стівом Тікі, яких часто називають батьками грід-технології. Вони почали створення набору інструментів для грід-комп'ютингу Globus Toolkit, який включає не тільки інструменти менеджменту обчислень, але й інструменти управління ресурсами зберігання даних, забезпечення безпеки доступу до даних і до самого грід, моніторингу використання і пересування даних, а також інструментарій для розробки додаткових грід-сервісів. В даний час (2016) цей набір інструментарію є де-факто стандартом для побудови інфраструктури на базі технології грід, хоча на ринку існує безліч інших інструментаріїв для грід-систем як у масштабі підприємства, так і в глобальному.

Грід-технологія застосовується для моделювання та обробки даних в експериментах на Великому адронному колайдері (грід використовується і в інших завданнях з інтенсивними обчисленнями). На платформі BOINC в даний час ведуться активні обчислення понад 60 проєктів. Наприклад, проєкт Fusion (південь Франції, розробка методу отримання електрики за допомогою термоядерного синтезу на експериментальному реакторі ITER) також використовує грід (EDGeS @ Home). Під назвою CLOUD розпочато проєкт комерціалізації грід-технологій, в рамках якого невеликі компанії, інститути, які потребують обчислювальних ресурсах, але не можуть собі дозволити з тих чи інших причин мати свій суперкомп'ютерний центр, можуть купувати обчислювальний час гріду.

Найшвидші віртуальні суперкомп'ютери
  • Станом на червень 2014, Bitcoin Network – 1166652 PFLOPS.[8]
  • Станом на квітень 2013, Folding@home – 11.4 x86-еквівалентно (5.8 «рідне») PFLOPS.[9]
  • Станом на березень 2013, BOINC – в середньому 9.2 PFLOPS.[10]
  • Станом на квітень 2010, MilkyWay@Home більше ніж 1.6 PFLOPS, з великою кількістю ресурсів GPU.[11]
  • Станом на квітень 2010, SETI@home в середньому більше 730 TFLOPS.[12]
  • Станом на квітень 2010, Einstein@Home видає більше 210 TFLOPS.[13]
  • Станом на червень 2011, GIMPS витримує 61 TFLOPS.[14]

Проєкти та застосунки

Грід обчислення пропонує рішення глобальних завдань, таких як згортання білків, фінансове моделювання, симуляцію землетрусів і моделювання клімату та погоди. Грід пропонує оптимальне використання ресурсів інформаційних технологій всередині організації. Він також надає інформаційні технології як обчислювальні утиліти для комерційних та не комерційних користувачів, котрі платять лише за те що вони використовують, так як з електрикою або з водою.

Станом на серпень 2009 Folding@home досягнув більше ніж 4 petaflops на ~350,000 машинах.

BEinGRID (Business Experiments in Grid) був проєктом дослідження, фінансований Європейською Комісією[15] як інтеграційний проєкт під спонсорством Шостої Фреймворк Програми (FP6). Стартувавши 1 Червня 2006, проєкт пропрацював 42 місяці, до листопада 2009. Проєкт був координований Atos Origin.

Проєкт підключення Грід систем для E-sciencE, розташованого в Євросоюзі і включаючого сайти в Азії та США був подальшим проєктом для European DataGrid (EDG), котрий еволюціонував в European Grid Infrastructure. Європейська Грід Інфраструктура також була застосована в інший дослідженнях і експериментах таких як симуляція онкологічних клінічних випробувань.[16]

У 2011, більше 6.2 мільйона машин працювали з Berkeley Open Infrastructure for Network Computing (BOINC) платформою, члени якої є члени World Community Grid, яка очолює обчислювальну потужність зі своїм найшвидшим суперкомп'ютером (Китайським Tianhe-I).[17]

Ґрід у світі
  1. 2001 р. Проєкт Tera-Grid — у США — фінансується Національним науковим фондом.
  2. 2001—2004 рр. — Європейський проєкт DataGrid — створена інфаструктура обчислень та обміну даними для потреб європейських науковців.
  3. 2004 р. — ЄС створив аналог Tera-Grid — консорціум DEISA. Об'єднав провідні національні суперкомп'ютерні центри країн ЄС.
  4. З 2004 — Grid-мережа EGEE (Enabling Grids for E-sciens) — власне розвиток проєкту DataGrid . Виконується під керівництвом Європейського центру ядерних досліджень (ЦЕРН, Женева). Фінансується ЄС. У 2007 р. в проєкті беруть участь понад 70 наукових установ з 27 країни світу. Мета проєкту — побудова найбільшого у світі Grid.
  5. З 2004 р. — Strategic Grid Computing Initiative — президентська програма США, мета якої — «створення єдиного національного простору високопродуктивних обчислень». На сьогодні у США вже функціонує декілька Ґрід-мереж, які обслуговують NASA, міністерство оборони та провідні наукові центри країни.
  6. Проєкт Google стосовно створення глобальної Ґрід-системи. Це — один з найбільших приватних проєктів Ґрід, який ставить на меті перетворення комп'ютерингу на споживчу послугу для широкого загалу користувачів.
  7. Китайський проєкт Ґрід — China-Grid (початок — 2000 р.). У 2006 р. завершено проєкт China Education Grid Project, який об'єднав комп'ютерні мережі найбільших китайських університетів.
  8. З 2006 р. — початок спільного Ґрід-проєкту ЄС-Китай (EUChinaGRID), який об'єднає європейські і китайські Ґрід-структури.
  9. Індійський національний Ґрід-проєкт GARUDA, мета якого — об'єднання 17 провідних наукових центрів країни.
  10. GLORIAD — дотичний проєкт, що передбачає створення єдиної комп'ютерної мережі у Північній півкулі (США, Канада, Європа, Росія, Китай, Південна Корея).

Ґрід в Україні

UGRID — проєкт створення національної української мережі Ґрід та інтеграції її у загальноєвропейську, підготовлений Національним технічним університетом «Київський політехнічний інститут».

У 2009 році Кабінетом Міністрів України з метою створення національної грід-інфраструктури та умов для широкого впровадження грід-технологій, зокрема підвищення пропускної спроможності оптоволоконних каналів зв'язку, розроблення спеціалізованого грідівського та адаптація для впровадження грід-технологій існуючого програмного забезпечення, підготовка фахівців з питань впровадження і застосування грід-технологій було затверджено Державну цільову науково-технічну програму впровадження і застосування грід-технологій на 2009-2013 роки[18]. Основні виконавці — Міністерство освіти та науки України і Національна академія наук.

Ґрід-платформа (2004 р.) Інституту теоретичної фізики та Обчислювального центру Київського національного університету ім. Т. Г. Шевченка.

ІТФ розроблено Ґрід-проєкт для НАН України.

У лабораторії Ґрід-технологій ІТФ створено перший Ґрід-сегмент НАН України (об'єднує кластери ІТФ, ІКБГІ, ІМБГ, ГАО, КНУ, ІК, ІКД). Системним інтегратором по впровадженню більшості обчислювальних кластерів Ґрід-сегменту виступила компанія Юстар.

Ґрід-кластери (обчислювальний кластер, який є перспективним для включення у Ґрід-мережу) створені у:

Ще у восьми академічних інститутах Києва, Харкова і Дніпропетровська створюються Ґрід-кластери.

Вже існуючі українські Ґрід-сегменти і Ґрід-кластери інтегруються у загальноєвропейську систему. Ґрід-співпраця вже існує через ЦЕРН (Женева), в рамках AliEn-grid, AstroGrid-D. І це коло розширюється.

З розвитком українського Ґрід-сегменту очікується якісний і кількісний стрибок у розвитку українського Інтернету.

Структура ґрід-системи ЦЕРНа

Ґрід-система ЦЕРНа, призначена для обробки даних, що надходять з Великого адронного коллайдера, має ієрархічну структуру.[19]

Найвища точка ієрархії, нульовий рівень — CERN (отримання інформації з детекторів, збір «сирих» наукових даних, які зберігатимуть до кінця роботи експерименту). За перший рік роботи планують зібрати до 15 петабайт (тисяч терабайт) даних першої копії.

Перший рівень, Tier1 — зберігання другої копії цих даних в інших куточках світу (11 центрів: в Італії, Франції, Великій Британії, США, на Тайвані, а один центр першого рівня — CMS Tier1 — в ЦЕРНі).

Tier2 — численні центри другого рівня. Наявність великих ресурсів для зберігання даних не обов'язкова; мають хороші обчислювальні ресурси. Російські центри: у Дубні (ОІЯД, Об'єднаний інститут ядерних досліджень), три центри в Москві (НДІЯФ МДУ, ФІАН, ІТЕФ — Інститут теоретичної та експериментальної фізики), Троїцьку (ІЯД, Інститут ядерних досліджень), Протвино (ІФВЕ, Інститут фізики високих енергій) та Гатчині (ПІЯФ). Крім того, в єдину мережу з цими центрами зв'язані і центри інших країн-учасниць ОІЯД — в Харкові, Мінську, Єревані, Софії, Баку та Тбілісі.

Понад 85 % всіх обчислювальних задач ВАК зараз виконується поза ЦЕРНом, з них понад 50 % на центрах другого рівня.[19]

Визначення

СЬогодні є багато визначень що таке ґрід обчислення:

  • У своїй статті «What is the Grid? A Three Point Checklist»,[4] Ian Foster описує такі атрибути:
    • Обчислювальні ресурси не адмініструються централізовано.
    • Використані відкриті стандарти.
    • Досягнути нетривіальна якість сервісу.
  • Plaszczak/Wellner[20] визначає грід технологію як "технологія яка включає ресурси віртуалізації, підготовку на вимогу і сервіс(ресурс) спільний між організаціями.
  • IBM визначає ґрід обчислення як «здатність використовувати набір відкритих стандартів і протоколів, щоб отримати доступ до програм та даних, оброблювальних потужностей, ємність і широкий масив інших обчислювальних ресурсів в інтернеті. Грід це тип паралельних та розподілених систем що включає обмін, вибір, агрегацію ресурсів розподілених між багатьма адміністративними доменами, заснованими на їх(ресурсів) доступності, місткості, продуктивності, вартості та якості вимог для користувача.»[21]
  • Ранішній приклад поняття обчислень як утиліти був наведений Фернандо Корбато в 1965 році. Корбато та інші дизайнери Multic operating system An earlier example of the notion of computing as utility was in 1965 by MIT's Fernando Corbató. Corbató and the other designers of the Multics operating system бaчили комп'ютерний об'єкт працюючий «як енергетична або водяна компанія».[22]

Див. також

Пов'язані поняття

Союзи та організації

Виробники Ґрід
  • European Grid Infrastructure
  • Enabling Grids for E-sciencE
  • INFN Production Grid
  • NorduGrid
  • OurGrid
  • Sun Grid
  • Techila
  • Xgrid

Інтернаціональні проєкти
Назва Регіон Початок Кінець
European Grid Infrastructure (EGI) Європа Травень 2010 Грудень 2014
Open Middleware Infrastructure Institute Europe (OMII-Europe) Європа Травень 2006 Травень 2008
Enabling Grids for E-sciencE (EGEE, EGEE II and EGEE III) Європа Березень 2004 Квітень 2010
Grid enabled Remote Instrumentation with Distributed Control and Computation (GridCC) Європа Вересень 2005 Вересень 2008
European Middleware Initiative (EMI) Європа Травень 2010 активний
KnowARC Європа Червень 2006 Листопад 2009
Nordic Data Grid Facility Скандинавія та Фінляндія Червень 2006 Грудень 2012
World Community Grid Глобальна Листопад 2004 активний
XtreemOS Європа Червень 2006 (Травень 2010) продовж. до Вересня 2010
OurGrid Бразилія Грудень 2004 активний

Національні проєкти
  • GridPP (Велика Британія)
  • CNGrid (Китай)
  • D-Grid (Німеччина)
  • GARUDA (Індія)
  • VECC (Індія)
  • IsraGrid (Ізраель)
  • INFN Grid (Італія)
  • PL-Grid (Польща)
  • National Grid Service (Велика Британія)
  • Open Science Grid (США)
  • TeraGrid (США)
  • Grid5000 (Франція)

Стандарти та програмні інтерфейси
  • Distributed Resource Management Application API (DRMAA)
  • A technology-agnostic information model for a uniform representation of Grid resources (GLUE)
  • Grid Remote Procedure Call (GridRPC)
  • Grid Security Infrastructure (GSI)
  • Open Grid Services Architecture (OGSA)
  • Open Grid Services Infrastructure (OGSI)
  • A Simple API for Grid Applications (SAGA)
  • Web Services Resource Framework (WSRF)

Програмна реалізація та проміжне ПЗ
  • Advanced Resource Connector (NorduGrid's ARC)
  • Altair PBS GridWorks
  • Berkeley Open Infrastructure for Network Computing (BOINC)
  • DIET
  • Discovery Net
  • European Middleware Initiative
  • gLite
  • Globus Toolkit
  • GridWay
  • OurGrid
  • Portable Batch System (PBS)
  • Platform LSF
  • LinuxPMI
  • ProActive
  • Platform Symphony
  • SDSC Storage resource broker (data grid)
  • Simple Grid Protocol
  • Sun Grid Engine
  • Techila Grid
  • UNICORE
  • Univa Grid Engine
  • Xgrid
  • ZeroC ICE IceGrid

Фреймворки для моніторингу
  • GStat

Примітки
  1. Grid vs cluster computing
  2. What is grid computing? — Gridcafe Архівовано 10 лютого 2013 у Wayback Machine.. E-sciencecity.org. Retrieved 2013-09-18.
  3. Scale grid computing down to size. NetworkWorld.com. 27 січня 2003. Процитовано 21 квітня 2015.
  4. What is the Grid? A Three Point Checklist. Архів оригіналу за 22 листопада 2014. Процитовано 28 травня 2015.
  5. Pervasive and Artificial Intelligence Group :: publications [Pervasive and Artificial Intelligence Research Group]. Diuf.unifr.ch. 18 травня 2009. Архів оригіналу за липень 7, 2011. Процитовано 29 липня 2010.
  6. Grid-система - це програмно-апаратне середовище, яке об'єднує ресурси, що належать різним адміністративним доменам, яка дозволяє у віддаленому режимі використовувати будь-яку кількість ресурсів (процесорних, оперативної та постійної пам'яті, програм і даних) в рамках завдань віртуальної організації. Архів оригіналу за 10 жовтня 2017. Процитовано 10 жовтня 2017.
  7. Computational problems — Gridcafe Архівовано 25 серпня 2012 у Wayback Machine.. E-sciencecity.org. Retrieved 2013-09-18.
  8. bitcoinwatch.com (15 червня 2014). Bitcoin Network Statistics. Bitcoin. Staffordshire University. Процитовано 15 червня 2014.
  9. Pande lab. Client Statistics by OS. Folding@home. Stanford University. Процитовано 23 квітня 2013.
  10. BOINCstats – BOINC combined credit overview. Процитовано 3 березня 2013.
  11. MilkyWay@Home Credit overview. BOINC. Процитовано 21 квітня 2010.
  12. SETI@Home Credit overview. BOINC. Процитовано 21 квітня 2010.
  13. Einstein@Home Credit overview. BOINC. Процитовано 21 квітня 2010.
  14. Internet PrimeNet Server Distributed Computing Technology for the Great Internet Mersenne Prime Search. GIMPS. Процитовано 6 червня 2011.
  15. Home page of BEinGRID. Архів оригіналу за 23 липня 2011. Процитовано 28 травня 2015.
  16. Athanaileas, Theodoros, et al. (2011). Exploiting grid technologies for the simulation of clinical trials: the paradigm of in silico radiation oncology. SIMULATION: Transactions of The Society for Modeling and Simulation International (Sage Publications) 87 (10): 893–910. doi:10.1177/0037549710375437.
  17. BOINCstats
  18. Державна цільова науково-технічна програма впровадження і застосування грід-технологій на 2009-2013 роки : постанова Кабінету Міністрів України від 23.09.2009 № 1020 (ua). Процитовано 9 липня 2020.
  19. Інтернет-коллайдер
  20. P Plaszczak, R Wellner, Grid computing, 2005, Elsevier/Morgan Kaufmann, San Francisco
  21. IBM Solutions Grid for Business Partners: Helping IBM Business Partners to Grid-enable applications for the next phase of e-business on demand
  22. Structure of the Multics Supervisor. Multicians.org. Retrieved 2013-09-18.

Література

Посилання
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.