Еволюція Грід

Алгоритм шифрування відкритого ключа RSA був винайдений у лабораторії Масачусетського технологічного інституту інформатики в 1976-77 роках. Цей алгоритм широко використовується, наприклад, у протоколі захищених сокетів (Secure Sockets Layer , SSL). Безпека RSA заснована на твердженні, що дуже важко розкласти на множники надзвичайно великі числа, які складаються із сотень цифр. Використовувані алгоритми тривіально паралельні та не вимагають ніякого зв'язку після початкової установки, і багато машин можуть забезпечити невеликий внесок кожна у загальне рішення завдання по факторизації. Ранні зусилля ґрунтувалися на обміні інформацією та одержання коду факторизації електронною поштою. В 1995 році консорціум на чолі з Bellcore Labs, Сіракузьким університетом і Co-Operating Systems запустили проект, відомий як FAFNER (Factoring via Network-Enabled Recursion - рекурсивна факторизація з підтримкою мережевої роботи), що розкладає на множники через Інтернет.

FAFNER був розроблений для факторизації RSA130, використовуючи нову числову методику факторизації, названу NFS (Number Field Sieve), що використовує обчислювальні web-сервери.[1] Учасники проекту тоді використовували CGI (Common Gateway Interface - стандартний інтерфейс обміну даними) для доступу до сервісів підтримки. Ці сервіси включали: поширення програмного забезпечення NFS, проектну документацію, анонімну користувальницьку реєстрацію, поширення завдань і звіти про стан рішення в реальному часі. Скрипти CGI організували підтримку кластерного керування, направляючи індивідуальні робочі станції на рішення задачі під час їхнього простою, щоб мінімізувати завантаженість машин. Таким чином, вони були клієнтами мережі, які використовували протокол HTTP, щоб одержати значення від сервера та відправити результати назад до CGI скрипту сервера.

Проект I-WAY (The Information Wide Area Year) був експериментальною високоефективною мережею, що об’єднував багато потужних комп'ютерів, і працював над поліпшенням середовищ візуалізації. Проект I-WAY був задуманий на початку 1995 року з ідеєю не побудувати мережу, а інтегрувати існуючі мережі високої пропускної здатності. Використовувалися віртуальні середовища, набори даних і комп'ютери, які розташовувалися на сімнадцяти різних американських сайтах і були підключені за допомогою десятка мереж із змінними смугами пропускання та протоколами, використовуючи різну маршрутизацію та перемикання технологій. 

Мережа була заснована на технології асинхронної передачі даних, що у той час тільки розвивалася, а пізніше стала стандартом.. Щоб допомогти стандартизувати інтерфейс програмного забезпечення та керування I-WAY, ключові сайти встановлювали місцеві сервери (I-POP), щоб задіяти  їх як шлюзи до I-WAY. Сервери I-POP були робочими станціями UNIX, однаково конфігурованими та мали стандартне програмне середовище за назвою I-Soft. I-Soft спробував перебороти проблеми різнорідності, масштабованості, продуктивності та безпеки. Кожний сайт, що брав участь в I-WAY, запускав сервер I-POP. Механізми сервера I-POP забезпечили однакову аутентифікацію I-WAY, резервування ресурсу, створення процесу та функції комунікації. Кожний сервер I-POP був доступний через Інтернет і працював у межах системи мережевого захисту свого сайту.

Проект I-WAY визначив кілька типів додатків:

• суперобчислення;
• доступ до віддалених ресурсів;
• віртуальна реальність;
• відео, мережа, GII-Windows;

Проект I-WAY був також успішно продемонстрований на SC 95 у Сан-Дієго. Що є ще більш важливим, досвід роботи та програмне забезпечення, що розроблялося , були використані  в подальшому:  FAFNER став попередником SETI@home і distributed.net, а I-WAY - попередником Globus і Legion.

ПГЗ Globus створює програмну інфраструктуру, що дозволяє додаткам використовувати розподілені різнорідні обчислювальні ресурси як одиничний віртуальний комп’ютер. Проект Globus, розпочатий ще в1996 році, пов’язаний з розробленням обчислювальних архітектур .Згідно проекту, обчислювальний Grid є апаратною та програмною інфраструктурою, що забезпечує надійний, однозначний  доступ до високопродуктивних обчислювальних можливостей, незважаючи на географічний розподіл як ресурсів, так і користувачів.

Центральний елемент системи Globus - Globus Toolkit (інструментарій), що визначає основні сервіси та можливості, необхідні для створення обчислювального Grid середовища. Інструментарій складається з ряду компонентів, які забезпечують  основні сервіси, такі як безпека, місце розташування ресурсів, керування ресурсами, зв'язок.

Globus створений як багаторівнева архітектура, у якій глобальні сервіси високого рівня побудовані поверх основних локальних сервісів нижнього рівня. Globus Toolkit є модульним, і додаток може експлуатувати особливості Globus, такі як керування ресурсами або інформаційною інфраструктурою, не використовуючи бібліотеки комунікації Globus. 

Globus Toolkit сьогодні складається з наступних елементів:

• GRAM
• GridFTP

• GSI

• GASS 

• GEM

• LDAP

• GARA

Протоколи та сервіси, які надав Globus, досить динамічно змінювалися  протягом свого розвитку. Акцент Globus перейшов від підтримки одних тільки високоефективних додатків до підтримки більше розповсюджених сервісів, які можуть підтримувати віртуальні організації. Еволюція Globus продовжується  введенням архітектури OGSA (Open Grid Service Architecture, відкрита архітектура сервісів Grid ) , і архітектури Grid, заснованої на Web-сервісах.[3]

ПГЗ Legion є «метасистемою», заснованою на об'єктах, і розробленою у Вірджинському університеті. Legion сформував  програмну інфраструктуру таким чином, щоб система різнорідних, географічно розповсюджених і високоефективних машин могла вільно взаємодіяти. Legion зробив спробу надати користувачам на їхніх робочих станціях  окрему інтегровану інфраструктуру незалежно від масштабу, фізичного місця розташування, мови програмування та основної операційної системи користувача.

Legion відрізнявся від Globus у своєму підході до забезпечення середовища Grid: він формував всі свої компоненти у вигляді об'єктів. У цієї методології є всі звичайні переваги об’єктно-орієнтованого підходу, такі як абстракція даних, інкапсуляція, спадкування та поліморфізм.

Legion був вперше випущений у листопаді 1997 року. З тих пір компоненти, які становлять Legion, продовжили розвиватися. У серпні 1998 року компанія Applied Metacomputing одержала дозвіл на комерційне використання Legion. У червні 2001 року естафета була перехоплена корпорацією Avaki (Avaki Corporation).

CORBA (The Common Object Request Broker Architecture) є відкритою розподіленою об'єктно-обчислювальною інфраструктурою, стандартизованою OMG (Object Management Group, група по керуванню об'єктами) . CORBA автоматизує функціонування загальних мереж, програмуючи такі завдання, як об'єктна реєстрація, місце розташування та активація; демультиплексування запиту; синхронізація кадрів і обробка помилок; сортування та десортування параметра, диспетчеризація операції. Хоча CORBA забезпечує широкий набір сервісів, проте вона не містить сервіси розподілу та планування рівня Grid, які є в Globus, однак CORBA цілком здатна об’єднатися  з Grid. CORBA є середовищем, що не залежить від мови та близько асоціюється з UML (Unified Modeling Language). Один із недоліків CORBA - це те, що вона більше підходить для внутрішніх мереж, а не для поширення через Інтернет, і тому існують труднощі в організації, наприклад, виконання операцій через системи мережевого захисту. Крім того, не забезпечується організація взаємодії в реальному часі та підтримка мультимедіа.

Java створює окрему структуру для реалізації розподілених об'єктних систем. Певною мірою віртуальна машина Java (JVM, Java Virtual Machine) з Java-додатками та сервісами вирішує проблеми, пов'язані з різнорідними системами, організовуючи переносні програми та розподілену об'єктну модель через протокол RMI. Однак, використання Java саме по собі містить півні  недоліки, і головним з них є низька обчислювальна швидкість. Java Grande («Додаток Grande») є будь-яким додатком, науковим або індустріальним, котрий вимагає великої кількості обчислювальних ресурсів, у тому числі і віддалених, для  рішення однієї або більше задач. Мова Java була також обрана для створення альтернативного програмного забезпечення проміжного шару UNICORE (UNіform Іnterface to COmputer REsources) в 2003 році. Головні компоненти UNІCORE:[4]

• агент підготовки завдань (JPA);

• контролер монітора завдань(JMC);

• сервер https UNІCORE, так званий шлюз (Gateway);

• супервізор мережних завдань (NJS);

• графічний інтерфейс користувача, заснований на Java-аплетах, з інтерактивною довідкою й засобами допомоги.

Технологія Jini була розроблена для того, щоб сформувати програмну інфраструктуру, яка надає можливість створити середовище розподілених обчислень. В Jini додатки можуть бути написані мовою Java і оброблятися з використанням механізму Java RMI (Java Remote Method Invocation). Навіть при тому, що Jini написана на чистому Java, ні від клієнтів Jini, ні від сервісів не вимагається  бути чистими Java. Вони можуть включати надбудови Java навколо коду на іншій мові, або навіть бути повністю написані на деякій іншій мові. Це дозволяє  Jini використовуватися поза стандартною структурою Java і зв'язувати сервіс і клієнтів від безлічі джерел.[3]

В Jini новий пристрій або програмний сервіс можуть бути підключені до мережі і там оголосити про свою присутність. Клієнти, які бажають використати такий сервіс, можуть тоді визначити його місцезнаходження та дати йому своє ім'я, що відразу дозволяє почати виконувати завдання. Jini заснований на протоколі RMI, що вводить деякі обмеження. Крім того, Jini не є розподіленою операційною системою, оскільки операційна система надає такі послуги, як доступ до файлу, планування процесора та користувальницькі входи в систему.

Існує кілька доступних систем, які фокусуються на здійсненні групування та планування ресурсів. Потрібно відзначити, що всі пакети, що тут перераховані, виникли як системи керування завданнями та локальними платформами розподілених обчислень:

• Condor

• PBS

• SGE

•  LSF

• SRB

•  Nimrod-G

• Grid-Портали

До 2003 року з'явився ряд архітектур Grid, запропонованих у різних проектах. Наприклад, в роботі запропонувала відома багатошарова модель, а в  проекті IBM Information Power Grid [80] – модель з великим набором сервісів, знову ж таки упорядкованих пошарово. До цього часу модель Web-сервісів також придбала популярність, обіцяючи стандарти для підтримки сервісно-орієнтованого підходу. Ще одне з дослідницьких співтовариств розпочало  роботу в області обчислень, заснованих на застосуванні програмних агентів: програмні агенти можуть бути визначені як виробники, споживачі та брокери сервісів. В цілому, стало очевидним те, що сервісно-орієнтована парадигма забезпечує гнучкість, необхідну для третього покоління Grid.[4]

Велике  значення  мало створення консорціумом W3C стандартів Web-сервісів таких як:

• SOAP

• Мова опису Web-сервісів (WSDL).

• UDDI

• Мова WSFL

• WSMF

Web-сервіси близько відповідають вимогам до систем Grid третього покоління: вони підтримують сервісно-орієнтований підхід і підтримають стандарти для полегшення інформаційних процесів, таких як опис сервісу (рис.3.1).

Структура OGSA (Open Grid Services Architecture, відкрита архітектура Grid-сервісів) – спільне бачення Globus-IBM для об’єднання Web-сервісів і Grid-обчислення, була представлена на Глобальному Grid форумі (GGF) у Торонто ще в лютому 2002 року. GGF установив робочу групу відкритих Grid-сервісів для того, щоб створити огляд і вдосконалити архітектуру Grid-сервісів і документів, які формують технічну специфікацію.[6]

OGSA підтримує створення, обслуговування та додаток ансамблів сервісів, які використовуються у віртуальних організаціях (ВО). Тут сервіс визначений як об'єкт із підтримкою мережевої роботи, що забезпечує деякі такі можливості, як обчислювальні ресурси, ресурси пам'яті, мережі, програми та бази даних. Це пристосовує створення Web-сервісів для виконання деяких вимог, специфічних для  Grid.

Web-сервіси забезпечують  функціональну сумісність, тобто  ключ до Grid обчислень, а  OGSA впроваджує  засоби  адаптації Web-сервіси до Grid. Однак, Web-сервіси не забезпечують нове рішення багатьох із проблем масштабних розподілених систем з надвеликою кількістю запитів, і при цьому вони також не забезпечують нові методики для розробки цих систем. Отже, для обслуговування широкого кола запитів використовуються інші моделі, наприклад, засновані на програмних агентах. При цьому агенти мають наступні особливості:[6]

• Превентивність - агенти демонструють поведінку, що спрямована на рішення поставленої мети

• Автономія - агенти діють без зовнішнього втручання та мають деякий контроль над своїми діями та внутрішнім станом;

• Соціальна здатність - агенти взаємодіють із іншими агентами, використовуючи мову комунікації агента;

• Реактивність - агенти зберігають і відповідають за своє середовище;

Обчислення, засноване на агентах, особливо добре підходить для динамічно змінного середовища, де автономія агентів дозволяє адаптувати обчислення до змінних обставин. Це є важливою властивістю для Grid-систем третього покоління. Однією з методик для досягнення вищевказаної властивості є оперативний обмін інформацією між агентами, і для реалізації цієї методики проведені відповідні дослідження. Ринкові підходи обумовлюють особливо важливі  вимоги  до економічності обчислювальних  систем, необхідних для Grid-додатків.

Спочатку Інтернет у Європі просувався зусиллями CERN для розподіленого доступу до інформації в контексті е-Науки. Тоді постає питання, чи задовольняє зараз ця архітектура розподілу інформації вимогам Grіd. При цьому виникають наступні питання до:

• можливості контролю версій, бо Інтернет може безупинно обновлювати сторінки без контролю версій;

• якості сервісу, оскільки вбудовані посилання можуть змінювати сервер, місце його розташування, назву або інформаційне наповнення документа, але очікуваність несуперечності посилань низька, і е-Наука може вимагати більш високої якості обслуговування;[5]

• походженню інформації, тому що  не має ніякого стандартного механізму, щоб забезпечити юридично істотний доказ, що даний документ був виданий в Інтернеті в конкретні дату та час;

• цифрового керування правами, бо е-Наука потребує специфічні функціональні можливості щодо керування цифровим інформаційним наповненням, включаючи, наприклад, керування інтелектуальною власністю та захист від копіювання;

• нагляду, тому що більша частина  інфраструктури Web зосереджена на техніці доставки інформації, а не на засобах створення й керування змістом, особливо в умовах оброблення метаданих.

Web усе більше стає інфраструктурою для розподілених додатків, де скоріше відбувається обмін інформацією між програмами, ніж читання її людиною. Такий інформаційний обмін забезпечується сімейством рекомендацій XML від W3C. XML призначений для розмітки документів і не має ніякого встановленого словника тегів; вони визначені для кожного додатка й використовують Document Type Defіnіtіon (DTD) або XML Schema. RDF - це стандартний спосіб вираження метаданих, особливо ресурсів на Web, хоча ним можна скористатися для опису структурованих даних взагалі. Використання XML й RDF робить можливим  стандартне вираження змісту й метазмісту. З'являються додаткові набори інструментів для роботи із цими форматами, і це збільшує підтримку з боку інших інструментів. Все разом це забезпечує інфраструктуру для інформаційних систем третього покоління Grіd. W3C опублікував документ , у якому розглянута перспективна технологія Семантичного Web, обумовлена як розширення нинішньої мережі Web, при якій інформація має чітко виражене значення, що надає кращі можливості для співробітництва людей і комп'ютерів. Головне, що несе ця технологія, - це ідея наявності даних на Web, певних і зв'язаних таким способом, що дозволяє використати їх для більше ефективного виявлення, автоматизації, інтеграції й повторного використання в різних додатках.