Паралельне програмування на основі МРІ

Під паралельною програмою в рамках МРІ розуміють множину одночасно виконуваних процесів. Процеси можуть виконуватися на різних процесорах, але на одному процесорі можуть розташовуватися і декілька процесів (в цьому випадку їх виконання здійснюється в режимі розділення часу). В граничному випадку для виконання паралельної програми може використовуватися один процесор - як правило, такий спосіб застосовується для початкової перевірки правильності паралельної програми. Кожний процес програми породжується на основі копії одного і того ж програмного коду (модель SPMP). Цей програмний код, зображуваний у вигляді виконуваної програми, повинен бути доступним в момент запуску паралельної програми на всіх використовуваних процесорах. Вихідний програмний код для виконуваної програми розроблюється на алгоритмічних мовах С чи FORTRAN із застосуванням тієї чи іншої реалізації бібліотеки МРІ. Кількість процесів та чисельність використовуваних процесорів визначається в момент запуску паралельної програми засобами середовища виконання МРІ - програм і в ході обчислень не може змінюватися без застосування спеціальних, але рідко задіяних засобів динамічного породження процесів та управління ними, які з’явилися в стандарті МРІ версії 2.0. Всі процеси програми послідовно перенумеровані від ) до , де є загальна кількість процесорів. Номер процесу іменується рангом процесу.

Основу МРІ складають операції передачі повідомлень. Серед передбачених в складі МРІ функцій розрізняють парні (point-to-point) операції між двома процесами та колективні (collective) комунікаційні дії для одночасної взаємодії декількох процесів. Для виконання парних операцій можна використовувати різні режими передачі, серед яких: синхронний, блокуючий та ін. - повний перелік можливих режимів буде розглянутий далі. До стандарті МРІ включено більшість основних операцій передачі даних.

Процеси паралельної програми об’єднуються в групи. Іншим важливим поняттям МРІ, що описує набір процесів, є поняття комунікатора. Під комунікатором в МРІ розуміють спеціально створюваний службовий об’єкт, який об’єднує в своєму складі групу процесів і ряд додаткових параметрів (контекст), використовуваних при виконанні операцій передачі даних. Парні операції передачі даних виконуються тільки для процесів, які належать одному і тому ж комунікатору. Колективні операції застосовуються одночасно для всіх процесів одного комунікатора. Як результат, вказівка на використовуваний комунікатор є обов’язковою для операцій передачі даних в МРІ. В ході обчислень можуть створюватися нові та видалятися існуючі групи процесів та комунікатори. Один і той же процес може належати різним групам і комунікаторам. Всі наявні в паралельній програмі процеси входять до складу конструйованого за умовчанням комунікатора з ідентифікатором MPI_COMM_WORLD. У версії 2.0 стандарту з’явилася можливість створювати глобальні комунікатори (intercommunicator), які об’єднують в одну структуру пару груп за необхідності виконання колективних операцій між процесами з різних груп. Детальній розгляд можливостей МРІ для роботи з групами і комунікаторами буде даний далі.

При виконанні операцій передачі повідомлень для вказівки даних в функціях МРІ, які передаються чи отримуються, необхідно вказувати тип даних, що пересилаються. МРІ містить великий набір базових типів даних, що багато в чому збігаються з типами даних в алгоритмічних мовах С чи Fortran. Крім того, в МРІ є можливості створення нових похідних типів даних для більш точного і короткого опису вмісту повідомлень, що пересилаються. Детальний розгляд можливостей МРІ для роботи з похідними типами даних буде виконаний далі.

Парні операції передачі даних можна виконати між будь-якими процесами одного і того ж комунікатора, а в колективній операції беруть участь всі процеси комунікатора. Логічна топологія ліній зв’язку між процесами має структуру повного графа (незалежно від наявності реальних фізичних каналів зв’язку між процесорами). Для подальшого викладу і аналізу ряду паралельних алгоритмів доцільним є логічне представлення наявної комунікаційної мережі у вигляді тих чи інших топологій. В МРІ є можливість представлення множини процесів у вигляді решітки довільної розмірності, рис. 2.1. Граничні процеси решіток можуть бути оголошені сусідніми, і, тим самим, на основі решіток можуть бути означені структури типу тор. Крім того, в МРІ є засоби також для формування логічних (віртуальних) топологій будь-якого потрібного типу. Детальний розгляд можливостей МРІ для роботи з топологіями буде здійснений далі. Перед початком розгляду МРІ звернемо увагу на наступні зауваження:

- опис функцій та всі приклади програм, що наводитимуться, будуть представлені на алгоритмічній мові С; особливості використання МРІ для алгоритмічної мови Fortran будуть розглянуті далі;

- коротка характеристика наявних реалізацій бібліотек МРІ та загальний опис середовища виконання МРІ - програм будуть розглянуті далі;

- основне викладення можливостей МРІ буде зорієнтовано на стандарт версії 1.2 (так званий МРІ-1), нововведення стандарту версії 2.0 будуть розглянуті далі.

Приступаючи до вивчення МРІ, можна відмітити, що МРІ є достатньо складним - в стандарті МРІ передбачається наявність більше ніж 120 функцій. З іншого боку, структура МРІ є старанно продуманою - розробка паралельних програм може бути розпочата вже після розгляду 6 функцій МРІ. Всі додаткові можливості МРІ можна засвоїти у міру зростання складності розроблюваних алгоритмів і програм. Виклад матеріалу від простого до складного буде основою подальшого викладу навчального матеріалу.[2]

Наведемо мінімально необхідний набір функцій МРІ, достатній для розробки порівняно простих паралельних програм. Ініціалізація та завершення МРІ - програм. Першою функцією МРІ, що викликається, повинна бути функція:

int MPI_Init(int *argc, char ***argv)

,

де - argc - вказівник на кількість параметрів командної стрічки,

- argv - параметри командної стрічки,

яка застосовується для ініціалізації середовища виконання МРІ - програми. Параметрами функції є кількість аргументів в командній стрічці та адреса вказівника на масив символів тексту самої командної стрічки. Останньою функцією МРІ, що викликається, обов’язково повинна бути функція:

int MPI_Finalize (void)

. Як результат, можна відмітити, що структура паралельної програми, розроблена з використанням МРІ, повинна мати наступний вигляд:

# include ’’mpl. h’’
int main(int argc, char *argv[ ]

{ <програмний код без використання функцій МРІ> MPI_Init (&argc, &argv); <програмний код з використанням

функцій МРІ> MPI_Finalize()

; <програмний код без використання функцій МРІ> return 0; } Слід відмітити наступне:

- файл mpi. h містить означення іменованих констант, прототипів функцій та типів даних бібліотеки МРІ;

- функції MPI_Init є обов’язковими і повинні бути виконані (тільки один раз) кожним процесом паралельної програми;

- перед викликом MPI_Init може бути виконана функція MPI_Initialized для означення того, чи був раніше виконаний виклик MPI_Init, а після виклику MPI_Finalized (ця функція з’явилася тільки в стандарті МРІ 2.0) аналогічного призначення.

Розглянуті приклади функцій дають представлення синтаксису іменування функцій в МРІ. Імені функції передує префікс МРІ, далі слідує одне чи декілька слів назви, перше слово в імені функції починається з заголовкового слова, слова розділяються знаком підкреслювання. Назви функцій МРІ, як правило, пояснюють призначення виконуваних функцій дії.

Означення кількості процесів у виконуваній паралельній програмі з використанням функції:

int MPI_size(MPI_Comm, comm int *size)

, де - comm - комунікатор, розмір якого визначається,

-size - кількість процесів в комунікаторі, яка визначається.

Для визначення рангу процесу використовується функція:

int MPI_Com_rank(MPI_Comm comm, int *rank)

, де - - comm - комунікатор, в якому визначається ранг процесу,

- rank - ранг процесу в комунікаторі.

Як правило, виклик функції MPI_Comm_size та MPI_Comm_rank виконується відразу після MPI_Init для отримання більшої кількості процесів і рангу поточного процесу:

# include "mpi . h"
int main(int argc, char *argv[ ]) {
 int  ProcNum,  ProcRank;
 <програмний код без використання функцій МРІ>
 МРІ_Init(&argc,  &argv);
 <програмний код з використанням функції МРІ>
 MPI_Finalize();
 <програмний код без використання функції МРІ>
 return  0;
}

Слід відмітити: - файл mp.h містить означення іменованих констант, прототипів функцій і типів даних бібліотеки МРІ;

- функції MPI_Init та MPI_Finalize є обов’язковими і повинні бути виконані (тільки один раз) кожним процесом паралельної програми;

- перед викликом MPI_Init може бути використана функція MPI_Initialize для визначення того, чи був раніше виконаний виклик MPI_Init, а після виклику MPI_Initialize- MPI_Finalized (ця функція з’явилася тільки в стандарті МРІ версії 2.0) аналогічного призначення.

Розглянуті приклади функцій дають уявлення синтаксису іменування функцій в МРІ. Імені функції передує префікс МРІ, далі слідує одне чи декілька слів назви, перше слово в імені функції починається із заголовкового символу, слова розділяються знаком підкреслювання. Назви функції МРІ, як правило, пояснюють призначення виконуваних функцією дій. Визначення кількості і рангу процесів. Визначення кількості у виконуваній паралельній програмі здійснюється з використанням функції:

int MPI_Comm_size(MPI_Comm comm, int *size)

, де - comm - комунікатор, розмір якого визначається , - size - кількість процесів в комунікаторі, що визначається.

Для визначення рангу процесу використовується функція:

int MPI_Comm_rank(MPI_Comm comm, int *rank)

,

де - comm - комунікатор, в якому визначається ранг процесу,

- rank - ранг процесу в комунікаторі.

Як правило, виклик функцій MPI_Comm_size та MPI_Comm_rank виконується зразу після MPI_ Init для отримання загальної кількості процесів і рангу поточного процесу:

# include "mpi h"
int main(int argc, char *argv[ ] {
 int ProcNum,  ProcRanc;
 <програмний код без використання функцій МРІ>
 МРІ_Init(&argc,  &argv);
 MPI_Comm_size(MPI_COMM_WORLD,  &ProcNum);
 MPI_Comm_ranc(MPI_COMM_WORLD,  &ProcRank);
       <програмний код з використанням функцій МРІ>
 МРІ_Finalize();
 <програмний код без використання функцій МРІ>
 return  0;
}

Слід відмітити:

- комунікатор MPI_COMM_WORLD, як вже зазначалося, створюється за умовчанням і представляє всі процеси виконуваної паралельної програми; - ранг, отриманий з використанням функції MPI_Comm_rank, є рангом процесу, який виконав виклик цієї функції, тобто змінна ProcRank прийме різні значення у різних процесів.

Передача повідомлень. Для передачі повідомлень-відправник повинен виконати функцію:

int MPI_Send(void *buf, int count, MPI_Datatype type, int dest,
 int  tag,  MPI_Comm  comm),

де

- buf - адреса буфера пам’яті, в якому розташовані дані відправленого повідомлення;

- count - кількість елементів даних повідомлення;

- type - тип елементів даних повідомлення, що пересилається;

- dest - ранг процесів, якому відправляється повідомлення;

- tag - значення-тег, яке використовується для ідентифікації повідомлення;

- comm - комунікатор, в рамках якого виконується передача даних.[3]