Message Passing Interface

#include <mpi.h> // очевидно;)
#include <stdio.h>

int main(int argc, char* argv[])
{
   int myrank, size;
   MPI_Init(&argc, &argv); // Ініціалізація MPI
   MPI_Comm_size(MPI_COMM_WORLD, &size); // Розмір комунікатора
   MPI_Comm_rank(MPI_COMM_WORLD, &myrank); // Одержуємо наш номер
   printf("Proc %d of %d\n", myrank, size);
   MPI_Finalize(); // Фіналізація MPI
   puts("Done.");
   return 0;
}

Перед викликом будь-якої процедури MPI, потрібно викликати ініціалізацію MPI_Init, перед цим викликом може здійснюватися тільки виклик MPI_Initialized. MPI_Init крім усього іншого створює глобальний комунікатор MPI_COMM_WORLD, через котрий буде проходити обмін повідомленнями. Область взаємодії комунікатора MPI_COMM_WORLD — усі процеси даної програми. Якщо є необхідність у розбивці області взаємодії на дрібніші сегменти (частково-широкомовні розсилання), використовуються виклики MPI_Comm_dup/create/split/etc (тут не розглядаються). Розмір комунікатора, одержуваний викликом MPI_Comm_size — число процесів у ньому. Розмір комунікатора MPI_COMM_WORLD — загальне число процесів. Кожен процес має свій унікальний (у межах комунікатора) номер — ранг. Ранги процесів у контекстах різних комунікаторів можуть відрізнятися. Після виконання всіх обмінів повідомленнями в програмі має здійснюватися виклик MPI_Finalize() — процедура видаляє всі структури даних MPI і робить інші необхідні дії. Програміст має сам подбати про те, щоб до моменту виклику MPI_Finalize усі пересилання даних було завершено. Після виконання MPI_Finalize виклик будь-яких, крім MPI_Initialized, процедур (навіть MPI_Init) неможливий. Програма виводить повідомлення від усіх породжених нею процесів. Приклад виводу (порядок повідомлень, що надходять від процесів, може змінюватися) наведений нижче (np — кількість процесів):

  Proc 1 of 3
  Done.
  Proc 0 of 3
  Done.
  Proc 2 of 3
  Done.

Зверніть увагу, що після виклику MPI_Finalize() парелельна робота не закінчується — «Done» виводиться кожним процесом.

• Номер процесу — ціле невід'ємне число, що є унікальним атрибутом кожного процесу.
• Атрибути повідомлення — номер процесу-відправника, номер процесу-одержувача і ідентифікатор повідомлення. Для них заведена структура MPI_Status, що містить три поля: MPI_Source (номер процесу відправника), MPI_Tag (ідентифікатор повідомлення), MPI_Error (код помилки); можуть бути і додаткові поля.
• Ідентифікатор повідомлення (msgtag) — атрибут повідомлення, що є цілим невід'ємним числом у діапазоні від 0 до 32767.

Процеси об'єднуються в групи, можуть бути вкладені групи. Усередині групи всі процеси перенумеровані. З кожною групою асоційований свій комунікатор. Тому при здійсненні пересилання необхідно вказати ідентифікатор групи, всередині якої проводиться ця пересилка. Всі процеси містяться в групі з наперед визначеним ідентифікатором MPI_COMM_WORLD .

Перша версія MPI розроблялася в 1993–1994 році, і MPI 1 вийшла в 1994. Більшість сучасних реалізацій MPI підтримують версію 1.1. Стандарт MPI версії 2.0 підтримується більшістю сучасних реалізацій, але деякі функції можуть бути реалізовані не до кінця. У MPI 1.1 (опублікований 12 червня 1995 , перша реалізація з'явилася в 2002 році) підтримуються наступні функції:

• передача і отримання повідомлень між окремими процесами;
• колективні взаємодії процесів;
• взаємодії в групах процесів;
• реалізація топологій процесів;

У MPI 2.0 (опублікований 18 липня 1997) додатково підтримуються наступні функції:

• динамічне породження процесів і управління процесами;
• односторонні комунікації (Get / Put);
• паралельний введення і виведення;
• розширені колективні операції (процеси можуть виконувати колективні операції не тільки всередині одного комунікатора, але й у рамках декількох комунікаторів).

Версія MPI 2.1 вийшла на початку вересня 2008 року. Версія MPI 2.2 вийшла 4 вересня 2009. Версія MPI 3.0 вийшла 21 вересня 2012 року.

Базовим механізмом зв'язку між MPI процесами є передача і прийом повідомлень. Повідомлення несе в собі передані дані і інформацію, що дозволяє приймаючій стороні здійснювати їх вибірковий прийом:

• відправник — ранг (номер у групі) відправника повідомлення;
• одержувач — ранг одержувача;
• ознака — може використовуватися для розділення різних видів повідомлень;
• комунікатор — код групи процесів.

Операції прийому й передачі можуть бути блокуючі і неблокуючі. Для неблокуючих операцій визначені функції перевірки готовності й очікування виконання операції.

Іншим способом зв'язку є віддалений доступ до пам'яті (RMA), що дозволяє читати і змінювати область пам'яті віддаленого процесу. Локальний процес може переносити область пам'яті віддаленого процесу (всередині зазначеного процесами вікна) в свою пам'ять і назад, а також комбінувати дані, передані у віддалений процес, з наявними в його пам'яті даними (наприклад, шляхом підсумовування). Всі операції віддаленого доступу до пам'яті не блокуються, однак, до і після їх виконання необхідно викликати блокуючі функції синхронізації.

• MPICH — найпоширеніша безкоштовна реалізація, працює на UNIX -системи і Windows NT
• LAM / MPI — ще одна безкоштовна реалізація MPI. Підтримує гетерогенні конфігурації, LAM підтримує гетерогенні конфігурації, пакет Globus і задовольняє IMPI (Interoperable MPI).
• WMPI — реалізація MPI для Windows
• MPI / PRO For Windows NT — комерційна реалізація для Windows NT
• Intel MPI — комерційна реалізація для Windows / Linux
• Microsoft MPI входить до складу Compute Cluster Pack SDK . Заснований на MPICH2, але включає додаткові засоби управління завданнями. Підтримується специфікація MPI-2.
• HP-MPI — комерційна реалізація від HP
• SGI MPT — платна бібліотека MPI від SGI
• Mvapich — безкоштовна реалізація MPI для Infiniband
• Open MPI — безкоштовна реалізація MPI, спадкоємець LAM / MPI
• Oracle HPC ClusterTools — безкоштовна реалізація для Solaris SPARC / x86 і Linux на основі Open MPI
• MPJ — MPI for Java
• MPJ Express — MPI на Java

int MPI_Init (INT * ARGC, char *** ARGV)

MPI_Init — ініціалізація паралельної частини програми. Реальна ініціалізація для кожного додатка виконується не більше одного разу, а якщо MPI вже був ініціалізований, то ніякі дії не виконуються і відбувається негайне повернення з підпрограми. Всі інші MPI-процедури можуть бути викликані тільки після виклику MPI_Init .

Повертає: у разі успішного виконання — MPI_SUCCESS, інакше — код помилки. (Те ж саме повертають і всі інші функції MPI_*, вказані нижче)

int MPI_Finalize (void)

MPI_Finalize — завершення паралельної частини програми. Всі наступні звернення до будь-яких MPI-процедур (зокрема — до MPI_Init) заборонено. До моменту виклику якимось процесом MPI_Finalize має бути завершено всі дії, що вимагають його участі в обміні повідомленнями.

int MPI_Comm_size(MPI_Comm comm, int* size)

Показує розмір (кількість паралельних процесів) групи, асоційованої з комунікатором

• comm — комунікатор (ідентифікатор групи)
• int size — розмір групи

int MPI_Barrier (MPI_Comm comm)

• comm — ідентифікатор групи

Блокує роботу процесів, що викликали дану процедуру, доки всі інші процеси групи comm також не виконають цю процедуру.

• MPICH
• LAM/MPI
• Open MPI
• Intel MPI
• HP MPI
• Microsoft Messaging Passing Interface
• OpenMP
• SHMEM

• MPI Forum and MPI specification
• Message Passing Interface, каталог посилань Open Directory Project
• Platform MPI
• Open MPI web site
• LAM/MPI web site
• MPICH
• SCore MPI
• Parawiki page for MPI
• PVM/MPI Users' Group Meeting (2006 edition)
• MPI tutorials and other documents: , MPI Samples, Supercomputing Simplified, MPI Tutorial