Beowulf (кластер)

Влітку 1994 року Томасом Стерлінгом і Доном Бекером, що працювали в центрі CEDSIS (Center of Excellence in Space Data and Information Sciences), був побудований перший кластер з 16 процесорів Intel DX4, з'єднаних мережею Ethernet з дублюванням каналів. Машина була названа Beowulf на честь героя скандинавської саги. Машина користувалася успіхом, і їх ідея створення системи з готових стандартних компонентів для конкретних обчислювальних потреб швидко поширилася в NASA, а також в академічній та дослідницької середовищі. Зусилля з розробки таких машин швидко вилилися в те, що зараз називається проект Beowulf. Зараз такі машини зазвичай зазивають «Кластерні ЕОМ класу Беовульф» (Beowulf Class Cluster Computers). Особливістю такого кластера також є масштабованість, тобто можливість збільшення кількості вузлів системи з пропорційним збільшенням продуктивності. Вузлами в кластері можуть служити будь серійно випускаються автономні комп'ютери, кількість яких може бути від 2 до 1024 і більше. Для розподілу обробки даних між вузлами зазвичай використовуються технології MPI або PVM.

-вартість системи набагато нижче вартості суперкомп'ютера;
-можливість збільшення продуктивності системи;
-можливість використання застарілих комп'ютерів, тим самим збільшується термін експлуатації комп'ютерів;
-широка поширеність, а значить і доступність, апаратного забезпечення.

1. Вузли кластера. Підходящим вибором в даний момент є системи на базі процесорів Intel: Pentium II або Pentium II Xeon — або однопроцесорні ПК, або SMP-сервера з невеликим числом процесорів (2-4, можливо до 6). З деяких причин оптимальним вважається побудова кластерів на базі двопроцесорних систем, незважаючи на те, що в цьому випадку настройка кластера буде дещо складніше (головним чином тому, що доcтупни відносно недорогі материнські плати для 2 процесорів Pentium II). Варто встановити на кожен вузол 64-128MB оперативної пам'яті (для двопроцесорних систем 64-256MB). Одну з машин слід виділити як центральний (головний) вузол, куди слід встановити досить великий жорсткий диск, можливо потужніший процесор і більше пам'яті, ніж на інші (робочі) вузли. Має сенс забезпечити (захищену) зв'язок цієї машини із зовнішнім світом. При комплектації робочих вузлів цілком можливо відмовитися від жорстких дисків — ці вузли будуть завантажувати ОС через мережу з центральною машини, що, крім економії коштів, дозволяє конфігурувати ОС і все необхідне ПЗ тільки 1 раз (на центральній машині). Якщо ці вузли не будуть одночасно використовуватися як користувальницькі робочі місця, немає необхідності встановлювати на них відеокарти і монітори. Можлива установка вузлів в стійки (rackmounting), що дозволить зменшити місце, займане вузлами, але коштуватиме дещо дорожче. Можлива організація кластерів на базі вже існуючих мереж робочих станцій, тобто робочі станції користувачів можуть використовуватися як вузли кластера вночі й у вихідні дні. Системи такого типу іноді називають COW (Cluster of Workstations). Кількість вузлів слід вибирати виходячи з необхідних обчислювальних ресурсів і доступних фінансових коштів. Слід розуміти, що при великому числі вузлів доведеться також встановлювати більш складне і дороге мережеве обладнання.

2. Мережу. У найпростішому випадку використовується один сегмент Ethernet (10Mbit / sec на кручений парі). Однак дешевизна такої мережі, внаслідок колізій обертається великими накладними витратами на міжпроцесорні обміни; а хорошу продуктивність такого кластера слід очікувати тільки на завданнях з дуже простої паралельної структурою і при дуже рідкісних взаємодіях між процесами (наприклад, перебір варіантів). Для отримання хорошої продуктивності міжпроцесорних обмінів використовують повнодуплексний Fast Ethernet на 100Mbit / sec. При цьому для зменшення числа колізій або встановлюють декілька «паралельних» сегментів Ethernet, або з'єднують вузли кластера через комутатор (switch). Більш дорогим, але також популярним варіантом є використання комутаторів типу Myrinet (1.28Gbit / sec, повний дуплекс). Менш популярними, але також реально використовуваними при побудові кластерів мережевими технологіями є технології LAN, SCI і Gigabit Ethernet.

Візьмемо наступну конфігурацію кластера: 12 машин по 2 процесора Pentium II / 350 MHz на материнських платах Iwill (link is external), 64MB пам'яті і мережевий адаптер 100Mbit Ethernet від 3Com (link is external) на кожній машині; машини з'єднаємо «зіркою» через 12-портовий комутатор BayStack. На центральну машину встановимо жорсткий диск IDE об'ємом 10 GB, відеокарту і 17-дюймовий монітор. Сумарна вартість обладнання такого кластера складе близько $ 11200 (взяті ціни бельгійських комп'ютерних магазинів станом на квітень 2002 року); а пікова продуктивність — 10 GFLOPS (врахуйте, що реальна продуктивність на конкретних додатках буде набагато нижче)

• http://www.beowulf.org/
• http://parallel.ru/computers/reviews/beowulf.html#p2
• http://www.rusnauka.com/25_DN_2008/Informatica/28992.doc.htm