ZFS

ZFS була спроектована і створена групою розробників Sun Microsystems, лідером якої є Джеф Бонвік (Jeff Bonwick). Файлова система була анонсована 14 вересня 2004 р.[3] Сирцевий код для фінального реліза був інтегрований в головну гілку розробки Solaris 31 жовтня 2005 р.[4] і реалізований як частина 27-ї збірки Opensolaris 16 листопада 2005 р. Sun заявила, що ZFS була інтегрована в оновлення 6/06 для Solaris 10 в червні 2006, після одного року з моменту відкриття Інтернет-спільноти Opensolaris[5].

Початкова назва була «zettabyte File System», але зараз воно перетворилося на псевдо-ініциалізм[6].

ZFS — це 128-бітна файлова система, що дозволяє їй зберігати в 18 мільярдів (18.4 * 10⁹) разів більше даних, ніж нинішні 64-бітні системи. ZFS спроектована так, щоб її обмеження були настільки великі, що вони ніколи не зустрінуться на практиці. Як заявив керівник проекту Бонвік, «заповнення 128-бітних файлових систем перевищить квантові можливості зберігання даних на Землі. Ви не зможете заповнити і зберігати 128-бітовий об'єм, не закип'ятивши при цьому океан»[3].

Деякі теоретичні межі в ZFS:

• 2⁴⁸ — Кількість знімків (snapshot) в будь-якій файловій системі (2 * 10¹⁴)
• 2⁴⁸ — Кількість файлів в будь-якій індивідуальній файловій системі (2 * 10¹⁴)
• 16 ексабайт (2⁶⁴ byte) — Максимальний розмір файлової системи
• 16 ексабайт (2⁶⁴ byte) — Максимальний розмір одного файлу
• 16 ексабайт (2⁶⁴ byte) — Максимальний розмір будь-якого атрибуту
• 3 * 10²³ петабайт — Максимальний розмір будь-якого пулу зберігання (zpool)
• 2⁵⁶ — Кількість атрибутів файлу (фактично обмежується 2 ⁴⁸ на кількість файлів у файловій системі ZFS)
• 2⁵⁶ — Кількість файлів в директорії (реально обмежено 2 ⁴⁸ на кількість файлів у файловій системі ZFS)
• 2⁶⁴ — Кількість пристроїв в будь-якому zpool
• 2⁶⁴ — Кількість zpool'ів в системі
• 2⁶⁴ — Число файлових систем в zpool

Приклад того, наскільки великі ці цифри: якби 1000 файлів створювалися кожну секунду, то було б потрібно близько 9000 років для досягнення межі кількості файлів.

У відповідь на питання про заповнення ZFS без кип'ячення океанів, Бонвік пише:

Хоча ми всі хотіли б, щоб Закон Мура виконувався нескінченно довго, квантова механіка накладає деякі фундаментальні обмеження на швидкість обчислень і інформаційну місткість будь-якого фізичного пристрою. Зокрема, було показано, що 1 кілограм матерії, обмежений 1 літром простору, може виконувати не більш ніж 10⁵¹ операції в секунду над не більше ніж 10³¹ біт інформації. Цілком заповнений 128-бітовий об'єм міститиме 2¹²⁸ блоків = 2¹³⁷ байт = 2¹⁴⁰ біт; тому мінімальна маса, необхідна для зберігання цієї кількості біт буде (2¹⁴⁰ біт) / (10³¹ біт/кг) = 136 млрд кг.

На відміну від традиційних файлових систем, які розташовуються на одному пристрої і, отже, при використанні більш ніж на одному пристрої для них потрібний менеджер томів, ZFS будується поверх віртуальних пулів зберігання даних, званих zpool. Пул побудований з віртуальних пристроїв (vdevs), кожний з яких є або фізичним пристроєм, або дзеркалом (raid 1) одного або декількох пристроїв, або (raid Z) — групою з двох або більше пристроїв. Ємність всіх 'vdevs' потім доступна для всіх файлових систем в zpool.

Для обмеження простору, доступного конкретній файловій системі, може бути встановлена квота. Крім того, можливе використання дискового резервування — це гарантує, що завжди залишатиметься деякий доступний об'єм для конкретної файлової системи.

ZFS використовує модель об'єктних транзакцій копіювання при записуванні. Всі вказівники на блоки усередині файлової системи містять 256-бітову контрольну суму в цільовому блоці, який перевіряється, коли блок прочитаний. Блоки даних, що містять активні (у цей момент) дані ніколи не перезаписуються разом; навпаки, виділяється новий блок, змінені дані записуються в нього, а потім метадані будь-яких блоків, які на нього посилаються, таким чином все перерозподіляється і записується. Щоб зменшити накладні витрати в цьому процесі групується декілька оновлень в групу транзакції, також, якщо потрібно, ведеться лог використання при синхронному запису.

Модель копія-по-запису в ZFS володіє ще однією потужною перевагою: коли ZFS записує нові дані — замість звільнення блоків, що містять старі дані, — вона може зберігати їх, створюючи знімки файлової системи. Знімки в ZFS створюються дуже швидко, оскільки всі дані у складі знімка вже збережені; вони також ефективно розміщені в просторі, оскільки будь-які незмінені дані розділяються (є загальними) між файловою системою і її знімком.

Також можуть бути створені перезаписувані знімки («клони»), внаслідок чого будуть дві незалежні файлові системи, які розділяють комплекс блоків. Як тільки зміни вносяться в який-небудь клон файлової системи, блоки нових даних створюються у всіх останніх клонах, щоб відобразити ці зміни.

Динамічне розділення всіх пристроїв на максимальній пропускній спроможності означає, що додаткові пристрої включаються в zpool, ширші канали автоматично розширюється для включення використання всіх дисків в пулі, це врівноважує навантаження на запис.

ZFS використовує змінний розмір блоків до 128 кілобайт. В наш час^[коли?] адміністраторові дозволяється налаштовувати максимальний розмір використовуваних блоків, але деякі роботи не будуть виконуватися (або будуть виконуватися із помилками) якщо використовувалися дуже великі блоки. Автоматичні налаштування робочих характеристик відповідають привілеям.

Якщо включене стискування, використовуються змінні розміри блоку. Якщо блок був стиснутий, він може влитися в блок меншого розміру, тобто використовується менший простір на диску і підвищується пропускна спроможність (Input/output) (хоча ціною розширеного використання процесора і оперативної пам'яті для операцій компресії і декомпресії).

Під наскрізним контролем цілісності розуміється запис на диск контрольної суми для кожного блоку даних, причому контрольна сума і дані спеціально розносяться максимально далеко один від одного для зниження ймовірності їх спільного псування. Якщо в пулі є декілька пристроїв, то для даних, розміщених на одному з них, контрольна сума буде записана на іншому. Контрольні суми обчислюються не лише для даних, але і для метаданих, і виходить, що в пулі завжди є контрольна сума для кожного блоку інформації.

При прочитуванні будь-якого блоку підраховується його контрольна сума і результат порівнюється з контрольною сумою, що зберігається на диску. В разі розбіжності помилка відразу виявляється. Зрозуміло, якщо в пулі заздалегідь не було заплановано жодного резервування (ні RAID-Z, ні іншого), то помилку вже не виправиш, та зате зіпсовані дані не будуть видані за достеменні.

Сенс наскрізного контролю цілісності даних в тому, щоб запобігти прихованому непомітному псуванню даних в результаті збою устаткування або вбудованого програмного забезпечення диска або контролера. Попри те, що ймовірність такої події здається низькою, деякі дослідження показують, що вона сповна значима для організацій будь-якого масштабу[7].

У ZFS маніпулювати файловою системою в пулі легше, ніж у традиційних файлових системах; час і зусилля, потрібні для створення чи зміни файлової системи ZFS, більше нагадують об'єми робіт пов'язані з новим каталогом, ніж з маніпулюванням розділами в інших технологіях.

• Конкретний пріоритет вводу/виводу з терміном планування.^{[уточнити]}
• Оптимальний в глобальному масштабі I/o сортування і агрегації (aggregation).
• Декілька незалежних потоків з попередженням автоматичного виявлення довжини і кроку.
• Паралельна, постійна часу операцій з каталогами.
• Інтелектуальне очищення і корекція[8].
• Завантаження і спільне використання дисків в пулі[9].
• Ті ж блоки: Метадані відтворюються усередині пулу, два або три рази (згідно із значеннями метаданих)[10]. Якщо пул складається з декількох пристроїв, ZFS намагатиметься відтворювати дані на різних пристроях. Навіть у пулі без надмірності можна втратити дані, але навіть якщо Ви виявите пошкоджені сектори, то навіть при такому сценарії метадані повинні створити достатню безпеку.
• Дизайн ZFS (копія-по-запису + uberblocks) дає більшу безпеку при використанні дисків з можливістю запису в кеш, тобто якщо вони реагують і покоряються^[Що?] на кеш-флеш команди видані ZFS. Ця особливість забезпечує безпеку і значне підвищення продуктивності в порівнянні з іншими ФС.
• Враховуючи попередній пункт, коли всі диски знаходяться в ZFS кулі, ZFS автоматично включає функцію запису в кеш для них. Це не застосовно, якщо не лише ZFS одночасно управляє дискретними розділами диска, наприклад якщо ви використовуєте ФС без функції безпечного запису в кеш, наприклад ufs (і безліч інших).

ZFS також вводить адаптивну заміну кешу (ARC), новий метод управління кешем замість традиційних для Solaris віртуальних сторінок кешу в пам'яті.

• ZFS не підтримує розподіл квот для кожного користувача або групи. Замість цього, можна створювати ФС для користувачів, кожна з яких матиме своє обмеження розміру. Низький рівень накладних витрат ZFS робить це практичним навіть для багатьох користувачів (але це може значно уповільнити запуск системи). В дійсності, немає жодного практичного рішення проблеми квоти в системах, де файлові системи розділені серед декількох користувачів (як наприклад проекти групи), де дані не можуть бути відокремлені для кожного користувача, хоча це можна здійснити поверх стека ZFS.
• Розширення ємності зазвичай досягається додаванням груп дисків як віртуальний пристрій (смуга, RAID-Z, RAID-Z2, або дзеркало). Знов записані дані динамічно починатимуть використовувати всі доступні пристрої. Також можливо розширити масив ітераційно замінюючи диски меншої ємності на диски більшої ємності та чекаючи на ZFS, щоб полагодити себе — час полагодження залежатиме від кількості збереженої інформації, не розмір дисків. Якщо протягом цього процесу зробити знімок, це викличе перезапуск полагодження.
• Зараз не можливо скоротити число пристроїв в накопичувачі або зменшити ємність накопичувача. Проте, в цьому напрямку ведеться робота. Така можливість ще не була доступною в Solaris 10 05/08.
• Не можливо додати диска до пристроїв RAID-Z або RAID-Z2 . Ця особливість здається дуже важкою для здійснення. Проте є можливість створити новий RAIDZ пристрій і додати його до пулу.
• Не можливо додавати до пулу пристрої різних типів. Наприклад, якщо ви маєте смуговий ZFS накопичувач, що складається з дисків на SAN, ви не можете додати локальні диски як дзеркальний пристрій.
• Переконфігурація накопичувача вимагає копіювання даних, знищування пулу, і відтворення накопичувача з новою конфігурацією.
• ZFS не є кластером, розподіленою файловою системою або паралельною файловою системою і не може забезпечити одночасний доступ для багатьох клієнтів таким же чином як до локальної файлової системи. Розподілена файлова система Lustre корпорації Sun може використати ZFS як для зберігання даних, так і метаданих, у починаючи з версії 1.8, який планується бути випущеною в другому кварталі 2008 р.[11].

ZFS є частиною ОС Solaris компанії Sun і доступна для обох платформ — SPARC і x86. Оскільки код ZFS є відкритим програмним забезпеченням (ліцензія CDDL), порти для інших операційних систем і платформ можуть вироблятися без участі Sun.

• Співтовариство розробників ZFS і детальна інформація про ФС(англ.)
• Практичне керівництво з ZFS(англ.)