Сегментація зображення

Деякими практичними застосуваннями сегментації зображень є:

• Медичні зображення[3]
  • Виявлення пухлин та інших патологій
  • Визначення обсягів тканин
  • Хірургія за допомогою комп'ютера
  • Діагностика
  • Планування лікування
  • Вивчення анатомічної структури
• Виділення об'єктів на супутникових світлинах
• Розпізнавання облич
• Розпізнавання відбитків пальців
• Системи управління дорожнім рухом
• Виявлення стоп-сигналів
• Комп'ютерний зір
• Розпаралелювання інформаційних потоків при передачі зображень надвисокого розрізнення[2]
• Відеоспостереження

Для сегментації зображень було розроблено декілька універсальних алгоритмів і методів. Так як загального рішення для задачі сегментації зображень не існує, часто ці методи доводиться поєднувати зі знаннями з предметної області, щоб ефективно вирішувати цю задачу в її предметній області.

Найпростішим методом сегментування є метод визначення порогів. Даний метод базується на деякому рівні відсікання (пороговому значенні) для перетворення зображення в градаціях чорного в бінаризоване зображення.

Головною особливістю даного підходу є вибір порогового значення (або значень у випадку вибору кількох рівнів). В промисловості знаходять застосування кілька відомих методів знаходження порогів включаючи метод максимальної ентропії, Отсу (максимального відхилення) а також кластеризацію методом к-середніх.

Відносно недавно було розроблено методи порогового опрацювання зображень комп'ютерної томографії. Ключовою відмінністю даних методів від підходу запропонованого Отсу є те, що пороги одержують з радіограм на відміну від вже сформованих на їх основі зображень.[4][5]

В нових методах запропоновано використовувати багатовимірні нечіткі базовані на правилах нелінійні пороги. В даних роботах рішення про належність кожного пікселя зображення до сегмента формується на основі багатовимірних правилах одержаних з використанням нечіткої логіки та еволюційних алгоритмів базованих на освітленості зображення а також меті його використання.

Первинне зображення.

Зображення після виконання k-середніх з k = 16. Слід зазначити, що загальною методикою покращення продуктивності для великих зображень є субдискретизація зображення, обчислення кластерів, і наступне перепризначення значень до більшого зображення, якщо потрібно.

Кластеризація методом к–середніх — це ітераційний метод, який використовується для того, щоб розділити зображення на K кластерів. Базовий алгоритм наведений нижче:

1. Вибрати K центрів кластерів, випадково або на основі деякої евристики
2. Помістити кожен піксель зображення в кластер, центр якого найближче до цього пікселя
3. Знову визначити центри кластерів, усереднюючи всі пікселі в кластері
4. Повторювати кроки 2 і 3 до збіжності (наприклад, коли пікселі будуть залишатися в тому ж кластері)

Тут за відстань зазвичай береться сума квадратів або абсолютних значень різниць між пікселем і центром кластера. Різниця зазвичай базується на кольорі, яскравості, текстурі і місце знаходження пікселя, або на зваженій сумі цих чинників. K може бути вибране вручну, випадково чи евристично.

Цей алгоритм гарантовано сходиться, але він може не привести до оптимального рішення. Якість рішення залежить від початкової множини кластерів і значення K.

В методах заснованих на стисненні стверджується, що оптимальною сегментацією серед усіх можливих є та, котра використовує найменший об'єм даних для кодування результуючого зображення.[6][7] Зв'язок між сегментацією та стисненням пояснюється тим, що сегментація намагається знайти шаблони в зображенні, а будь-який взаємозв'язок в зображенні може бути використаний для його стиснення. Підхід описує кожен сегмент за його текстурою і формою контуру. Кожна складова сегменту моделюється формулою ймовірнісного розподілу, а об’єм даних для кодування обчислюється таким чином:

1. Кодування контурів ґрунтується на факті, що області на звичайних зображеннях стараються мати гладкий контур. Це припущення використовується в кодуванні Хаффмана для закодовування диференціального коду ланцюга контурів на зображенні. Так, наскільки контур гладкіший, на стільки ж він займає менше місця.
2. Текстура кодується за допомогою стиснення з втратами, шляхом схожим до принципу мінімально допустимої довжини опису, але тут об'єм даних для моделі є апроксимованим кількістю вибірок ентропії моделі. Текстура в кожній області моделюється багатовимірним нормальним розподілом, ентропія котрого найбільш схожа з представленням. Цікавою властивістю даної моделі є те, що в межах оціночної ентропії міститься значення ентропії реальних даних текстури. Це тому, що серед усіх наявних функцій розподілу з відомими значеннями середнього арифметичного та кореляційного моменту, нормальний розподіл має найбільшу ентропію. З цього виходить, що реальний об'єм закодованих даних не може бути більшим ніж запропонований алгоритмом.

Для довільної сегментації дана схема обчислює кількість біт, потрібну для кодування зображення з використанням обраної сегментації. Так, серед всіх можливих сегментацій зображення, потрібно знайти сегментацію, яка представляється закодованими даними найменшої довжини. Це можна досягнути з використанням методів ієрархічної кластеризації. Спотворення в стисненні з втратами визначає похибку сегментування і її оптимальне значення може відрізнятись для окремих зображень. Цей параметр може бути оцінено евристично за показниками контрасту текстур на зображенні.

Методи з використанням гістограми дуже ефективні порівняно з іншими методами сегментації оскільки вони вимагають тільки один прохід по пікселях. У цьому методі гістограма обчислюється за всіма пікселям зображення і її мінімуми і максимуми використовуються, щоб знайти кластери на зображенні.[1] Колір або яскравість можуть бути використані при порівнянні.

Покращення цього методу — рекурсивно застосовувати його до кластерів на зображенні для того, щоб поділити їх на дрібніші кластери. Процес повторюється з усе меншими і меншими кластерами до тих пір, коли перестануть з'являтися нові кластери.[1][8]

Один недолік цього методу — те, що йому може бути важко знайти значні мінімуми і максимуми на зображенні. У цьому методі класифікації зображень схожі метрика відстаней і зіставлення інтегрованих регіонів.

Підходи, засновані на використанні гістограм можна також швидко адаптувати для кількох кадрів, зберігаючи їх переваги в швидкості за рахунок одного проходу. Гістограма може бути побудована кількома способами, коли розглядаються декілька кадрів. Той самий підхід, який використовується для одного кадру, також може застосовуватися для декількох. Тобто, після об'єднання результатів всі мінімуми і максимуми, які було складно виділити на окремих кадрах, стають помітніші. Гістограматакож може бути застосована для кожного пікселя, де інформація використовується для визначення найчастішого кольору для даного положення пікселя. Цей підхід використовує сегментацію, засновану на рухомих об'єктах і нерухомому оточенні, що дає інший вид сегментації, корисний у відео трекінгу.

Виявлення контурів — це добре вивчена область в обробці зображень. Межі та краї областей сильно пов'язані, оскільки часто існує сильний перепад яскравості на кордонах областей. Тому методи виділення країв використовуються як основа для іншого методу сегментації.

Виявлені краю часто бувають розірваними. Але щоб виділити об'єкт на зображенні, потрібні замкнуті межі області.

Першим був метод розростання областей з "насіння". Як вхідні дані цей метод приймає зображення і набір "насіння". Насіння визначають об'єкти, які потрібно виділити. Області поступово розростаються, порівнюючи всі незайняті сусідні пікселі з областю. Різниця ${\displaystyle \delta }$ між яскравістю пікселя і середньою яскравістю області використовується як міра схожості. Піксель з найменшою такою різницею додається у відповідну область. Процес триває доти, доки всі пікселі не будуть додані в один з регіонів.

Метод розростання областей з "насіння" вимагає додаткового введення. Результат залежить від вибору "насіння". Шум на зображенні може призвести до погано розміщення "насіння". Метод розростання областей без використання "насіння"— це змінений алгоритм, який не вимагає явного "насіння". Він починає з однієї області ${\displaystyle A_{1}}$ — піксель, обраний тут незначно впливає на кінцеву сегментацію. На кожній ітерації він розглядає сусідні пікселі так само, як метод розростання областей з використанням "насіння". Але він відрізняється тим, що якщо мінімальна ${\displaystyle \delta }$ не менша, чим заданий поріг ${\displaystyle T}$, то він додається у відповідну область ${\displaystyle A_{j}}$. В іншому випадку піксель вважається таким, що сильно відрізняється від всіх поточних областей ${\displaystyle A_{i}}$ і створюється нова область ${\displaystyle A_{n+1}}$, яка містить цей піксель.

Один з варіантів цього методу, запропонований Хараліком і Шапіро (1985),[1] заснований на використанні яскравості пікселів. Середнє арифметичне, дисперсія області та яскравість пікселя-кандидата використовується для побудови тестової статистики. Якщо тестова статистика достатньо мала, то піксель додається до області і середнє арифметичне та дисперсія області перераховується знову. Інакше, піксель ігнорується і використовується для створення нової області.

Використовуючи диференціальні рівняння з частинними похідними та їх розв'язки за певною числовою схемою можна одержати сегмент зображення.[9] Крива поширення є відомим підходом в цій галузі, з великими можливостями практичного застосування в виокремленні об'єктів, відслідковуванні об'єктів, відновленні просторового зображення, і т.д.. Головною ідеєю є еволюція початкової кривої відповідно найменшого потенціалу функції оцінки, її визначення ж буде відображати завдання котре повинно бути виконано. Щодо зворотної задачі, мінімізації функціоналу оцінки, то вона є важкою і накладає певні обмеження щодо гладкості функції при вирішенні, що може бути виражено як геометричні обмеження на еволюційну криву.

Метою варіаційних методів є знаходження оптимальної сегментації по відношенню до певного енергетичного функціоналу. Функціонали складаються з вузлів даних та вузлів регуляції. Класичним прикладом використання варіаційних методів є модель Потса визначена для зображення ${\displaystyle {\displaystyle f}}$ так:

${\displaystyle \operatorname {*} {argmin}_{u}\gamma \|\nabla u\|_{0}+\int (u-f)^{2}dx.}$

Мінімізатор  ${\displaystyle {\displaystyle u^{*}}}$є кусковою константою зображення яка має оптимальне відношення між квадратом відстані ${\displaystyle {\displaystyle L^{2}}}$ до даного зображення ${\displaystyle {\displaystyle f}}$ та загальної величини стрибка. Стрибок ${\displaystyle {\displaystyle u^{*}}}$визначає сегментацію. Відносна вага енергій регулюється параметром  ${\displaystyle {\displaystyle \gamma >0}}$ . Бінарний варіант моделі Потса, тобто, коли діапазон  ${\displaystyle {\displaystyle u}}$ обмежено двома значеннями є моделлю Чана-Весе.[13] Важливим узагальненням є модель Мамфорда-Шаха[14] представлена

${\displaystyle {\displaystyle \operatorname {*} {argmin}_{u,K}\gamma |K|+\mu \int _{K^{C}}|\nabla u|^{2}dx+\int (u-f)^{2}dx.}}$

Значенням функціоналу є сума загальних довжин кривої сегментації ${\displaystyle {\displaystyle K}}$  , гладкість кривої апроксимації ${\displaystyle {\displaystyle u}}$, та її відстань від початкового зображення ${\displaystyle {\displaystyle f}}$.

Методи розрізу графу можуть бути ефективно застосовані для сегментації зображень. У цих методах зображення представляється як зважений неорієнтований граф. Зазвичай, піксель або група пікселів асоціюється вершиною, а ваги ребер визначають (не) схожість сусідніх пікселів. Потім граф (зображення) розрізається відповідно до критерію, створеному для отримання «хороших» кластерів. Кожна частина вершин (пікселів), одержувана цими алгоритмами, вважається об'єктом на зображенні. деякі популярні алгоритми цієї категорії — це нормалізовані розрізи графів[15], випадкове блукання[16], мінімальний розріз[17], ізопериметричний поділ[18] та сегментація за допомогою мінімального зваженого дерева[19].

Метод водоподілу — це, заснований на областях. метод математичної морфології. У географії, вододіл — це хребет, який ділить області різних річкових систем.

Розглядаючи зображення, як геологічний ландшафт, можна сказати, що лінії вододілу — це кордони, що розділяють ділянки зображень. У топографічному поданні зображення, чисельні значення (наприклад, рівні сірого) кожного пікселя виступають як висоти цієї точки. Перетворення водоподілу обчислює водозбірні басейни та лінії хребтів, при тому що водозбірні басейни — відповідні області зображення, а лінії хребтів — це межі цих областей. Основною проблемою даного алгоритму є надмірна сегментація, оскільки всі межі і шуми подаються в градієнті, що робить необхідним процес видалення.

Перший етап видалення шуму в початковому зображенні полягає у застосуванні морфологічних операцій закриття / розкриття, потім обчислюється морфологічний градієнт зображення без шуму і виконується нелінійне перетворення для рівнів сірого на градієнті зображення за допомогою принципу Вебера, останній етап — обчислення вододілу по нелінійному, розбитому на області, градієнтному зображенню[20].

Основне припущення цього підходу — те, що структури які нас цікавлять або органи мають повторювані геометричні форми. Отже, можна знайти ймовірнісну модель для пояснення змін форми органу і потім, сегментуючи зображення, накладати обмеження, використовуючи цю модель як апріорну. Це завдання має такі етапи: (i) приведення тренувальних прикладів до загального положення, (ii) ймовірнісне представлення змін наведених зразків і (iii) статистичний висновок для моделі і зображення. Сучасні методи сегментації у літературі які заснованої на знанні, містять активні моделі форми і зовнішності, активні контури, деформаційні шаблони та методи встановлення рівня.

Сегментація зображень виконується в різних масштабах у масштабному просторі й іноді поширюється від дрібних масштабів до великих.

Критерій сегментації може бути безпідставно складним і може приймати до уваги як локальні, так і глобальні критерії. Загальна вимога — те, що кожна область повинна бути пов'язана в деякому сенсі.

• Кластерний аналіз
• Теорія графів
• Гістограма

• Приклад коду, що виконує просту сегментацію, by Syed Zainudeen. University Technology of Malaysia.

• Frucci, Maria; Sanniti di Baja, Gabriella (2008). From Segmentation to Binarization of Gray-level Images. Journal of Pattern Recognition Research 3 (1): 1–13.