Winner-take-all

Принцип WTA (Winner-take-all, Переможець отримує все) застосовується в штучних нейронних мережах при прийнятті рішень і завдань класифікації. Він полягає в тому, що рішенням вважається така альтернатива, у якої вихідне значення відповідного нейрона є максимальним.

Цей принцип вважається аналогією принципу плюралізму.

Штучні нейронні мережі

В теорії штучних нейронних мереж, нейромережі winner-take-all є прикладом конкурентного навчання в нейронних мережах зі зворотніми зв'язками. Вихідні нейрони нейромережі інгібують один одного, активуючи в цей час самих себе через зворотні зв'язки. Через деякий час лише один нейрон буде активним, а саме той, який відповідає найбільшому входу нейромережі. Таким чином, нейронна мережа використовує нелінійне інгібування для того, щоб визначити вхідний нейрон найбільшим сигналом. Winner-take-all — це один із загальних обчислювальних принципів, який може бути використаний для різних типів нейромереж, включаючи нейромережі в неперервному часі і спайкові нейронні мережі.[1][2]

Нейромережі типу winner-take-all часто використовуються в обчислювальних моделях мозку, а саме для розподіленого прийняття рішень в неокортексі. Приклади включають ієрархічні моделі зору [3] і моделі селективної уваги і розпізнавання.[4][5] Цей принцип також часто використовується в нейроморфних аналогах VLSI. Формально було доведено що операція winner-take-all більш обчислювально потужна, ніж інші нелінійні операції, наприклад порогова функція[6]. Будь-яка неперервна функція може бути апроксимована з допомогою нейромережі із алгоритмом winner-take-all як єдиною нелінійною операцією.

У багатьох практичних випадках застосовують принцип k-winners-take-all. Згідно з цим принципом k нейронів стають активними для фіксованого числа k.

Посилання

  1. Grossberg, 1973
  2. Oster et al. 2009
  3. Riesenhuber et al. 1999
  4. Carpenter and Grossberg, 1987
  5. Itti et al. 1998
  6. Maass, W. 2000. On the computational power of winner-take-all. Neural Computation 12:2519-2535.

Див. також

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.