Winner-take-all
Принцип WTA (Winner-take-all, Переможець отримує все) застосовується в штучних нейронних мережах при прийнятті рішень і завдань класифікації. Він полягає в тому, що рішенням вважається така альтернатива, у якої вихідне значення відповідного нейрона є максимальним.
Цей принцип вважається аналогією принципу плюралізму.
Штучні нейронні мережі
В теорії штучних нейронних мереж, нейромережі winner-take-all є прикладом конкурентного навчання в нейронних мережах зі зворотніми зв'язками. Вихідні нейрони нейромережі інгібують один одного, активуючи в цей час самих себе через зворотні зв'язки. Через деякий час лише один нейрон буде активним, а саме той, який відповідає найбільшому входу нейромережі. Таким чином, нейронна мережа використовує нелінійне інгібування для того, щоб визначити вхідний нейрон найбільшим сигналом. Winner-take-all — це один із загальних обчислювальних принципів, який може бути використаний для різних типів нейромереж, включаючи нейромережі в неперервному часі і спайкові нейронні мережі.[1][2]
Нейромережі типу winner-take-all часто використовуються в обчислювальних моделях мозку, а саме для розподіленого прийняття рішень в неокортексі. Приклади включають ієрархічні моделі зору [3] і моделі селективної уваги і розпізнавання.[4][5] Цей принцип також часто використовується в нейроморфних аналогах VLSI. Формально було доведено що операція winner-take-all більш обчислювально потужна, ніж інші нелінійні операції, наприклад порогова функція[6]. Будь-яка неперервна функція може бути апроксимована з допомогою нейромережі із алгоритмом winner-take-all як єдиною нелінійною операцією.
У багатьох практичних випадках застосовують принцип k-winners-take-all. Згідно з цим принципом k нейронів стають активними для фіксованого числа k.
Посилання
- Grossberg, 1973
- Oster et al. 2009
- Riesenhuber et al. 1999
- Carpenter and Grossberg, 1987
- Itti et al. 1998
- Maass, W. 2000. On the computational power of winner-take-all. Neural Computation 12:2519-2535.
- G.A. Carpenter and S. Grossberg, Архівовано 19 липня 2011 у Wayback Machine. A massively parallel architecture for a self-organizing neural pattern recognition machine, «Computer Vision, Graphics, and Image Processing», «'37:54»', 1987.
- S. Grossberg, Contour enhancement, short-term memory, and constancies in reverberating neural networks, «Studies in Applied Mathematics», «'52:213»', 1973.
- M. Oster, R. Douglas and S.-C. Liu, Computation with spikes in a winner-take-all network, Neural Computation, 21:9, 2009.
- M. Riesenhuber and T. Poggio, Hierarchical models of object recognition in cortex, Nature Neuroscience, 2:11, 1999.
- L. Itti, C. Koch and E. Niebur, A model of saliency-based visual attention for rapid scene analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, 20:11, 1998.
- W. Maass, On the computational power of winner-take-all, Neural Computation, 12:11, 2000.
- J. Lazzaro, S. Ryckebusch, M. A. Mahowald and C. A. Mead, Winner-take-all networks of O(N) complexity, in Advances in Neural Information Processing Systems 1, Morgan Kaufmann Publishers, San Francisco, CA, 1989. Also available online at John Lazzaro's website.
- CMOS winner-take-all circuits: A tutorial article on various types of winner-take-all transistor-level circuits fabricated in the CMOS technology.
- D. Scharstein, R. Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, International Journal of Computer Vision, 47:1, 2002.