Swish функція

Swish функція це математична функція, що описується виразом:

[1][2]

де β є константою або параметром, який залежить від типу моделі.

Похідна функції .

Застосування

Застосовується в якості функції активації штучного нейрона. У 2017 році, провівши аналіз даних ImageNet, дослідники з Google стверджували, що використання функції swish як функції активації в штучних нейронних мережах покращує продуктивність порівняно з функціями ReLU та сигмовидної форми[1][2]. Вважається, що однією з причин покращення є те, що функція swish допомагає полегшити проблему зникаючого градієнта під час зворотного поширення[3].

Див. також

Примітки
  1. Ramachandran, Prajit; Zoph, Barret; Le, Quoc V. (16 жовтня 2017). Swish: A Self-Gated Activation Function. v1. Google Brain. arXiv:1710.05941v1. Архів оригіналу за 18 червня 2020. Процитовано 18 червня 2020.
  2. Ramachandran, Prajit; Zoph, Barret; Le, Quoc V. (27 жовтня 2017). Searching for Activation Functions. v2. Google Brain. arXiv:1710.05941v2. Архів оригіналу за 18 червня 2020. Процитовано 18 червня 2020.
  3. Serengil, Sefik Ilkin (21 серпня 2018). Swish as Neural Networks Activation Function. Machine Learning, Math. Архів оригіналу за 18 червня 2020. Процитовано 18 червня 2020.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.