ADALINE

ADALINE — це одношарова нейросітка з численними вузлами, кожен з яких має багато входів і генерує вихідний сигнал. Позначимо такі змінні:

• ${\displaystyle x}$ — вхідний вектор
• ${\displaystyle w}$ — ваговий вектор
• ${\displaystyle n}$ — число входів
• ${\displaystyle \theta }$ — деяка константа
• ${\displaystyle y}$ — вихід

Вихід визначається наступною формулою: ${\displaystyle y=\sum _{j=1}^{n}x_{j}w_{j}+\theta }$. Припустимо, що

• ${\displaystyle x_{n+1}=1}$
• ${\displaystyle w_{n+1}=\theta }$

Тоді вихід спрощується до скалярного добутку x і w: ${\displaystyle y=\sum _{j=0}^{n}x_{j}w_{j}}$.

Припустимо:

• ${\displaystyle \eta }$ швидкість навчання (деяка константа)
• ${\displaystyle d}$ бажаний вихід
• ${\displaystyle o}$ поточний вихід

тоді ваги встановлюються таким чином: ${\displaystyle w\leftarrow w+\eta (d-o)x}$. ADALINE сходиться до похибки найменших квадратів: ${\displaystyle E=(d-o)^{2}}$.[6] Це правило оновлення насправді є стохастичним градієнтним спуском для лінійної регресії.[7]

• Delta Learning Rule: ADALINE
• Adaline (Adaptive Linear)
• Perceptron and ADALINE

• MADALINE