Метод групового урахування аргументів

Дано дані спостережень: ${\displaystyle {\vec {x}},y}$. Необхідно побудувати найкращу в певному сенсі модель ${\displaystyle Y(x_{1},\dots ,x_{n})}$.

1. Вибирається загальний вигляд моделей, що перебираються (так звані опорні функції). Часто використовують поліном Колмогорова — Габора:

   ${\displaystyle Y(x_{1},\dots ,x_{n})=a_{0}+\sum \limits _{i=1}^{n}{a_{i}}x_{i}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{a_{ij}}}x_{i}x_{j}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{\sum \limits _{k=j}^{n}{a_{ijk}}}}x_{i}x_{j}x_{k}+\cdots }$

   Вибір поліномів обумовлений тією властивістю, що згідно з теоремою Стоуна — Вейєрштрасса, будь-яку неперервну на скінченому інтервалі функцію можна з як завгодно високою точністю подати у вигляді полінома певного ступеня. Складність моделі в такому випадку визначається кількістю коефіцієнтів ${\displaystyle a_{ij\cdots }}$.

2. Використовуючи опорні функції, будуються різні варіанти моделей для деяких або всіх аргументів. Наприклад будуються поліноми з однією змінною, поліноми з будь-якими парами змінних, поліноми з будь-якими трійками змінних, і т.д, поліном з усіма змінними. Для кожної моделі визначаються її коефіцієнти ${\displaystyle a_{ij\cdots k}}$ методом регресійного аналізу.
3. Серед усіх моделей вибираються декілька (від 2 до 10) найкращих. Якість моделей визначається коефіцієнтом детермінації, або середньоквадратичним відхиленням помилки, або кореляцією Y і вихідних даних.
4. Якщо знайдена досить «добра» модель або досягнута максимально допустима складність моделей, то алгоритм закінчується.
5. Інакше, знайдені на 3-му кроці моделі використовуються як аргументи (${\displaystyle x_{1},\dots ,x_{n}}$) для опорних функцій наступного етапу ітерації (перехід на 2-й пункт). Тобто, вже відібрані моделі беруть участь у формуванні складніших.

Зазвичай ступінь полінома опорної функції вибирається не вище ${\displaystyle N-1}$, де ${\displaystyle N}$ — кількість точок вибірки. Часто буває достатньо використовувати як опорні функції поліноми другого ступеня. У такому випадку на кожному кроці ітерації ступінь результуючого полінома подвоюється.

Замість поліному Колмогорова — Габора можна використовувати ряди Фур'є. Це має сенс, якщо у вихідних даних спостерігається періодичність (наприклад, рівень води в річках, температура повітря, обсяг опадів). Отримана в такому випадку модель буде полігармонічною ^{[недоступне посилання з червня 2019]}.

Часто вихідну вибірку розбивають на дві підвибірки ${\displaystyle A}$ і ${\displaystyle B}$. Підвибірка ${\displaystyle A}$ застосовується для визначення коефіцієнтів моделі, а підвибірка ${\displaystyle B}$ — для визначення якості (коефіцієнта детермінації або середньоквадратичного відхилення). При цьому співвідношення кількості даних в обох вибірках може бути як 50% / 50%, так і 60%/40%.

Статистика показує, що спочатку з кожним кроком ітерації середньоквадратичне відхилення зменшується. Але після досягнення певного рівня складності (яке залежить від характеру й кількості даних, а також загального вигляду моделі), середньоквадратичне відхилення починає зростати.

• Глибинне навчання

• www.gmdh.net — Статті, книги і ПЗ.
• www.opengmdh.org — МГУА вікі та розробка коду програм.