На правах рекламы:
ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Авторитетность издания

ВАК - К1
RSCI, ядро РИНЦ

Добавить в закладки

Следующий номер на сайте

2
Ожидается:
16 Июня 2024

Методика оценки точности нейросетевых моделей

Статья опубликована в выпуске журнала № 2 за 2008 год.
Аннотация:
Abstract:
Авторы: Усков А.А. (prof.uskov@gmail.com) - Российский университет кооперации, г. Мытищи, Россия, доктор технических наук, Котельников С.А. () -
Ключевые слова: нейросетевое моделирование, закон распределения, вычислительный эксперимент
Keywords: neural network modeling, the law of distribution, computing experiment
Количество просмотров: 14177
Версия для печати
Выпуск в формате PDF (1.83Мб)

Размер шрифта:       Шрифт:

В практике нейросетевого моделирования часто возникает задача оценки точности получаемых моделей [1-3]. Рассмотрим задачу нейросетевого моделирования в следующей постановке. Пусть имеется статический объект, имеющий n входов (векторный вход ) и один выход Y. Входы и выход данного объекта связаны некоторой нелинейной зависимостью:

,                                                                (1)

где  – функция неизвестного вида;  – случайная аддитивная помеха, отражающая действие неучитываемых факторов с нулевым математическим ожиданием и неизвестным распределением.

Необходимо построить нейросетевую модель данного статического объекта (оценку функции ) на основе обучающей выборки:

                                           (2)

и оценить точность полученной модели.

Задача оценки точности модели решается следующим образом. Обучающая выборка (2) случайным образом делится на собственно обучающую:

,                                         (3)

по которой и проводится обучение нейронной сети, и тестирующую:                (4)

(объем тестирующей выборки (4) выбирается обычно во много раз меньше объема обучающей выборки (3), то есть ), на основе которой производится оценка точности модели.

Рассмотрим ошибки модели: ,             (5)

где  – выход объекта;  – выход модели.

Ввиду наличия случайного шума  погрешность модели  можно считать случайной величиной. Максимальное абсолютное значение ошибки модели  и среднеквадратическое отклонения (СКО) ошибки модели  определяется формулами:

,                                                     (6)

,                                   (7)

где  – область моделирования;  – плотность распределения ;  – математическое ожидание  [4, 5].

Точечные оценки  и  могут быть получены с помощью формул:

,                                                (8)

,                                 (9)

где  – значения выхода объекта и модели в -й точке тестирующий выборки (4) соответственно; .

Описанные точечные оценки  и  часто не позволяют сделать однозначный вывод о качестве полученных моделей; преодолеть указанную сложность позволяют интервальные оценки.

Интервальные оценки точности моделей. Для конкретизации метода построения интервальных оценок необходимо проверить гипотезу нормальности распределения величины  с помощью “критерия ” Пирсона.

Сведем результаты опытов в L интервалов и оформим в виде статистического ряда (см. табл. 1).

Таблица 1

В таблице приняты следующие обозначения: , где  – число попаданий ошибки модели  в интервал .

На основе функции нормального закона распределения можно найти теоретические вероятности попадания в каждый интервал:

.              (10)

Проверка согласованности нормального и статистического распределений производится на основе анализа расхождения между теоретическими вероятностями  и наблюдаемыми частотами . В качестве меры расхождения используется взвешенная сумма квадратов отклонений:

.            (11)

Распределение  зависит от параметра r, называемого числом степеней свободы распределения. Число степеней свободы r, определяется согласно формуле:             r=L–R,                                                  (12)

где R – число независимых условий (связей).

Если выполняется условие , то закон распределения случайной величины  соответствует нормальному закону распределения с доверительной вероятностью . В зависимости от результатов проверки гипотезы нормальности распределения рассмотрим два случая.

1. Гипотеза нормальности распределения величины  выполняется.

Доверительный интервал для ошибки модели  выражается в виде:

,                                 (13)

где  – доверительная вероятность; ; Ф(×) – нормальная функция распределения.

Воспользовавшись свойствами распределенной по нормальному закону случайной величины, получим оценку максимальной абсолютной ошибки модели Maxd с доверительной вероятностью; b1 – доверительная вероятность, использующаяся при проверке гипотезы нормальности закона распределе- ния [4,5]:             .                               (14)

Верхняя оценка значения СКО ошибки модели  с заданным уровнем значимости  определятся формулой:       ,                              (15)

где  – значение закона распределения  с  степенями свободы отвечающее вероятности p;  – уровень значимости (,  – доверительная вероятность).

2. Гипотеза нормальности  не выполняется (закон распределения неизвестен).

На основании неравенства Чебышева можно записать:

,                                            (16)

где  – вероятность выполнения условия, стоящего внутри скобок;  – положительный параметр.

Проведя преобразования на основе (16), можно получить доверительный интервал для ошибки модели :

,                                  (17)

где  – уровень значимости (,  – доверительная вероятность).

В случае, когда для закона распределения случайной величины  выполняется гипотеза симметричности, можно получить более точную оценку:

.                           (18)

Метод проверки гипотезы симметричности закона распределения случайной величины описан в работе [6].

Для получения верхней оценки значения СКО модели  с заданной доверительной вероятностью  можно воспользоваться следующей приближенной формулой:

,                                         (19)

где  – доверительная вероятность; ; Ф(×) – нормальная функция распределения.

Вычислительный эксперимент. Выполним построение нейросетевых моделей и оценку их ошибки для объектов со структурой (1), описываемых следующими выражениями:

1)

2)

3)

где  в выражениях 1-3; при нормальном законе распределения аддитивной помехи ξ (математическое ожидание , СКО ) и доверительной вероятности = .

Для построения моделей использовались следующие методы: обобщенно-регрессионная нейронная сеть (GRNN), многослойный персептрон (MLP), сеть с радиальными базисными функциями и линейным выходным слоем (RBFN) [1-3]. Объем обучающей выборки составлял N=2900 (N1=2500, N2=400). Точки из обучающей выборки располагались случайным образом с равномерным законом распределения. Результаты вычислительного эксперимента приведены в таблице 2.

Таблица 2

Объект моделирования

СКО шума s(x)

Тип модели

Выполнение гипотезы о нормальности закона распределения s

Точечные оценки

Интервальные оценки

Maxd

(формула (14))

sd

(формула (15))

sd

(формула (19))

1)

0.8

GRNN

принимается

2.7167

0.84072

3.4076

0.9034

0.89716

MLP

принимается

4.1303

1.2207

4.9607

1.3118

1.3027

RBFN

принимается

3.2423

0.91394

3.6941

0.98208

0.97529

2)

1

GRNN

принимается

4.9261

1.5643

6.2764

1.6809

1.6693

MLP

принимается

3.852

1.0306

4.1366

1.1074

1.0998

RBFN

принимается

3.5154

1.1365

4.6116

1.2212

1.2128

3)

1

GRNN

принимается

9.8439

3.325

13.3311

3.5729

3.5482

MLP

отвергается

23.1141

9.9285

10.595

RBFN

отвергается

8.371

2.3892

2.5496

Рассмотренный подход к оцениванию точности моделей может быть полезен при нейросетевом моделировании. Современные системы компьютерной математики (MATLAB, MathCAD, Maple и др.) имеют набор встроенных статистических функций, что позволяет значительно упростить процессы как проверки гипотезы нормальности распределения, так и построения описанных интервальных оценок.

Список литературы

1.Галушкин А.И. Теория нейронных сетей. - М.: ИРПЖР. - Кн.1. - 2000.

2.Галушкин А.И. Нейрокомпьютеры. - Там же. - Кн.3. - 2000.

3.Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия-телеком, 2001.

4.Венцель Е.С. Теория вероятностей. – М.: Высш. шк., 1998.

5.Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. - М.: Наука, 1984.

6.Орлов А.И. Методы проверки однородности связных выборок // Заводская лаборатория. - 2004. - Т.70. - №7.


Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=750&lang=&lang=&like=1
Версия для печати
Выпуск в формате PDF (1.83Мб)
Статья опубликована в выпуске журнала № 2 за 2008 год.

Возможно, Вас заинтересуют следующие статьи схожих тематик: