На правах рекламы:
ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Авторитетность издания

ВАК - К1
RSCI, ядро РИНЦ

Добавить в закладки

Следующий номер на сайте

2
Ожидается:
16 Июня 2024

Исследование влияния алгоритмов инициализации весовых коэффициентов сети Вольтерри на решение задачи прогнозирования

Study of the influence of initialization algorithms of Volterry network weight coefficients on forecast problem solving
Дата подачи статьи: 12.12.2017
УДК: 004.896, 004.942
Статья опубликована в выпуске журнала № 1 за 2018 год. [ на стр. 60-63 ]
Аннотация:В статье описана разработанная авторами автоматизированная система прогнозирования нефтяных котировок нейронной сетью Вольтерри. Реализованы три алгоритма инициализации весовых коэффициентов: алгоритм имитации отжига, эволюцион-ный алгоритм и случайная инициализация. Система предоставляет пользователю такие возможности, как загрузка выборок, установка параметров обучения, выбор алгоритма инициализации весовых коэффициентов с установлением для них параметров и просмотр результатов прогнозирования. Кроме того, существует возможность сохранять параметры нейронной сети в XML-файл, что впоследствии позволяет выполнять прогнозирование с применением уже обученной сети. При тестировании пользователь может загрузить ранее созданную сеть или работать с текущей сетью, загрузить файл с выборкой, а затем просмотреть результаты тестирования. Все результаты сохраняются в файлах формата .xlsx. Разработанную систему можно применять для прогнозирования показателей цен на нефть. В качестве показа-теля качества работы спроектированной системы было выбрано среднеквадратическое отклонение. Для проведе-ния вычислительных экспериментов использованы показатели цен на нефть марки Brent и WTI за определенный период. По результатам проведенных исследований сделан вывод о том, что использование алгоритмов оптимизации при начальной инициализации весовых коэффициентов дает более точный результат прогнозирования, чем случайная инициализация.
Abstract:The article describes an automated system designed by the authors for forecasting oil market quotes by Volterry neural network. The system runs three algorithms for weight coefficients initialization: the annihilation simulation algorithm, the evolutionary algorithm and random initialization. A user is able to upload samples, set learning parameters, select a learning algorithm for weight coefficients initialization, define their parameters and look through forecasting results. Moreover, a user can save parameters of a neural network to a XML file to provide an ability to perform forecasting by using preset parameters of a trained network. While testing a user can open a network saved earlier or work with a current one, load a sample file and then look at the results. All results are kept in .xlsx files. The developed software can be used for forecasting a market oil price. Standard deviation is an evaluation criterion of the designed application. To make a testing experiment the authors selected Brent and WTA oil prices during the period from December 31, 2005 till December 31, 2016. The article shows the results of researching a dependency of forecasting quality according to the selected algorithms. The results show that a random initialization (learning coefficient 0.01, a number of neurons L=3, a number of layers K=3) produces a bigger error than the annihilation simulation algorithm or the evolutionary algorithm. As a result, using optimization algorithms for initialization of weight coefficients provides more accurate forecasting result than a random initialization.
Авторы: Лёзина И.В. (chuchyck@yandex.ru) - Самарский национальный исследовательский университет им. академика С.П. Королева (доцент), Самара, Россия, кандидат технических наук, Сараева К.В. (chuchyck@yandex.ru) - Самарский национальный исследовательский университет им. академика С.П. Королева (магистрант ), Самара, Россия
Ключевые слова: случайная инициализация, эволюционный алгоритм, алгоритм имитации отжига, оптимизационные алгоритмы, нефтяные котировки, прогнозирование, сеть вольтерри, нейронная сеть, автоматизированная система
Keywords: random initialization, evolutionary algorithm, simulated annealing, optimization algorithms, oil market quotes, forecasting, voletrry network, neural network, an automated system issue
Количество просмотров: 10048
Статья в формате PDF
Выпуск в формате PDF (29.74Мб)

Размер шрифта:       Шрифт:

Впервые упоминание о прогнозировании будущего направления движения цены на основе истории ее предыдущих движений появилось в начале 90-х годов XIX века [1].

В инвестиционном деле прогнозирование играет важную роль, потому что невозможно выработать и принять правильное решение об инвестициях, не располагая данными о будущих ситуациях на рынке. Одна из важных задач прогнозирова- ния – это предсказание цен в рыночной экономике и выделение тех факторов, которые влияют на них, так как от этого зависят объем продаж, уровень и масса прибыли.

В последние десятилетия все большее применение в этой области находят нейронные сети в силу своей универсальности. На основе информации о значениях переменных {X1, X2, ..., Xn} в предшествующие прогнозированию моменты времени {t1, …, tn} сеть вырабатывает решение о наиболее вероятном значении последовательности X в текущий момент времени tn+1, tn+2 и т.д.

Возможность обучения – одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Она реализуется с помощью специально разработанных методов. Необходимым условием для обучения является первоначальная инициализация синоптических весов нейронов [2]. В данной работе рассматривается исследование алгоритмов имитации отжига, эволюционных алго- ритмов и случайной инициализации, используе- мых при первоначальной инициализации весовых коэффициентов для решения задачи прогнозирования при помощи нейронной сети Вольтерри [3].

Сеть Вольтерри – многослойная однонаправленная динамическая сеть для нелинейной обработки последовательности сигналов, задержанных относительно друг друга. Выходной сигнал сети Вольтерри можно представить следующей формулой [4]:

.

Каждое слагаемое в квадратных скобках представляет собой линейный фильтр первого порядка, в котором соответствующие веса – это импульсная реакция другого линейного фильтра следующего уровня.

Обучение нейронной сети Вольтерри лучше всего производить с использованием технологии сопряженных графов. Возбуждением для графа служит разностный сигнал (yn – dn), где dn – ожидаемое значение в выходном узле, а yn – фактическое в момент времени n. Из выражения, определяющего компоненты градиента, на основе исходного и сопряженного с ним графа можно вывести конкретные компоненты вектора градиента:

В приведенных формулах сигналы, обозначенные символом ^, соответствуют сопряженному, а остальные – исходному графу системы. После определения конкретных компонентов градиента обучение сети с применением оптимизационного метода наискорейшего спуска может быть сведено к решению дифференциальных уравнений:

 

где μ – коэффициент обучения [4].

Методы обучения нейронных сетей сводятся к нахождению локального минимума целевой функции, лежащего в окрестности точки начала обучения. Если значение глобального минимума известно, есть возможность оценить положение локального минимума относительно искомого решения. Однако при решении реальных задач даже приблизительная оценка глобального минимума остается неизвестной. По этой причине возникает необходимость применения методов глобальной оптимизации [5].

Алгоритм имитации отжига – это общий метод решения задачи глобальной оптимизации. Он отражает поведение расплавленного материала при отвердевании с применением процедуры отжига (управляемого охлаждения) при температуре, последовательно понижаемой до нуля [6]. В настоящее время метод считается одним из немногих алгоритмов, позволяющих практически находить глобальный минимум функции нескольких переменных [4]. Алгоритм состоит из следующих шагов.

1. Запускается процесс из начальной ω точки при заданной температуре T = Tmax.

2. Пока T > Tmin, повторяются следующие действия:

-     выбирается новое состояние wn из окрестности w;

-     рассчитывается изменение целевой функции ∆ = E(wn) – E(w);

-     принимается решение о переходе к новому состоянию wn = wn;

3. Понижается температура.

Генетические алгоритмы совместно с эволюционной стратегией и эволюционным программированием представляют три главных направления развития так называемого эволюционного моделирования. Несмотря на то, что каждый из этих методов возник независимо от других, они характеризуются рядом важных общих свойств. Эволюционные алгоритмы имитируют процессы наследования свойств живыми организмами. Исходная популяция решений выбирается случайным образом. При использовании этого метода популяция состоит из закодированных соответствующим образом программ, подвергающихся воздействию генетических операторов скрещивания и мутации, для нахождения оптимального решения, которым считается программа, наилучшим образом решающая поставленную задачу [7]. Процедура повторяется, пока не будет найдено искомое решение либо не будет исчерпан лимит машинного времени. Программы оцениваются относительно определенной специальным образом функции приспособленности. Из семейства эволюционных алгоритмов в системе был реализован генетический алгоритм.

Случайная инициализация приписывает случайные начальные значения весовым коэффициентам. Она должна обеспечить такую стартовую точку активации нейронов, которая лежала бы достаточно далеко от зоны насыщения. Это достигается ограничением диапазона разыгрываемых значений. Практически все оценки нижней и верхней границ диапазона лежат в пределах (0, 1) [4].

Для решения задачи была разработана автоматизированная система прогнозирования нефтяных котировок. Основные классы системы представлены на диаграмме сущностных классов (см. рисунок), разработанной по методологии UML [8]. В системе пользователю предоставляются такие возможности, как загрузка выборок, установка параметров обучения, выбор алгоритма инициализации весовых коэффициентов с установлением параметров для них и просмотр результатов прогнозирования. Кроме того, существует возможность сохранения параметров нейронной сети в XML-файл, что впоследствии дает возможность вести прогнозирование с применением уже обученной сети. При тестировании пользователь может загрузить ранее созданную сеть или работать с текущей, загрузить файл с выборкой, а затем просмотреть результаты тестирования. Все результаты сохраняются в файлах формата .xlsx. Разработанную программу можно применять для прогнозирования показателей цен на нефть.

На качество обучения и прогнозирования влияет разброс значений выборок. Это делает алгоритм чувствительным к сильным скачкам и спадам цен на биржевые товары. В качестве показателя качества работы спроектированной системы было выбрано среднеквадратическое отклонение (СКО) – наиболее распространенный показатель рассеивания значений случайной величины относительно ее математического ожидания. СКО представлено выражением , где      xi – i-й элемент выборки; n – объем выборки;  – среднее арифметическое выборки, .

Для проведения вычислительных экспериментов были использованы показатели цен на нефть марок Brent и WTI за период с 31.12.2005 по 31.12.2016 [9]. В систему загружаются данные с обучающей выборкой. Параметры модели подбираются таким образом, чтобы уменьшить погрешность прогнозирования [10]. Результаты работы программы представлены ниже в таблице и на рисунках (см. http://www.swsys.ru/uploaded/image/ 2018_1/2018-1-dop/19.jpg).

Результаты исследования

Research results

Алгоритмы инициализации весовых коэффициентов

СКО

Нефть Brent

Нефть WTI

Имитация отжига

0.03375

0.02883

Эволюционный

0.03388

0.02877

Случайная инициализация

0.03511

0.02936

На основании полученных результатов можно сделать вывод, что случайная инициализация ве- совых коэффициентов при коэффициенте обучения, равном 0.01, количестве нейронов L = 3, ко- личестве слоев K = 3, дает СКО выше, чем алгоритм имитации отжига и генетический алгоритм. Качество прогнозирования также можно проследить и по графикам, где показана разница между реальными и спрогнозированными рядами. Очевидно, что при случайной инициализации каче- ство прогнозирования на двух различных марках нефти в обоих случаях дает хуже результат, чем при применении оптимизационных алгоритмов.

Таким образом, использование алгоритмов оптимизации при начальной инициализации весовых коэффициентов дает более точный результат прогнозирования, чем случайная инициализация.

Литература

1.     Технический анализ валютного рынка. URL: https:// tradexperts.ru/Tehnicheskij-Analiz-Foreks/Vvedenie-v-tehniches kij-analiz (дата обращения: 11.12.2017).

2.     Лезина И.В., Сараева К.В. Исследование влияния алгоритмов инициализации весовых коэффициентов на решение задачи прогнозирования при помощи нейронной сети Вольтерри // Перспективные информационные технологии (ПИТ-2017): тр. Междунар. науч.-технич. конф. Самара: Изд-во СамНЦ РАН, 2017. С. 160–161.

3.     Сараева К.В. Прогнозирование цен на нефть нейронной сетью Вольтерри // Сб. трудов. Самара: Изд-во СГАУ, 2015. 104 с.

4.     Осовский С. Нейронные сети для обработки информации; [пер. с польск. И.Д. Рудинского]. М.: Финансы и статистика, 2002. 344 с.

5.     Солдатова О.П. Курс лекций по дисциплине «Интеллектуальные системы». Самара: Изд-во СГАУ, 2014. 108 с.

6.     Нейрокомпьютерные системы. URL: http://www.intuit. ru/studies/courses/61/61/lecture/20448 (дата обращения: 11.12.2017).

7.     Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы; [пер. с польск. И.Д. Рудинского]. М.: Горячая линия–Телеком, 2006. 452 c.

8.     Буч Г., Рамбо Д., Джекобсон А. Язык UML. Руководство пользователя. СПб: Питер, 2003. 252 с.

9.     Интернет-трейдинг «ФИНАМ». URL: https:// www.finam.ru/ (дата обращения: 11.12.2017).

10.  Лихачева Д.В. Автоматизированная система прогнозирования изменения курса валют на основе сети Вольтерри // XII Королевские чтения: тезисы докл. Междунар. молодеж. науч. конф. Самара: Изд-во СГАУ, 2013. С. 209.


Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=4399
Версия для печати
Выпуск в формате PDF (29.74Мб)
Статья опубликована в выпуске журнала № 1 за 2018 год. [ на стр. 60-63 ]

Возможно, Вас заинтересуют следующие статьи схожих тематик: