ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

Neural network approach to evaluate a characteristic exponent of Levy process on Bandorff-Nilsen distribution example

Date of submission article: 14.05.2015
UDC: 004.032.26
The article was published in issue no. № 3, 2015 [ pp. 71-74 ]
Abstract:Application of the method of principal components and the generalized method of principal components to analyze data is not always reasonable, because the moments of necessary order don’t always exist in the analyzed distribution. At the same time, the interest in Levy processes continues to increase due to their numerous applications, but the principal component method is not applicable to the Levy process is. An important feature of the Levy process, which simplifies the analysis, is that the Levy process is completely defined by a complex-valued function of a real argument. It is a characteristic exponent. To identify the Levy process is to find the estimate of the characteristic exponent in the training set. The property of independence and homogeneity of Levy process increments allows using the increment of the process as a learning sample. The article considers the problem of building a neural network model for estimation of the characteristic exponent at a given interval of the argument. To estimate the characteristic exponent of the Levy process the authors propose the stochastic analogue of the adaptive neural network learning algorithm that uses the potential functions of Lanczos. The learning algorithm is tested on a hyperbolic Bandorff-Nilsen distribution. The hyperbolic distribution is a mix of normal laws, which allows generating a training sample with little effort. As a result the neural network has calculated an estimation of the Levy process characteristic exponent with a satisfactory degree of accuracy.
Аннотация:Применение метода главных компонент и обобщенного метода главных компонент для анализа данных не всегда оправданно, поскольку не всегда существуют моменты необходимого порядка у анализируемого закона распределе ния. В то же время продолжает расти интерес к процессам Леви в связи с их многочисленными приложениями, а процесс Леви является именно тем процессом, для которого метод главных компонент неприменим. Важным свойством процесса Леви, упрощающим анализ, является то, что этот процесс полностью определяется комплексно- значной функцией вещественного аргумента – характеристической экспонентой. Идентифицировать процесс Леви – значит найти оценку характеристической экспоненты по обучающей выборке. Свойство независимости и однородности приращений процесса Леви позволяет использовать приращения процесса в качестве обучающей выборки. В статье рассматривается задача построения нейросетевой модели для оценки характеристической экспоненты на заданном интервале изменения аргумента. Для оценки характеристической экспоненты процесса Леви предложен стохастический аналог адаптивного алгоритма обучения нейросети, использующий потенциальные функции Ланцоша. Алгоритм обучения опробован на гиперболическом распределении Бандорффа-Нильсена. Гиперболическое распределение является смесью нормальных законов, что позволило без особых усилий сгенерировать обучающую выборку. В результате нейросеть с удовлетворительной степенью точности вычислила оценку характеристической экспоненты процесса Леви.
Authors: Belyavsky G.I. (gbelyavski@sfedu.ru) - Scientific Reseach Institute of Mechanics and Applied Mathematics Southern Federal University, Rostov-on-Don, Russia, Ph.D, Puchkov E.V. (puchkoff@i-intellect.ru) - Rostov State University of Civil Engineering, Rostov-on-Don, Russia, Ph.D, Lila V.B. (lila@i-intellect.ru) - Rostov State University of Civil Engineering, Rostov-on-Don, Russia, Ph.D
Keywords: giperbolichskoe distribution bandorffa-nielsen, characteristic components, Levy process, adaptive algorithm, neural network
Page views: 7804
Print version
Full issue in PDF (8.21Mb)
Download the cover in PDF (1.09Мб)

Font size:       Font:

Основная задача, рассматриваемая в статье, – построение нейросетевой модели для оценки характеристической экспоненты процесса Леви. Первая работа, связанная с вычислением характеристик случайной последовательности, была выполнена в 1949 г. Д. Хеббом [1]. В ней рассматривались задачи самообучения нейросети. Впоследствии было доказано, что алгоритм обучения Д. Хебба непосредственно связан с вычислением главной компоненты. Более эффективный алгоритм обучения сети для вычисления главной компоненты последовательности может быть получен как частный случай метода стохастического градиента [2] с использованием отношения Релея. Если U – главный собственный вектор ковариационной матрицы последовательности, то n-е приближение к U вычисляется следующим образом (см., например, [2]):

                                                    (1)

В (1) последовательность h удовлетворяет условию  Xn – n-й элемент обучающей выборки.

Для определения нескольких главных компонент предлагается использовать ряд алгоритмов [3–6]) и метод стохастического градиента. Соответствующий алгоритм вычисления k главных собственных векторов ковариационной матрицы определяется системой равенств:

  (2)

Обоснование алгоритма и доказательство сходимости можно найти в работе [2]. Если многомерный закон распределения последовательности нормальный, с нулевым математическим ожиданием, то ковариационная матрица содержит полную информацию о законе распределения и использование метода главных компонент вполне оправданно. Если закон распределения не является нормальным, то метод главных компонент неполный, поскольку не учитывает всю информацию о поведении данных, например, связанную с моментами порядка три и более. Известен ряд работ [7, 8], в которых метод главных компонент обобщается на моменты более высокого порядка. Эти сети позволяют анализировать данные более сложной природы: приближать их поверхностью, отличающейся от плоскости, как в методе главных компонент. Применение метода главных компонент и обобщенного метода главных компонент для анализа данных не всегда целесообразно, так как не всегда существуют моменты необходимого порядка у анализируемого закона распределения. В то же время характеристическая функция существует для любого закона распределения [9].

В последнее время большой интерес прояв- ляется к процессам Леви [10] в связи с их использованием при моделировании в различных приложениях. Поведение процессов Леви полностью описывается параметрическим семейством одномерных законов распределения Ft(x). Семейство законов распределения однозначно определяется семейством характеристических функций:

.                (3)

В (3) характеристическая экспонента

            (4)

Несобственный интеграл Лебега в (4) вычисляется по мере Леви, обладающей следующим свойством:

.                                             (5)

Интеграл отвечает за скачкообразную составляющую процесса Леви. Приращения процесса Леви  – независимые и одинаково распределенные случайные величины с характеристической функцией  . Положив D=1, получим соотношение, которое в дальнейшем используем для оценки характеристической экспоненты. Далее будем использовать обозначение . Как уже отмечалось, случайные величины Y – независимые и одинаково распределенные случайные величины. Их общая характеристическая функция может быть представлена следующим образом:

Отсюда  

              (6)

Формула (6) позволяет вычислить характеристическую экспоненту, используя оценки A и B. Далее рассматривается оценка A(y), поскольку оценка B(y) выполняется аналогично.

Алгоритм обучения нейросети, использующий потенциальные функции. Структура нейросети, предназначенной для вычисления оценки A(y), показана на рисунке 1.

Допустим, необходимо вычислить характеристическую экспоненту в интервале значений аргумента [a, b]. Разобьем данный интервал на  частей с требуемой точностью вычислений. Определим потенциальную функцию U(y) следующими условиями:

–      носителем функции является симметричный интервал [–h, h];

–      функция симметричная;

–      функция является гладкой, на интервале [–h, 0] она возрастает, на интервале [0, h] убывает.

Примером такой функции может служить функция Ланцоша [11]:

В качестве критерия обучения рассмотрим средний квадрат отклонения:

. (7)

В (7) закон распределения Law(Y)= Law(Yt), yj – точки разбиения интервала [a, b]. Задача обучения заключается в вычислении минимума F(W).

Наиболее простая ситуация получается, если h совпадает с длиной элементарного интервала разбиения D. В этом случае критерий обучения (7) будет иметь следующий вид:

.                           (8)

Из этого соотношения выходит, что минимум критерия обучения достигается, когда Wj=E cos yjY. Следовательно, алгоритм обучения определяется равенствами:

.                                 (9)

Для общего случая (h>D) может быть применен стохастический аналог адаптивного алгоритма обучения [12]:

                        (10)

В формуле (10) ÑF(Wt–1, Yt) – стохастический градиент критерия F, l-я координата которого

g1=–ÑF(W0, Y1).

Рассмотрим пример оценки вещественной части характеристической функции для гиперболического распределения при помощи адаптивного алгоритма обучения.

Гиперболические распределения. В 1997 году О. Барндорфф-Нильсен предложил обобщенные гиперболические распределения [13]. Их введение обусловлено необходимостью описания некоторых эмпирических закономерностей в геологии, геоморфологии, турбулентности и финансовой математике.

Собственно гиперболическое распределение и гауссовское\\обратно-гауссовское распределение являются наиболее употребительными. Каждое из этих распределений представляет собой смесь нормальных законов:

 с плотностью

 

и  с плотностью

.(11)

В (11) K1(x) – модифицированная функция Бесселя третьего рода с индексом 1. Остановимся на одном из распределений, например на гиперболическом. Характеристическая функция благодаря (11) будет иметь вид:

.

С использованием соответствующей плотности (11) получим равенство для вещественной части характеристической функции:

     (12)

Формула (12) позволяет вычислить вещественную часть характеристической функции, используя численное интегрирование. Это, в свою очередь, позволяет определить различие между оценкой, полученной с помощью обучения нейросети, и значением, полученным по формуле (12). Для получения обучающей выборки использовались два генератора. С помощью первого генератора выбиралась дисперсия s2, при этом использовалась первая плотность из (11), затем генерировалась нормальная случайная величина N(m+as2, s2). Результаты расчетов приведены на рисунке 2. Параметры гиперболического распределения в эксперименте принимали следующие значения: a=0,1, m=0,5, a=0,2, b=0,1. Число итераций составило 325.

Таким образом, после обучения нейросеть с удовлетворительной степенью точности позволяет вычислять оценку основной характеристики процесса Леви – характеристической экспоненты.

Кроме перечисленных работ, следует упомянуть работу [14], в которой излагается идея оценки характеристической функции с помощью обучения нейросети. Основное отличие исследования, описанного в статье, состоит в использовании другого алгоритма обучения. Кроме этого, заметим, что данная методика применима только для процессов с независимыми и однородными приращениями, к которым относятся процессы Леви. В противном случае необходимо учитывать зависимость характеристической функции от времени.

Литература

1.      Hebb D.O. Organization of behavior. NY, Wiley, 1949, 335 p.

2.      Белявский Г.И. О некоторых алгоритмах определения главных компонент в пространстве признаков // Математический анализ и его приложения. Р-н-Д: Изд-во РГУ, 1975. № 7. С. 63-67.

3.      Sanger T.D. Optimal unsupervised learning in a single-layer linear feedforward neural network. Neural Networks 2, 1989, pp. 459-473.

4.      Oja E. Neural networks, principal components and subspaces. Int. Journ. of Neural Systems, 1989, no. 1, pp. 61-68.

5.      Oja E. Principal components, minor components and linear neural networks. Neural Networks, 1992, no. 5, pp. 927-935.

6.      Dente J.A., Vilela Mendes R. Unsupervised learning in ge­neral connectionist systems. Network: Computation in Neural Systems, 1996, no. 7, pp. 123-139.

7.      Softy W.R., Kammen D.M. Correlations in high dimensional or asymmetric data sets: Hebbian neuronal processing. Neural Networks, 1991, no. 4, pp. 337-348.

8.      Taylor J.G., Coombes S. Learning higher order correla­tions. Neural Networks, 1993, no. 6, pp. 423-427.

9.      Lukacs E. Characteristic functions, Griffin’s Statistical Monographs& Courses, Hafner Publishing Co., NY, 1960, no. 5, 216 p.

10.   Cont R., Tankov P. Financial modeling with jump proces­ses. London: Chapman Hall. CRC, 2004, 606 p.

11.   Жуков М.И. Метод Фурье в вычислительной математике. М.: Наука, 1992. 176 с.

12.   Белявский Г.И., Пучков Е.В., Лила В.Б. Алгоритм и программная реализация гибридного метода обучения искусственных нейронных сетей // Программные продукты и системы. 2012. № 4. С. 96-100.

13.   Barndorff-Nielsen O.E. Exponentially decreasing distribu­tions for the logarithm of particle size // Proceeding of the Royal Society. London: Ser. A, Math. Phys. 1977, vol. 353, pp. 401-419.

14.   Joaquim A. Dente, R. Vilela Mendes Characteristic functions and process identification by neural networks, 1997, pp. 1465-1471; URL: arXiv: physics 9712035 v1[physics.data-an] (дата обращения: 07.05.2015).


Permanent link:
http://swsys.ru/index.php?page=article&id=4030%E2%8C%A9=en&lang=en
Print version
Full issue in PDF (8.21Mb)
Download the cover in PDF (1.09Мб)
The article was published in issue no. № 3, 2015 [ pp. 71-74 ]

Perhaps, you might be interested in the following articles of similar topics: