Дипломная работа: Процедуры идентификации сетевых структур, основанные на коэффициентах корреляции Кендалла и Спирмена

Формулы Связи корреляций при предположении о законе распределения

Наше исследование построено вокруг сетевых моделей, а поэтому нам будет важно что при определенных условиях мы будем иметь схожие или же полностью идентичные сетевые структуры, задавая для графа рынка соответствующие друг другу значения порогов для каждого вида корреляций. Давайте рассмотрим как связаны эти меры.

Для начала рассмотрим связь корреляции Фехнера и Корреляцию Пирсона. Для этого обратимся к статье (Калягин В.А. Колданов А.П. Колданов П. А. Пардалос 2017)

Опуская доказательства приведем конечную формулу:

Эта формула справедлива для нормального и эллиптического распределения. Она дает нам довольно много, с точки зрения выбора инструмента для построения графа рынка, но об этом позже.

Так же для нормального распределения в статье (Краскала1958) приведены связи всех ранговых корреляций с корреляцией Пирсона:

Что нам дают эти соотношения? Мы рассматриваем построения сетевой структуры, графа рынка, как мы уже разбирали ранее, чтобы провести ребро между активами мы проверяем превосходит ли связь между двумя случайными величинами заданный порог. Если мы предположим, что распределение доходностей нормальное, то вне зависимости от того какую из корреляций мы будем выбирать как меру связи величин, каждому порогу у каждого вида корреляций можно однозначно сопоставить порог остальных типов корреляции. Таким образом мы получим абсолютно идентичные сетевые модели. Проще говоря, в случае если мы строим граф рынка с предположениям что все активы имеют нормальное распределение совершенно не важно какую корреляцию мы будем использовать.

Однако, что, если мы сделаем более общее предположение и скажем, что закон по которому распределены случайные величины не нормальный, а эллиптический.

Во первых связь между корреляциями Спирмена и Кендэла есть связь вне зависимости от ограничений посредством неравнства Дэниэлса:

Для положительных значений корреляции Кендэла неравенство существует так же неравенство Дарбина-Стюарта.

Это неравенство довольно полезно в целом, поскольку при больших показателях корреляции Кендэла точность получается весьма высокой. Например при ограничения на становятся такими:

Не будем забывать про формулу 2.1 которая подходит для эллиптического распределения. Обратимся к статье Lindskog(2003) в которой мы можем взять ещё одну важную формулу:

Что это нам дает, при эллиптическом законе, у нас есть связь между корреляциями Кендэла Пирсона, Краскала и Фехнера . Это значит что выбирая порог для построения графа рынка используя один из видов корреляции как меру связи между величинами мы можем привести в соответствие порог для двух других корреляций, при этом граф рынка будет идентичным. Однако этого мы не можем сказать про корреляцию Спирмена, и поэтому у нас остаются только неравенства Дэниэлся и Дарбина-Стюарта. Для нас важно, что они не дают нам понимания, существует ли точная связь между тремя связными корреляциями и корреляцией Спирмена. В настоящий момент нет работ дающих понимание о наличии или отсутствии связи, в следующей главе мы предложим способ измерить это.

Сравнение Корреляций

Итак, в предыдущей части мы разобрали невозможность найти связь между корреляцией Спирмена и другими при предположении о эллиптичности распределения. (в дальнейшем мы будем сравнивать корреляцию Спирмена и Кендэла, поскольку из последней выводятся все остальные, разбираемые в работе)

Мы начали именно с разбора графа рынка, и это важно, поскольку именно к анализу сетевых структур мы приходим после выбора меры связи величин. Мы не знаем наверняка, как связаны между собой две меры, но можем попробовать измерить это количественно. Для этого мы возьмем матрицу корреляций у реального графа рынка (далее 50 активов)*

*Активы с Yahoo finance:

['AC','AI','AIR','MT','ATO','NIE','AVID','AETG.SG','AKRN.ME','YNDX','AMOT','AMZN','AXP','UA','NLY','AET','EA','AMBA','AGI','RAD','SKAS','ORLY','GAS','AKS','AGIO','AEE','ARLP','ACCO','ABC','AVB','LH','AUY','AOXY','LIFE','WMC','LAQ','JBK','Y','MTGE','AAON','XLRN','VJET','ATLS','APO','RBA','NOG','ARE','AWI','AHGP','AT']

и сгенерируем данные - 10 тысяч по этой матрице корреляций, использовать мы будем распределение Стьюдента.

Сгенерировав большое число синтетических данных мы для каждого набора будем строить матрицу корреляций Кендэла и Спирмена. Для каждой матрицы мы построим графы рынка и будем оценивать их схожесть. Вообще мерой сравнения можно выбрать как всю получившуюся сетевую структуру, так и рассматривать части общего графа.

Здесь появляется несколько важных моментов, идеальный вариант это подобрать пороги в которых графы будут иметь наименьшее различие, однако это может не получиться, и мы получим лишь приближенную картину, проделав всё описанное выше у нас остается вопрос в том с какими константами будет производится сравнение. Есть несколько вариантов как это можно сделать. Но прежде чем мы рассмотрим предлагаемые методы мы рассмотрим способы сравнить графы рынка.

Предположим, что у нас посредством описанного выше получилось два графа: и Где - множество вершин каждого графа, а - множество ребер каждого графа.

Понятно, что у обоих графов рынка множество вершин одинаковые. И разница будет именно в ребрах. Один из вариантов - сравнить наиболее важные для нас подграфы (клики и независимые множества) Можно сравнить размеры максимальной клики и максимального подмножества, и именно эта разница и станет мерой схожести сетевой структуры. Если мы возьмем две максимальные клики графов то коэффициент их схожести мы можем определить как:

Где размеры клик, подразумеваем что клика - большая. Аналогично можно сравнить максимальные независимые множества.

Так же мы можем сравнить не только части, а все ребра графа.

Этот показатель нам гораздо интереснее, в случае если мы подберем точные пороги, то показатель схожести будет равен единице. Надо заметить что отсутствующие ребра мы тоже учитываем, поскольку если оба графа не имеют определенного ребра, это означает что их мера при построении игнорирует связь между парой активов.

Вернемся к подбору порогов.

Для начала попробуем использовать без изменений пороги, полученные из предположения что закон нормальный.

Используем следующие пороги (получаемые из предположения что закон нормальный):

Мерой сравнения схожести графов будет выступать формула 3.2. для каждого порога 10000 наборов данных имеют вот такие распределения плотностей:

Рисунок 1

Рисунок 2

Рисунок 3

Рисунок 4

По оси Х - уровень близости. По Y - частота(как часто встречается коэффициент схожести определенного Значение формулы 3.2)

То есть например точка (0.9,90) означает что в 90 экспериментах из 10000 значение формулы 3.2 для указанных порогов Кендэла и Спирмена было равно 0.9.

Что это нам дает? Ну в целом довольно наглядно дает понять, что использовать пороги, полученные из предположения о нормальности, дают весьма неточные схожести конструкций.

Теперь попробуем подобрать коэффициент, численно оптимизировать выбор порогов, для этого рассмотрим некоторое количество сгенерированных наборов. Для каждого значения коэффициента Спирмена рассмотрим приближения.

Для начала попробуем в нескольких временных рядах изменять порог одной из корреляций при неизменной второй. Скажем для корреляции Спирмена равной 0.65, посмотрим на схожесть графов, с корреляцией Кендэла с порогом изменяющимся от 0 до 0.99 (с шагом 0.01) таким образом мы получим график изменения коэффициента в зависимости от порога корреляции Кендэла. Ниже приведены примеры графиков полученных для разных порогов корреляции Спирмена у разных наборов данных.

Рисунок 5

Рисунок 6

Рисунок 7

Рисунок 8

Форма графиков сохраняется и у других наборов данных, в целом даже общая форма сохраняется для каждого из порогов Спирмена.

Рисунок 9

Рисунок 10

Рисунок 11

Рисунок 12

По форме графиков, а надо заметить что они все ограничены сверху хоть и нельзя сказать наверняка, но хочется сказать что есть точка глобального экстремума и она находится на вернем «холме».

(Разбор одной конкретной точки графика) Для корреляции Спирмена есть определенное значение корреляции Кендэла, такое что получаемые сетевые структуры наиболее близки друг к другу.

У нас есть граф рынка построенный с порогом корреляции Спирмена, подбираем коэффициент корреляции Кендэла и смотрим насколько близкими друг другу получатся графы. То есть каждая точка, например, (82; 0.9044897959183673) на последнем графике это значит что взяв корреляцию Кендала равной 0.82 мы получим коэффициент схожести графов равный 0.9044897959183673

В таком случае давайте попробуем приблизится к точкам оптимума с помощью методов численной оптимизации

На первом шаге рассмотрим все возможные значения порога, разделим все множество допустимых значений на равные участки и выберем тот на котором значение целевой функции наивысшее (вычисляя целевую функцию используем формулу 3.2), этот участок мы снова делим на равные части, процедуру повторяем, пока нас не устроит приближение. Я буду пользоваться делением на 10 равных отрезков, это довольно удобно, чтобы дойти до нужного знака после запятой. (пойдем до второго для начала).

Таким образом мы получим оптимизированное значение с точностью до второго знака и становится интересно, насколько в принципе близки друг другу наши графы.

Ниже приведены диаграммы рассеяния схожести графа в паре с полученным оптимальным порогом полученные при оптимизации 100 различных наборов данных для 4 различных значений Корреляции Спирмена.

Рисунок 13

Рисунок 14

Рисунок 15

Рисунок 16

Что в целом дают нам эти наблюдения? Две довольно важные, хотя строго и не доказанные вещи. Первая - мера схожести в принципе не бывает почти никогда равной единице, то есть получается невозможно подобрать порог при котором получались бы идентичные сетевые структуры. Вторая - нет даже какого-то определенного значения, при котором можно сказать что графы будут наиболее схожие, то есть для разных наборов данных каждому порогу одной корреляции могут соответствовать разные пороги другой корреляции, при это именно при этих значениях сетевые структуры будут максимально схожими.

Теперь перейдем к рассмотрению отдельных сетевых структур. Рассмотрим клики получаемых графов. Повторим процедуру, которую мы уже проделывали на странице 19. Там мы получили график в котором при заданном пороге корреляции Спирмена по оси Х был порог корреляци Кендэла, а по оси Y степень близости графов определяемая формулой 3.2.

Теперь же по оси X будет так же порог корреляции Кендэла, порог корреляции Спирмена будет всё так же задан, а по оси Y будет степень близости графов определяемая значением формулы 3.1.

Рисунок 17

Рисунок 18

Рисунок 19

Рисунок 20

Что дают нам эти результаты? При высоком пороге Кендэла и Спирмена мы получаем очень близкие по размеру максимальные клики, то есть если рассматривать именно этот показатель как наиболее важный, то различие в сетевых структурах, порождаемое корреляциями Кендэла и Спирмена можно считать несущественными. Чтобы проверить эту гипотезу проверим ещё несколько тысяч измерений.

Получаем вот такую гистограмму плотности.

Рисунок 21

Из этого следует что в предыдущем пункте мы получили лишь один из возможных результатов. Полное совпадение размеров клик при больших порогах возможно, но не обязательно.

Выводы

Формулы связи между корреляцией Кендэла и корреляцией Спирмена справедливые для нормального закона не имеют аналогичной связи при переходе к эллиптическому закону.

Во-первых, во многих случаях изменение порогов вообще не ведет к полному совпадению сетевых структур.

Во-вторых, даже если зафиксировать один из порогов по корреляции, наибольшая близость сетевых структур достигается при разных значениях второго порога корреляции.

В-третьих, если сравнивать не целиком граф рынка, а скажем клики получаются разные максимальные клики.(разного размера)

Подытожим. Корреляции Спирмена и Кендэла дают различные сетевые структуры в предположении что случайные величины распределены по закону Стьюдента, который принадлежит классу эллиптических.

Список используемой литературы

1. А.Н. Визгунов НИУ ВШЭ, Нижегородский филиал, Нижний Новгород Б.И. Гольденгорин НИУ ВШЭ, Москва В.А. Замараев НИУ ВШЭ, Москва В.А. Калягин НИУ ВШЭ, Нижегородский филиал, Нижний Новгород А.П. Колданов НИУ ВШЭ, Нижегородский филиал, Нижний Новгород П.А. Колданов НИУ ВШЭ, Нижегородский филиал, Нижний Новгород П.М. Пардалос НИУ ВШЭ, Москва Применение рыночных графов к анализу фондового рынка России

2. ПРИМЕНЕНИЕ МОДЕЛИ ГРАФА ДОХОДНОСТЕЙ ДЛЯ АНАЛИЗА ФОНДОВОГО РЫНКА 2013 г. А.Н. Визгунов1 , Ю.В. Трифонов2

3. В.А. Калягин НИУ ВШЭ, Нижний Новгород А.П. Колданов НИУ ВШЭ, Нижний Новгород П.А. Колданов НИУ ВШЭ, Нижний Новгород П.М. Пардалос Университет Флориды, США Статистические процедуры идентификации сетевых структур фондовых рынков

4. Ordinal Measures of Association William H. Kruskal a a University of Chicago Published online: 12 Apr 2012.