Нижний Новгород 2020 год
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ
ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ
«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»
Факультет информатики, математики и компьютерных наук
Направление подготовки 01.04.02 Прикладная математика и информатика Магистерская программа «Интеллектуальный анализ данных»
ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА
Процедуры идентификации сетевых структур, основанные на коэффициентах корреляции Кендалла и Спирмена
Клыков Вячеслав Алексеевич
Рецензент
д-р технических наук, проф.
В.А. Калягин
Научный руководитель:
д-р технических наук, проф.
А.П. Колданов
Оглавление
Введение
Корреляции
Корреляция Пирсона
Корреляции Фехнера, Краскала
Корреляция Кендэла
Корреляция Спирмена
Формулы Связи корреляций при предположении о законе распределения
Сравнения корреляций
Выводы
Список используемой литературы
Приложения
рынок фондовый корреляция спирмен
Введение
Фондовый рынок - площадка для покупки и продажи ценных бумаг различной стоимости и ценности. Возможности заработка на этой торговой площадке определяется по большей части понимаем и предвидением поведения активов. Знание природы взаимосвязи между акциями является ключевым фактором для заработка, потому что таким образом можно определить неочевидные закономерности рынка. Как и в любой другой сфере преимущество в информации вполне может стать решающим.
Одним из вопросов, являющимся в некотором роде классическим - является поиск связей между активами. Определить связные друг с другом прямой и обратной связью активы - значит понять природу изменений рынка. Для поиска и определения таких связей существуют сетевые модели.
Сетевая модель - это полный взвешенный граф, вершины которого соответствуют определенным активам, а веса ребер задаются в зависимости от связи между активами. В данной работе мы будем рассматривать доходности активов, подразумевая что они (доходности) являются случайными величинами. Именно доходности мы будем рассматривать как характеристику активов. Именно такой подход был предложен Марковицем (Markowitz, 1952).
Сетевая модель определяется правилами построения ребер между вершинами графа. Эти правила, говоря простым языком, могут быть охарактеризованы «Как связаны между собой две случайные величины». Если мы получаем высокий показатель связи из каких- либо соображений, то есть показатель превышающий определенную величину, то между вершинами проводится ребро.
Граф рынка строится следующим образом: ?ij - мера зависимости между величинами i и j. Ребро между вершинами i и j входит в граф рынка, если , ?ij > , ?0 где ?0 - некоторый заданный порог. Граф рынка иллюстрирует значимые на уровне ?o связи рыночных активов. Для конкретного значения порога ?0 граф рынка определяется матрицей смежности S = (sij), где
В целях исследования как правило интересны не только общая структура графов но и отдельные структуры, например клики, независимые множества.
Независимые множества в сетевой модели крайне интересны с точки зрения составления инвестиционного портфеля, поскольку именно независимость активов друг от друга крайне интересна для этой цели.
Клики же дают понимание какие компании имеют схожую манеру поведения и одинокого реагируют на стрессы. Так же клики могут дать неплохое понимание о структуре самого рынка, например в работе (Визгунов и др., 2012) в ходе анализа сетевой структуры графа рынка для российских активов была найдена максимальная по размеру клика, она состояла из нескольких компаний, однако на эти активы приходилось 97% активов рынка.
В большинстве работ(публикаций и статей которые я смог найти и просмотреть) мерой связи между величинами выбирают корреляцию Пирсона такие как (2013 Визгунов ,Трифонов) или (2012 Визгунов, Гольденгорин, Калягин, Колданов, Колданов, Пардалос) - они же первые по поисковой системе по запросу «Граф рынка»
Однако кроме этой меры есть чуть менее распространенные корреляции Спирмана, Фехнера и Кендэла.
Довольно простой вопрос возникает - какая мера связи лучше, нагляднее, точнее, описывает связь между активами фондового рынка, именно этот вопрос ложится в основу моей работы. Стоит заметить, что сравнить меры задача довольно абстрактная, поскольку понятие «лучшая» формируется исходя из поставленной задачи.
В работе материал будет изложен в следующем порядке:
Сначала мы рассмотрим все виды корреляций и, далее из предположения что распределение нормальное мы посмотрим, как связаны рассматриваемые меры корреляций, далее мы рассмотрим связи корреляций из предположения, что распределение эллиптическое, после чего мы постараемся проанализировать связь между корреляциями.
Корреляции.
Корреляция Пирсона.
Самая распространенная мера связи между случайными величинами - это корреляция Пирсона, разработанная Карлом Пирсоном в конце 19го века.
(В дальнейшем будем предполагать, что случайные величины X и Y описывают доходности, либо логарифмические доходности активов)
Для дискретных величин X и Y он выражается как
В нашем случае мы будем пользоваться оценками и вычислять мы её будем по следующей формуле:
Где
Его значения изменяются от -1 до 1. В целом этот коэффициент дает какое-то понимание о связи между случайными величинами, многие работы (такие как…) используют именно этот коэффициент для построения графа рынка. Но есть и проблема, довольно простая, но едва ли разрешимая, доподлинно связь величин мы можем установить только при двух значения, (1 и -1, соответствующим прямой и обратной линейной зависимости) во всех остальных случаях коэффициент может лишь отвергнуть гипотезу о линейной зависимости величин. В общем случае не возможно однозначно сказать, что означает связь между коэффициент корреляции Пирсона равный например 0.67, ровно как связь между величинами может оказаться не пропорциональна коэффициенту корреляции и, например, две величины связанные нетривиальной функциональной зависимостью могут иметь меньший коэффициент чем две несвязные величины.
Корреляция Фехнера и Краскала (корреляция знаков)
Эта мера связи случайных величин основывается на вероятности отклонения значений наблюдаемых случайных величин от их математических ожиданий
Мы же будем вычислять линейно связанную с ней величину как
Где:
Если мы обозначим как С - число пар у которых знак отклонения совпадает в паре измерений а Н - число пар у которых знак отклонения не совпадает, то коэффициент корреляции Фехнера будет выражаться как
2(сf)-1
Несложно понять что изменяется эта величина от -1 до 1.
Эта величина более понятна, в том ключе, когда нужно ответить на вопрос «Что означает значение этого коэффициента 0.67»(или любое другой константе). По сути эта величина показывает нам вероятность совпадения знаков, случайных величин X и Y.
Но в данном случае не учитывается величина этого отклонения, что делает результаты сравнения таким образом не слишком репрезентативными.
Далее мы рассмотрим ранговые коэффициенты корреляции. Принципиален здесь тот факт, что далее корреляция будет использовать упорядочивание пар измерений а не работать с их фактическими величинами.
И не уходя далеко от корреляции Фехнера, введем ещё корреляцию Краскала. По сути эти две корреляции очень схожи
Только в данном случае упорядочивания одной из величин и присваивания рангов.
С - количество пар в которых ранг величины X выше ранга величины ранга Y.
Н - Количество пар в которых ранг величины Y выше ранга величины ранга X
В таком случае интерпретация становится следующей.
Корреляция Кендэла.
Основную формулу позаимствуем вместе с обозначениями из статьи (Кендэла 1958г)
Для любых двух независимых пар измерений
Для расчета корреляции Кендэла упорядочим пары случайных величин по возрастанию величины Х.
Тогда значение корреляции(сk) мы будем вычислить как:
Где
S = P-Q
S - Сумма числа наблюдений которые в упорядочивании после данного значения ранга Y будет больше значения ранга X
Q - Сумма числа наблюдений которые в упорядочивании после данного значения ранга X будет больше значения ранга Y
n - Число наблюдений.
Значения корреляции изменяются от -1 до +1
Разберем пример построения такой корреляции.
Возьмем две случайные величины X и Y, которые принимали следующие значения:
|
X |
Y |
|
|
2 |
10 |
|
|
12 |
22 |
|
|
4 |
34 |
|
|
5 |
1 |
|
|
4 |
2 |
|
|
3 |
3 |
Присвоим им ранги, то есть их номера по возрастанию и упорядочим все пары по возрастанию X
|
X |
Y |
ранг X |
ранг Y |
|
|
2 |
10 |
1 |
4 |
|
|
3 |
3 |
2 |
3 |
|
|
4 |
34 |
3 |
6 |
|
|
5 |
1 |
4 |
1 |
|
|
6 |
2 |
5 |
2 |
|
|
12 |
22 |
6 |
5 |
А теперь для каждого ранга Y посчитаем количество рангов ниже по списку превосходящих и не превосходящих
|
X |
Y |
ранг X |
ранг Y |
Больше(P) |
Меньше(Q) |
|
|
2 |
10 |
1 |
4 |
2 |
3 |
|
|
3 |
3 |
2 |
3 |
2 |
2 |
|
|
4 |
34 |
3 |
6 |
0 |
3 |
|
|
5 |
1 |
4 |
1 |
2 |
0 |
|
|
6 |
2 |
5 |
2 |
0 |
1 |
|
|
12 |
22 |
6 |
5 |
0 |
0 |
|
|
Всего: |
6 |
9 |
Подставляем в формулу и получаем, что корреляция Кендэла получается равной -0.2.
Эта мера плоха тем, что она учитывает только порядок значений и не учитывает числовую разность между измерениями. Так же как и корреляция Пирсона, корреляция Кендэла не может объяснить что означает определенное значение. Но можно добавить некоторую аналогию, которую сам Кендэл пишет в своей книге (Кендэл Ранговые Корреляции перевод 1975г)
Рассмотрим пары величин такие, что после присвоения рангов у каждой случайной величины ранги выстраиваются упорядоченными по возрастанию. Теперь чтобы получить другой порядок рангов будем брать ранги Y и менять местами пару рангов. Опускаем доказательства (они описаны в книге Кендела) но любой порядок рангов можно получить путем таких перестановок, и для каждой комбинации существует минимальное число перестановок, которое имеет вот такую связь с формулой самой корреляции:
Что это нам дает? - дает понимание что с точностью до знаменателя можно сказать что функционально понижение коэффициента корреляции означает «испорченность» последовательностей. Это дает некоторое понимание, что означает конкретное значение корреляции Кендэла.
Корреляция Спирмана.
Основную формулу позаимствуем вместе с обозначениями из статьи (Кендэла 1958г)
Три независимые пары измерений
Однако для вычислений мы будем пользоваться следующим:
Снова присвоим ранги нашим наблюдениям, и теперь у каждой пары вычислим разность рангов (d) далее по следующей формуле мы получим коэффициент корреляции Спирмана(сs):
Где:
n - Число наблюдений.
S(d2) - сумма квадратов разностей рангов.
Изменяется она как и все остальные корреляции от -1 до 1.
Приведем пример
|
X |
Y |
ранг X |
ранг Y |
d2 |
|
|
2 |
10 |
1 |
4 |
9 |
|
|
3 |
3 |
2 |
3 |
1 |
|
|
4 |
34 |
3 |
6 |
9 |
|
|
5 |
1 |
4 |
1 |
9 |
|
|
6 |
2 |
5 |
2 |
9 |
|
|
12 |
22 |
6 |
5 |
1 |
|
|
S(d2) |
38 |
В этом случае корреляция Спирмена будет равна
Здесь мы подобно корреляции Кендэла можем рассмотреть значение корреляцию как функцию от количества перестановок, но в данном случае мы имеем не просто перестановки а простановки с весами, где большим разностям рангов присваиваются большие веса. В некотором роде это затрудняет ответ на вопрос что же означает конкретное значение коэффициента корреляции.