Результаты реализаций оформляются в виде таблицы. xi x1 x2 … xm
yi y1 y2 … ym
4. Наибольшее распространение для решения этой задачи получил метод наименьших квадратов (МНК).
Согласно МНК наилучшей функцией приближения (уравнением регрессии) будет такая, для которой сумма квадратов отклонений
|
n |
(a0 a1xi ... amxim ) yi 2 |
|
|
S(a0 ,a1,...,an ) |
||
|
i 1 |
|
(3.3) |
будет минимальной. |
|
||
|
|
||
Выбор функции “близости“ в виде (3.3) обеспечивает |
|||
несмещенные и |
состоятельные |
оценки |
параметрам |
a0 ,a1,...,an когда |
случайные величины X и Y |
подчинены |
|
нормальному закону распределения .
5. использование нескольких условий существования экстремума функции нескольких переменных, определяет так называемую систему уравнений для отыскивания параметров
S/ |
0, |
S/ |
0, ..., |
S/ |
0. |
(3.4) |
|
a0 |
a0 |
am |
|||||
|
|
|
|
или в развернутом виде
|
n |
n |
|
n |
n |
|
a0 a1 xi a2 xi2 |
... am xim yi |
|||||
|
i 1 |
i 1 |
|
i 1 |
i 1 |
|
n |
n |
a2 |
n |
n |
|
n |
a0 xi |
a1 xi2 |
xi3 |
... am xim |
xiyi |
||
i 1 |
i 1 |
|
i 1 |
i 1 |
|
i 1 |
(3.5)
.......................................................................................
n |
|
n |
|
n |
|
n |
|
n |
|
|
m |
m 1 |
m 2 |
m m |
m |
|
|||||
a0 xi |
a1 xi |
a2 xi |
... am xi |
xi yi |
||||||
i 1 |
|
i 1 |
|
i 1 |
|
i 1 |
|
i 1 |
|
|
Решение одним из методов (например по правилу
Крамера) |
системы |
(3.5) |
относительно |
параметров |
ai (0 i m) дает искомые |
оценки, и, |
следовательно, |
||
определяет аналитический вид функции (3.2). |
|
|||
|
|
|
14 |
|
6. Если уравнение регрессии линейно т.е.
Y a0 ax X
то его адекватность проверяется при помощи коэффициента корреляции, оценка которого
|
|
~ |
|
|
|
|
|
|
~rxy |
kxy |
|
|
|
|
|
|
~ ~ |
|
|
|
|
||
|
|
x y |
|
|
|
|
|
|
~ |
|
n |
~ |
)(yi |
~ |
) |
где |
|
(xi mx |
my |
||||
kxy |
|
i 1 |
|
|
|
|
|
|
n 1 |
|
|
||||
|
|
|
|
|
|
||
(3.6)
- оценка корреляционного
момента
x, y – оценки среднеквадратичных отклонений случайных величин X, Y соответственно.
Чем ближе коэффициент корреляции приближается к +1 или –1, тем сильнее линейная связь и, следовательно, точнее регрессионное уравнение описывает заданную статистику.
7. Если уравнение регрессии нелинейно, то его адекватность проверяется корреляционным отношением, оценка которого
~
y
x
n
( yi Yi )2
|
1 |
i 1 |
|
|
|
(3.7) |
n |
~ |
) |
2 |
|||
|
|
(yi my |
|
|
||
|
|
i 1 |
|
|
|
|
Yi – значение величины Y, полученное по уравнению регрессии в точке xi
Чем ближе корреляционное отношение к 1, тем теснее связь, точнее регрессионное уравнение описывает заданную статистику.
8. Значимость коэффициента корреляции проверяется по t - критерию Стьюдента
~ |
|
|
|
|
|
|
|
n 2 |
|
|
|||
|
r |
|
|
|
||
tp |
xy |
|
|
|
(3.8) |
|
|
|
|
|
|
||
~2 |
|
|||||
|
|
1 rxy |
|
|
||
с = n - 2 степенями свободы. Если вычисленная по формуле (3.8) величина по модулю меньше, чем в
15
статистической табл. tкр( , q), то полагают, что теоретический коэффициент корреляции равен нулю, т.е. ~rxy не значим, в
противном случае ~rxy значим, и его надо учитывать.
9. Значимость корреляционного отношения проверяется по критерию Фишера
|
n (m 1) |
~2 |
|
|
|
|
|
F |
|
yx |
|
|
|
(3.9) |
|
m |
1 2 |
|
|
||||
p |
|
|
|
||||
|
|
|
yx |
|
|
|
|
(m –1 – число параметров в уравнении регрессии) с |
|||||||
числами степеней свободы 1 = |
m и 2 = n – (m+1). Если |
||||||
вычисленная |
по формуле (3.9) |
величина Fp |
больше |
чем |
|||
выбранная из |
статистической таблицы Fкр( 1, |
2, q), то |
~ |
||||
yx |
|||||||
значим и его надо учитывать.
10.1Выбрать вид регрессионного уравнения
10.2Исследуя таблицу исходных данных, составить систему нормальных уравнений вида (3.5)
10.3Решить систему нормальных уравнений относительно параметров a0 ,a1,...,am
Записать аналитический вид регрессионного уравнения. Вычислить оценки коэффициента корреляции или
корреляционного отношения.
Проверить значимость полученных оценок.
Построить на графике теоретическую кривую и отложить значения таблицы (для наглядности).
Сделать выводы и оформить работу.
11. Пример. Вычислить параболическую регрессию Y на X для данных, сведенных в таблицу.
Xi |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
Yi |
1.33 |
2.57 |
4.17 |
5.0 |
5.33 |
6.50 |
6.0 |
C доверительной вероятностью = 0.95 проверить ее адекватность.
11.1. По условию задачи уравнение регрессии надо выбирать в виде
y a |
0 |
a X a |
2 |
X 2 |
(3.10) |
|
1 |
|
|
||
|
|
|
|
|
16 |
II.2. Составим систему нормальных уравнений вида
(3.5) при m = 2; n = 7.
|
|
|
|
7 |
|
|
7 2 |
|
|
n |
|
|
|
|
|
|
|
|
|
7a0 a1 xi a2 xi |
|
yi |
|
|
|
|
|
||||||||
|
|
|
|
i 1 |
|
|
i 1 |
|
i 1 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
7 |
|
7 |
2 |
7 |
|
3 |
n |
|
|
|
(3.11) |
||||
|
|
a0 xi |
a1 xi |
a2 xi |
xiyi |
|
|||||||||||
|
|
i 1 |
|
i 1 |
|
|
i 1 |
|
i 1 |
|
|
|
|
|
|
||
|
|
7 |
2 |
7 |
3 |
7 |
|
4 |
n |
2 |
|
|
|
|
|
||
|
|
a0 xi |
a1 xi |
a2 xi |
xi yi |
|
|
|
|
||||||||
|
|
i 1 |
|
i 1 |
|
|
i 1 |
|
i 1 |
|
|
|
|
|
|
||
|
Для вычисления коэффициентов при a0, |
a1, a2 составим |
|||||||||||||||
вспомогательную таблицу |
|
|
|
|
|
|
|
|
|
||||||||
|
N |
xi |
|
yi |
|
|
X2i |
|
X3i |
|
X4i |
XiYi |
|
X2iYi |
|
||
|
1 |
1 |
|
1.33 |
|
|
1 |
|
1 |
|
|
1 |
|
1.33 |
|
1.33 |
|
|
2 |
2 |
|
2.57 |
|
|
4 |
|
8 |
|
|
16 |
5.14 |
|
10.28 |
|
|
|
3 |
3 |
|
4.17 |
|
|
9 |
|
27 |
|
81 |
12.51 |
|
37.53 |
|
||
|
4 |
4 |
|
5.0 |
|
|
16 |
|
64 |
|
256 |
20.0 |
|
80 |
|
||
|
5 |
5 |
|
5.33 |
|
|
25 |
|
125 |
|
625 |
26.65 |
|
133.25 |
|
||
|
6 |
6 |
|
5.50 |
|
|
36 |
|
216 |
|
1296 |
33 |
|
198.00 |
|
||
|
7 |
7 |
|
6.0 |
|
|
49 |
|
343 |
|
24.01 |
42 |
|
294 |
|
||
|
|
28 |
|
29.90 |
|
|
140 |
|
784 |
|
4676 |
140.63 |
|
764.39 |
|
||
|
Тогда систему нормальных уравнений можно записать |
||||||||||||||||
так |
|
|
|
|
|
|
|
|
29.9 |
|
|
|
|
|
|||
|
|
7a0 28a1 140a2 |
|
|
|
|
|
|
|||||||||
|
|
28a0 140a1 784a2 |
140.63 |
|
|
(3.12) |
|||||||||||
|
|
|
|
||||||||||||||
|
|
140a0 784a1 |
4676a2 |
|
|
|
|
|
|
|
|
|
|||||
|
|
764.39 |
|
|
|
|
|||||||||||
для решения этой системы сначала разделим числовые коэффициенты каждого уравнения на коэффициенты при a0 ,получим
a0 4a1 20a a0 5a1 28a
2
2
4.
5.
|
a0 |
4.6a1 |
33.4a2 |
5.4 |
(3.13) |
||||
решаем систему по правилу Крамера |
|
||||||||
|
|
|
1 |
4 |
20 |
|
= 0,б |
|
|
|
|
|
|
|
|||||
|
|
|
1 |
5 |
28 |
|
|
||
|
|
|
1 |
3,5 |
33,4 |
|
|
|
|
|
|
|
|
|
|
|
|
17 |
|
|
|
|
4,27 |
4 |
20 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
a0 |
5,07 |
5 |
28 |
|
|
0,64 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
5,46 |
4,6 33,4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
1 4,27 |
20 |
|
= |
0,53 |
|
|
|
|
|
|
1 |
4 |
4,7 |
|
= - |
|||||
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
a1 |
|
|
1 5,02 |
26 |
|
|
a2 |
|
|
1 |
5 |
5,2 |
|
||||||||||||
|
|
|
|
|
1 5,46 |
33,4 |
|
|
|
|
|
|
|
|
|
|
|
1 |
5,6 5,46 |
|
|
||||
0,017 |
|
|
|
0.54 |
|
|
|
|
|
|
0.53 |
|
|
|
|
|
|
|
0.01 |
|
|
|
|||
a |
|
|
1.07 ;a |
|
0.88; |
a |
|
|
0.017 |
||||||||||||||||
|
|
|
|
|
|
|
|||||||||||||||||||
|
0 |
0.5 |
|
1 |
0.5 |
|
|
2 |
|
0.5 |
|
|
|
||||||||||||
11.3.Уравнением регрессии будет
Y = 1.07 + 00.88X - 0.017X2
11.4.Так как уравнение регрессии нелинейно, то будем вычислять корреляционное отношение по формуле (3.7)
7
|
|
|
~ |
|
|
y |
i |
|
|
29.4 |
|
|
|
|
|
|
|||||
|
|
|
|
|
i 1 |
|
|
|
|
|
|
|
|
||||||||
|
Найдем m |
|
|
|
|
|
|
|
|
4.27 |
|
|
|
||||||||
7 |
|
|
7 |
|
|
|
|||||||||||||||
|
Для удобства опять воспользуемся таблицей |
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
N |
|
|
Yi |
|
y |
|
|
|
|
yi-Yi |
~ |
(yi-Yi) |
(y ~ |
2 |
||||||
|
|
|
|
|
|
|
|
yi-m |
) |
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i- my |
|
|
1 |
|
1.33 |
|
1.93 |
|
|
-0.6 |
-2.94 |
0.36 |
8.64 |
|
|||||||||
|
2 |
|
2.57 |
|
2.76 |
|
|
-0.19 |
-1.7 |
0.036 |
2.89 |
|
|||||||||
|
3 |
|
4.17 |
|
3.56 |
|
|
0.61 |
-0.1 |
0.372 |
0.01 |
|
|||||||||
|
4 |
|
5. |
|
|
4.32 |
|
|
0.68 |
0.73 |
0.462 |
0.583 |
|
||||||||
|
5 |
|
5.33 |
|
5.05 |
|
|
0.28 |
1.06 |
0.078 |
1.124 |
|
|||||||||
|
6 |
|
5.5 |
|
5.74 |
|
|
-0.24 |
1.23 |
0.058 |
1.513 |
|
|||||||||
|
7 |
|
6.0 |
|
6.39 |
|
|
-0.39 |
1.73 |
0.152 |
2.99 |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1.518 |
17.7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
~ |
|
1.518 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
1 0.08576 0.95 |
|
|
||||||||||||
y |
|
1 |
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
||||||||||||||||
|
x |
|
17.7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Величина корреляционного отношения близка к 3.1. 11.5. Проверим значимость полученного
18