Материал: Основы инженерного эксперимента. Солженикин П.А., Стогней В.Г
Ф/ bj = 0 0≤j≤ k (5.7) |
или ∑ |
[ (xi , b0 , b1 ,…, bj ,…, |
||
bk)- yi] |
f(xi)/ bj=0 |
|
|
|
0≤j≤ k |
|
f(xi)/ bj -∑ |
|
|
После преобразований получим |
|
|||
∑ |
[ (xi , b0 , b1 ,…, bj ,…, bk)- yi] |
i f(xi)/ |
||
(5.8)
Система уравнений (5.8) содержит столько же уравнений, сколько неизвестных коэффициентов b0, b1,..., bk входит в уравнение регрессии, и называется в математической статистике системой нормальных уравнений.
Поскольку Ф≥0 при любых b0, ..., bk, величина Ф обязательно должна иметь хотя бы один минимум. Поэтому если система нормальных уравнений имеет единственное решение, оно и является минимумом для этой величины.
Расчет регрессионных коэффициентов методом наименьших квадратов можно применять при любых статистических данных, распределенных по любому закону.
5.3. Определение тесноты связи между случайными величинами
Определив уравнение теоретической линии регрессии, необходимо дать количественную оценку тесноты связи между двумя рядами наблюдений. Линии регрессии, проведенные на рис. 5.1, б, в, одинаковы, однако на рис. 5.1, б точки значительно ближе (теснее) расположены к линии регрессии, чем на рис. 5.1, в.
При корреляционном анализе предполагается, что факторы и отклики носят случайный характер и подчиняются нормальному закону распределения.
110
Тесноту связи между случайными величинами характеризуют корреляционным отношением ρxy. Остановимся подробнее на физическом смысле данного показателя. Для этого введем новые понятия.
Остаточная дисперсия S²y ост характеризует разброс экспериментально наблюдаемых точек относительно линии регрессии и представляет собой показатель ошибки предсказания параметра y по уравнению регрессии (рис. 5.6):
S²y ост= |
|
∑ [ i-ỹi]² = |
|
∑ [ i-f( xi , b0 , b1 ,…, bk)]² . (5.9) |
|
|
Где l=k+1- число коэффициентов уравнения модели
Рис. 5.6. К определению дисперсий
Общая дисперсия (дисперсия выходного параметра) S2y характеризует разброс экспериментально наблюдаемых точек
относительно среднего |
|
значения y , |
т.е. линии С |
|||||||
(см. рис. 5.6): S2y = |
|
∑ |
[ i- |
|
]², где |
|
||||
|
y |
|
||||||||
|
|
|||||||||
|
|
|
y |
= |
|
|
∑ |
I . |
(5.10) |
|
|
|
|
|
|
||||||
111
Средний квадрат отклонения линии регрессии от среднего значения линии y =C (см. рис. 5.6)
S*2y= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i- уi |
]² = |
|
|
|
i-f( xi , b0 , b1 ,…, bk) – yi ].(5.11) |
||||||||
|
|
|
|
|
|
|||||||||||
Очевидно, |
что |
общая |
дисперсия |
S |
2 |
|
|
|||||||||
(сумма квадратов |
||||||||||||||||
|
|
∑ |
[ |
|
|
|
|
|
∑ |
[ |
|
|
||||
y
относительно среднего значения y ) равна остаточной дисперсии (сумме квадратов относительно линии регрессии) плюс средний квадрат отклонения линии регрессии S²y ост S*2y (сумма квадратов, обусловленная регрессией).
|
S2y= S²y ост + S*2y . |
|
(5.11a) |
Разброс |
экспериментально |
наблюдаемых |
точек |
относительно линии регрессии характеризуется безразмерной величиной – выборочным корреляционным отношением, которое определяет долю, которую привносит величина Х в общую изменчивость случайной величины Y.
ρ*yx= |
² ² ост |
= |
² |
= |
² |
. |
(5.12) |
|
² |
|
² |
|
|
|
|
Проанализируем свойства этого показателя.
1. В том случае, когда связь является не стохастической, а функциональной, корреляционное отношение равно 1, так как все точки корреляционного поля оказываются на линии регрессии, остаточная дисперсия равна S²y ост= 0, а S*2y= S2y
(рис. 5.7, а).
2. Равенство нулю корреляционного отношения указывает на отсутствие какой-либо тесноты связи между величинами x и y для данного уравнения регрессии, поскольку разброс
112
экспериментальных точек относительно среднего значения и линии регрессии одинаков, т.е. S2y = S²y ост (рис. 5.7, б).
Рис. 5.7. Значения выборочного корреляционного отношения ρxy:
а– функциональная связь; б – отсутствие связи
3.Чем ближе расположены экспериментальные данные к линии регрессии, тем теснее связь, тем меньше остаточная дисперсия и тем больше корреляционное отношение.
Следовательно, корреляционное отношение может изменяться в пределах от 0 до 1.
Учитывая, что для компьютеров имеются пакеты программ для статистической обработки результатов исследований, рассмотрим методологию этого подхода на примере
простейших линейных и одномерных задач (см. уравнение (5.5)). Идеология решения более сложных задач принципиально не отличается. Более того, как мы увидим в дальнейшем, многие нелинейные зависимости можно свести к линейным.
113
5.4. Линейная регрессия от одного фактора
Уравнение линии регрессии на плоскости в декартовых координатах имеет вид выражения (5.5).
Задачу метода наименьших квадратов аналитически можно
выразить следующим образом: |
|
Ф(b0, b1) =∑ [ i-( b0+ b1xi)]²→ min b0 ,b1. |
(5.13) |
Для решения этой задачи, как известно из математического анализа, необходимо вычислить частные производные функции Ф по коэффициентам b0, b1 и приравнять их нулю:
Ф( |
) |
=0 ; |
|
|
|
|
|
|
|
|
|
(5.14) |
||||
Ф( ) |
=0 . |
|
|
|
|
|
|
|
|
|
|
|
||||
видСистема |
нормальных уравнений (4.8) в этом случае примет |
|||||||||||||||
∑[ |
−( |
|
|
|
+ |
)] = 0; |
+ |
|
∑ |
= ∑ |
; |
|
(5.15) |
|||
∑[ −( + |
)] = 0; ∑ + ∑ = ∑ . |
|
|
|||||||||||||
Решение этой системы относительно b0 |
и b1 дает |
|
|
|
||||||||||||
= |
∑ |
|
|
|
∑ |
− ∑ |
|
∑ |
|
; |
|
(5.16) |
||||
∑ |
|
|
|
∑ |
−∑− (∑∑ |
|
) |
|
|
|
||||||
= |
|
|
∑ |
−(∑ |
) |
− |
) |
|
|
|
|
|
||||
|
|
|
|
|
|
∑ ( |
− |
)( |
|
|
|
|
|
|||
|
|
|
|
|
= |
∑ |
( |
− |
) |
|
, |
|
|
(5.16 |
) |
|
т.е. для расчета b0 |
и b1 необходимо определить |
; |
|
; |
||||||||||||
∑ |
∑( |
)² |
|
|
|
|
|
|
|
уравнения |
||||||
Коэффициент b0 (свободный член∑ |
|
∑ |
|
|||||||||||||
регрессии) геометрически представляет собой расстояние от
114