Материал: Статистическая значимость в парной линейной регрессии

.        Условие Величины e_i взаимно независимы со всеми значениями объясняющих переменных x_i. Обычно считают, что объясняющие переменные являются неслучайными величинами.

Здесь, во всех условиях i=1,2,…,n.

Эти предпосылки образуют первую группу предпосылок, необходимых для проведения регрессионного анализа в рамках классической модели.

Вторая группа предпосылок дает достаточные условия для обоснованного проведения проверки статистической значимости эмпирических регрессий:

.        Условие Совместное распределение случайных величин e_{1, …,} e_n является нормальным.

При выполнении предпосылок первой и второй групп случайные величины e_{1, …,} e_n оказываются взаимно независимыми, одинаково распределенными случайными величинами, подчиняющимися нормальному распределению с нулевым математическим ожиданием и дисперсией s². Модель (1.9), удовлетворяющая приведенным выше условиям, называется классической нормальной линейной моделью парной регрессии.

Возможно использование теоремы Гаусса-Маркова если регрессионная модель , удовлетворяет условиям, то оценки МНК a и b, (1.3) имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.

Заметим, что после построения уравнения выборочной регрессии, наблюдаемые значения y_i можно представить в виде

_i=`y<sub>i</sub>+e<sub>i</sub>, i=`1,n, (1.1.7)

где i=1,n, коэффициенты a и b, определяются по формуле (1.3). Остатки e_i, являются, в отличие от возмущений e_i, наблюдаемыми величинами, с помощью которых можно оценить воздействие неучтенных факторов и ошибок наблюдений. Говорят, что e_i является выборочной оценкой возмущения e_i.

Можно показать, что статистика (выборочная остаточная дисперсия), определяемая с помощью остатков e_i (см. (6)):

(1.1.8)

является несмещенной оценкой дисперсии s² - дисперсии возмущений (теоретической остаточной дисперсии).

При выполнении условий Гаусса-Маркова первой и второй групп справедливы утверждения:

Утверждение 1. Статистика распределена по закону Стьюдента с n-2 степенями свободы, здесь:

, (1.1.9)

представляет собой стандартную ошибку коэффициента a,

- выборочная дисперсия.

Утверждение 2. Статистика распределена по закону Стьюдента с n-2 степенями свободы, здесь:

, (1.1.10)

представляет собой стандартную ошибку коэффициента b,

- выборочная дисперсия.

Утверждение 3. Если y и x некоррелированы, то статистика:

(1.1.11)

распределена по закону Стьюдента с n-2 степенями свободы. Здесь r (x,y) - теоретический коэффициент парной корреляции, r_xy- выборочный коэффициент парной корреляции:

, (1.1.12)

где , - выборочные дисперсии x и y соответственно, Cov(x,y)- выборочная ковариация между x и y.

1.2 Показатели качества регрессии

Коэффициент детерминации является одной из наиболее эффективных оценок адекватности регрессионной модели, т. е. мерой качества уравнения регрессии (соответствия регрессионной модели эмпирическим данным).

После построения выборочного уравнения регрессии, как уже указывалось выше, значение зависимой переменной y в каждом наблюдении можно разложить на две составляющие:

_i=`y<sub>i</sub>+e<sub>i</sub>, i=`1,n,

здесь остаток e_i представляет собой ту часть зависимой переменной y, которую невозможно «объяснить» с помощью выборочной регрессии. Можно показать, что выборочная дисперсия наблюдений y_i может быть представлена в виде суммы:

, (1.2.1)

в которой первое слагаемое представляет собой часть, «объясненную» регрессионным уравнением (или обусловленную регрессией), а второе слагаемое - «необъясненную» часть, характеризующую влияние неучтенных факторов и т. п. Необходимо заметить, что такое разложение справедливо только в том случае, когда в уравнение регрессии включена константа a, при этом

.

Разложение (1.2.1) часто записываю в следующем виде:

, (1.2.2)

где представляет собой общую сумму квадратов отклонений зависимой переменной от средней, есть сумма квадратов отклонений, обусловленная регрессией, а - остаточная сумма квадратов.

Коэффициент детерминации определяется по формуле:

. (1.2.3)

Величина R², как видно из формул (1) и (3), представляет собой часть (долю) вариации (разброса, дисперсии) зависимой переменной, обусловленную («объясненную») уравнением регрессии (иногда говорят - обусловленную вариацией объясняющей переменной).

Свойства коэффициента детерминации:

Свойство 1. 0 £R²£ 1;

Свойство 2. Чем ближе R² к единице, тем лучше регрессия аппроксимирует эмпирические данные, т. е. эмпирические наблюдения ближе к линии выборочной регрессии. Если R²,=1 то между x и y есть линейная функциональная зависимость, в этом случае все эмпирические точки наблюдений лежат на прямой регрессии;

Заметим, что коэффициент детерминации R² имеет смысл рассматривать только при наличии свободного члена в уравнении регрессии, так как лишь в этом случае справедливо равенство (1.2.1).

Оценка качества соответствия выборочного равнения регрессии наблюдаемым данным может производиться и с помощью средней ошибки аппроксимации регрессии по формуле:

. (1.2.4)

Как указывают некоторые авторы, в практических исследованиях значение этой ошибки в пределах 5-7 % свидетельствует о хорошем соответствии модели эмпирическим данным.

Коэффициент регрессии b, как уже отмечалось выше, показывает, на сколько единиц в среднем изменяется значение показателя y, когда фактор x увеличивается на одну единицу, поэтому он также может служить мерой тесноты связи между x и y. Однако b зависит от единиц измерения переменных. Именно поэтому удобно использовать некоторую «стандартную» систему единиц измерения тесноты связи, в которой различные данные были бы сравнимы между собой. В качестве единиц измерения такой системы используется среднее квадратическое отклонение переменных, а показателем тесноты связи служит коэффициент корреляции.

Действительно, используя понятия выборочных дисперсий, ковариации и корреляции, оценки МНК можно записать специальным образом:

, ,(1.2.5)

где ,  - выборочные средние, , - выборочные дисперсии, r_xy - выборочный коэффициент корреляции (см. (1.2.5)).

Следовательно, парная эмпирическая линейная регрессия может быть записана в виде:

. (1.2.6)

Таким образом, величина

(1.2.7)

показывает, на сколько величин Sy изменится (в среднем) y, если x увеличится на одно s_x, поэтому выборочный коэффициент корреляции r_xy также является показателем тесноты связи (более точно - характеризует тесноту линейной зависимости) между переменными.

Выборочный коэффициент корреляции является безразмерной величиной и обладает следующими свойствами:

Свойство 1. -1£ r_xy £1;

Свойство 2. При r_xy = ± 1 корреляционная зависимость представляет собой линейную функциональную зависимость (все наблюдаемые значения располагаются на прямой линии регрессии);

Свойство 3. При r_xy = 0 линейная корреляционная связь отсутствует (линия регрессии параллельна оси Ox).

Заметим, что выборочный коэффициент корреляции r_xy полностью оценивает тесноту связи только в случае совместного нормального распределения случайных величин x и y, в других случаях выборочный коэффициент корреляции является оценкой меры только линейной зависимости.

Практически наиболее удобна следующая формула вычисления r_xy (которая непосредственно может быть получена из определения):

(1.2.8)

В случае парной линейной регрессии между коэффициентом детерминации R²и коэффициентом корреляции r_xy существует следующая связь:

² = r²_xy^. (1.2.9)

2. Проверка статистической значимости в парной линейной регрессии

Проверка значимости (статистической) уравнения регрессии означает проверку соответствия модели, выражающей зависимость между переменными, экспериментальным данным, а также проверку достаточности включенных в уравнение объясняющих переменных для описания зависимой переменной.

Правило проверки статистической значимости оценок a и b основывается на статистических свойствах оценок МНК и проверке статистических гипотез H₀: a=0, H₁: a¹0 и H₀: b=0, H₁: b¹0. Невозможность отклонения нулевой гипотезы означает статистическую незначимость соответствующего коэффициента и наоборот, отклонение нулевой гипотезы по сравнению с альтернативной означает, что соответствующий коэффициент статистически значим.

Как всегда, проверка статистических гипотез осуществляется при некотором уровне значимости. В практических эконометрических исследованиях наиболее часто используются 5 и 1 %-ный уровни значимости. Выбор того или иного уровня значимости определяется исследователем.

Напомним, что если нулевая гипотеза отклоняется при 1 %-ном уровне значимости, то она автоматически отклоняется и при 5 %-ном уровне.

Если нулевая гипотеза принимается при 5 %-ном уровне значимости, то она принимается и при 1 %-ном уровне.

Если же при 5 %-ном уровне значимости нулевая гипотеза отклоняется, то необходимо проверить ее при 1 %-ном уровне, и если при этом уровне она принимается, то результаты проверки гипотезы приводятся для двух уровней значимости.

.        Правило проверки значимости коэффициента b

Статистика t_b=b/m_b при выполнении гипотезы H₀:b=0 распределена по закону Стьюдента с n-2 степенями свободы.

Из таблицы распределения Стьюдента с n-2 степенями свободы по заданному уровню значимости выбирается значение t как критическая точка, соответствующая двусторонней критической области. Тогда:

) если | t_b | ≥ t, то гипотезу H₀:b=0 следует отклонить и, следовательно, признать коэффициент b статистически значимым;

) если | t_b | £ t, то гипотезу H₀:b=0 следует принять и, следовательно, признать коэффициент b статистически незначимым.

.        Правило проверки значимости коэффициента a

Статистика t_a=a/m_a при выполнении гипотезы H₀:a=0 распределена по закону Стьюдента с n-2 степенями свободы.

Из таблицы распределения Стьюдента с n-2 степенями свободы по заданному уровню значимости выбирается значение t как критическая точка, соответствующая двусторонней критической области. Тогда:

) если | t_a | ≥ t, то гипотезу H₀:a=0 следует отклонить и, следовательно, признать коэффициент a статистически значимым;

) если | t_a | £ t, то гипотезу H₀:a=0 следует принять и, следовательно, признать коэффициент a статистически незначимым.

.        Правило проверки значимости коэффициента корреляции r_xy

Статистика при выполнении гипотезы H₀: r_xy =0 (т. е. при отсутствии корреляционной связи, здесь - генеральный коэффициент корреляции) распределена по закону Стьюдента с n-2 степенями свободы.

Из таблицы распределения Стьюдента с n-2 степенями свободы по заданному уровню значимости выбирается значение t как критическая точка, соответствующая двусторонней критической области. Тогда: