Материал: Метод наименьших квадратов
Типичная задача. Пусть мы имеем
какое-то регрессионное уравнение, скажем,
.
Под 
понимаю какой-то объясняющий
предиктор. Спрашивается, все ли к предикторов должны участвовать в модели, или
какие-то m штук в модель не входят, т.е. соответствующие коэффициенты равны
нулю? В последнем случае модель имеет вид:
.
Задача решается следующим образом.
Вначале строится первая модель и находится коэффициент детерминации, обозначим
его 
. Затем
строится вторая модель без m предикторов и находится коэффициент детерминации 
. Затем
вычисляется величина
.
Эта величина подчиняется статистике
Фишера с (m,N-k-1)
степенями свободы. Как и для коэффициента Стьюдента, для нее рассчитаны
таблицы. Работа с ними строится так. Назначается заданный уровень значимости.
По таблицам находится критическое значение F-статистики
Фишера с соответствующим количеством степеней свободы. Если рассчитанное
значение превосходит критическое, то нулевая гипотеза, заключающаяся в том, что
рассматриваемые m переменных не входят в модель, отвергается. Собственно
говоря, из структуры для F видно, что если исключены m
каких-то переменных и при этом коэффициент детерминации мало изменился, то это
и означает, что добавление этих переменных мало меняет остатки. Соответственно,
эти переменные можно и не включать. Но если разность 
будет
большой, то это означает, что изменение остатков существенное, существен вклад
этих m предикторов, и исключать их неправомерно.
На практике не исключают сразу несколько предикторов, а анализируют по очереди.
Приведу такой пример. Пусть процесс
описывается функцией 
, а мы, не
зная этого, моделируем его функцией 
. В силу того, что в
экспериментальных данных будут погрешности, скорее всего, все коэффициенты
будут отличны от нуля. Но после построения регрессии общего вида, следует
проверить достоверность коэффициентов по критерию Стьюдента, формулировав
нулевую гипотезу для каждого коэффициента. Затем, выбрав недостоверный
коэффициент, исключить его. Построить новую регрессию, и с помощью статистики
Фишера убедиться, что исключение соответствующего коэффициента было значимо.
Собственно говоря, в этом и состоит
дисперсионный анализ.
Взвешенный МНК
До сих пор явно или неявно
предполагалось, что дисперсия погрешностей 
, т.е. 
постоянная
величина. Однако, это сильная идеализация. В примере с кривой вращения
галактики выражение для лучевой компоненты скорости имеет вид: 
. Уже из
этого выражения ясно, что чем дальше от нас отстоит звезда, тем больше будет
погрешность в измерении скорости. Следовательно, надо это каким-то образом
учесть.
Другой пример. Часто измерения на графике приводят погрешностями - барами.
Из этого рисунка видно, что некоторые значения имеют большую ошибку, некоторые - маленькую. Это значит, что те, которые имеют маленькую ошибку, должны иметь больший вес, чем те, которые имеют большую ошибку.
Как учесть эту ошибку в МНК? Если результаты измерений представлены с ошибками, как это показано на последнем рисунке, то поступать следует таким образом.
Допустим, что разброс (или
среднеквадратичное отклонение) и-того измерения есть 
. Введем вес
: 
, где 
пока
неизвестная величина.
Вместо отклонения измерений от
регрессии введем
новое 
так, что:
.
Ясно, что дисперсия и-того измерения
будет: 
.
Далее, составляем невязку
относительно .
.
И минимизируем ее.
В примере с кривой вращения можно
поступить так. Из структуры формулы можно высказать предположение: 
. Тогда в
качестве веса берем: 
, делаем
замену переменных, вводим новую невязку, находим минимум.
Литература
1. Битнер, Г.Г. Теория вероятностей: Учебное пособие / Г.Г. Битнер. - Рн/Д: Феникс, 2012. - 329 c.
. Большакова, Л.В. Теория вероятностей для экономистов: Учебное пособие / Л.В. Большакова. - М.: ФиС, 2009. - 208 c.
. Горлач, Б.А. Теория вероятностей и математическая статистика: Учебное пособие / Б.А. Горлач. - СПб.: Лань, 2013. - 320 c.
. Калинина, В.Н. Теория вероятностей и математическая статистика: Учебник для бакалавров / В.Н. Калинина. - М.: Юрайт, 2013. - 472 c.
. Климов, Г.П. Теория вероятностей и математическая статистика / Г.П. Климов. - М.: МГУ, 2011. - 368 c.
. Колемаев, В.А. Теория вероятностей и математическая статистика: Учебник / В.А. Колемаев, В.Н. Калинина. - М.: КноРус, 2013. - 376 c.
. Колесников, А.Н. Теория вероятностей в финансах и страховании / А.Н. Колесников. - М.: Анкил, 2008. - 256 c.
. Кочетков, Е.С. Теория вероятностей в задачах и упражнениях: Учебное пособие / Е.С. Кочетков, С.О. Смерчинская. - М.: Форум, 2011. - 480 c.
. Кочетков, Е.С. Теория вероятностей и математическая статистика: Учебник / Е.С. Кочетков, С.О. Смерчинская, В.В. Соколов. - М.: Форум, НИЦ ИНФРА-М, 2013. - 240 c.
. Краснов, М.Л. Вся высшая математика. Т. 5. Теория вероятностей. Математическая статистика. Теория игр: Учебник / М.Л. Краснов, А.И. Киселев, Г.И. Макаренко [и др.]. - М.: ЛКИ, 2013. - 296 c.
. Кремер, Н.Ш. Теория вероятностей и математическая статистика: Учебник для студентов вузов / Н.Ш. Кремер. - М.: ЮНИТИ-ДАНА, 2012. - 551 c.
. Лебедев, А.В. Теория вероятностей и математическая статистика: Учебное пособие / Л.Н. Фадеева, А.В. Лебедев; Под ред. проф. Л.Н. Фадеева. - М.: Рид Групп, 2011. - 496 c.
. Лунгу, К.Н. Сборник задач по высшей математике. 2 курс: С контрольными работами: Ряды и интегралы. Векторный и комплексный анализ. Дифференциальные уравнения. Теория вероятностей. Операционное исчисление / К.Н. Лунгу, В.П. Норин, Д.Т. Письменный; Под ред. С.Н. - М.: Айрис-пресс, 2011. - 592 c.
. Мхитарян, В.С. Теория вероятностей и математическая статистика: Учебник для студентов учреждений высшего профессионального образования / В.С. Мхитарян, В.Ф. Шишов, А.Ю. Козлов. - М.: ИЦ Академия, 2012. - 416 c.