Определение. Вся прямая разбивается на равные промежутки |
длиной h . |
||
Обозначим через k число элементов выборки, попавших в к – |
й интервал |
||
разбиения. Над каждым интервалом построим прямоугольник высотой |
k |
. |
|
|
|||
|
|
n h |
|
Полученная фигура называется гистограммой.
Пример. В условиях предыдущего примера построим гистограмму. Выберем в качестве начала промежутка точку 0,5, а в качестве длины h 1.
Заметим, что в качестве начала промежутка можно выбрать любую точку вещественной прямой, но на практике ее стараются выбрать так, чтобы ни одна точка выборки не попала на границу промежутков.
По теореме Бернулли с ростом n площадь каждого из прямоугольников гистограммы, построенного над k-м интервалом, сходится к вероятности попасть в этот интервал (проверьте это самостоятельно).
Определение. Если построена гистограмма, то полигоном частот будет называться ломаная, состоящая из отрезков прямых, последовательно соединяющих ординаты, соответствующие средним точкам интервалов:
Полигон частот и гистограмма, исходя из определений, взаимно-однозначно определяют друг друга.
С помощью построения вариационного ряда, эмпирической функции распределения, гистограммы и (или) полигона частот проводится первичная статистическая обработка результатов эксперимента.
Введем новое определение.
6
Определение. Статистикой называется всякая функция f от выборкиx1,...,xn , в случае если f 1,..., n является случайной величиной.
Итак, у нас имеется случайная величина с теоретической функцией распределения F x . Мы измеряем n раз и получаем выборку объёма n
x1,...,xn c эмпирической функцией распределения Fn x . По этой выборке мы
можем построить новые характеристики (аналогичные уже полученным для случайной величины) .
Определение. Статистика
|
|
|
|
1 |
|
n |
|
Mk |
|
|
xik |
||||
|
n |
||||||
называется начальным выборочным |
|
|
|
i 1 |
|||
моментом k-го порядка. Если k=1, то |
|||||||
|
1 |
|
n |
|
|||
начальный выборочный момент М1 |
xi называется выборочным средним |
||||||
|
n |
||||||
|
|
|
i 1 |
||||
(так как является средним арифметическим элементов выборки) и обозначается
М1 x .
Статистика
|
|
1 |
n |
|
|
|
Sk |
|
xi x k |
||||
n |
||||||
|
|
i 1 |
||||
называется выборочным центральным моментом k – го порядка. При k 2
|
|
|
|
1 |
n |
|
|
|
|
|
центральный выборочный момент |
S2 |
xk x 2 |
называется |
выборочной |
||||||
|
||||||||||
дисперсией и обозначается |
|
n k 1 |
|
|
||||||
|
S2 . |
|
|
|||||||
|
|
S2 |
|
|
||||||
Обозначим через |
E k k-й начальный (теоретический) момент случайной |
|||||||||
k |
|
|
|
|
|
|
|
|
|
|
величины , а через k |
E E k |
- k-й центральный (теоретический) момент. |
||||||||
Все выборочные |
характеристики |
являются случайными |
величинами, |
|||||||
поэтому мы имеем право говорить об их распределении и считать их моменты:
|
|
1 |
|
n |
|
|
1 |
|
n |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
E k |
E |
xik |
|
|
Exik |
|
n E k k , |
||||||||||||||||
n |
n |
n |
|||||||||||||||||||||
|
|
i 1 |
|
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
1 |
|
n |
|
|
|
|
|
1 |
|
n |
|
|
|
|
||||
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
k |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
D k |
D |
|
xi |
|
|
|
2 Dxi |
|
|
|||||||||||||
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
i 1 |
|
|
|
|
||||
|
|
|
|
n i 1 |
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
E 2k |
E k |
2 |
|
2k |
k |
2 |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
. |
|||
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
n |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Пример. Если k=1 и M1 x , то
Ex E 1 и Dx 2 1 2 / n D / n .
Найдите самостоятельно ES2, DS2 .
Теорема. Для случая выборки из любой случайной величины выполняется
M P .
k n k
7
|
|
|
1 |
n |
|
|
|
|
|
Доказательство. |
Mk |
|
xik - среднее арифметическое независимых, |
||||||
n |
|||||||||
|
|
|
i 1 |
|
|
|
|
||
одинаково распределенных случайных величин xk |
по всем i |
|
, и E хk . |
||||||
1,n |
|||||||||
|
|
|
|
i |
|
|
i |
k |
|
Следовательно, эти величины подчиняются закону больших чисел по теореме Хинчина.
Так как |
1 |
k |
xk |
P 0 |
, то |
P . |
|||
|
|
i 1 |
|||||||
|
n |
i |
k |
n |
k |
n |
k |
||
Теорема доказана. Теорема (без доказательства). Для случая выборки из любой случайной
величины выполняется
S P .
k n k
Определение. Последовательность случайных величин n называется асимптотически нормальной с параметрами n, n2 , если последовательность
n n / |
|
сходится по распределению к стандартной нормальной |
n2 |
случайной величине.
Теорема. Для случая выборки из любой случайной величины, для которой
0 2k k 2 , последовательность начальных выборочных моментов k
|
|
|
2 |
|
асимптотически нормальна с параметрами |
|
|
2k k |
|
|
, |
|
|
|
|
||||
k |
n |
. |
||
|
|
|
|
|
|
|
|
|
|
Доказательство. Согласно определению, k -ые степени элементов выборки xik - независимые одинаково распределенные случайные величины, числовые
характеристики которых равны соответственно
Еxik k ; Dxik 2k k 2 .
К последовательности xik можно применить центральную предельную теорему для независимых одинаково распределенных случайных величин.
Обозначим n kn 1 xik ; тогда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
n E n |
|
|
|
D |
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|||||
|
|
n |
|
|
|
|
D n |
|
|
0,1 , |
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
n E n |
|
|
n E n /n |
|
|
k |
k |
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
D n |
|
|
1/n D n |
n 2k k2 |
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
/n2 |
|||||||||||||||
|
|
|
|
|
|
|
k k |
|
|
D |
0,1 , |
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
2k k2 |
/n |
|
|
|
n |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
где 0,1 - стандартная нормальная случайная величина.
Теорема доказана.
8
Тема № 12 Точечное оценивание параметров распределения
Пусть мы наблюдаем случайную величину с функцией распределения F x, 1,..., m , зависящей от одного или нескольких параметров 1,..., m . Пусть вид функции распределения F x известен, а параметры 1,..., m неизвестны.
Наша задача состоит в том, чтобы по наблюдениям за случайной величиной
построить оценки неизвестных параметров
1 1 x1,...,xn ;2 2 x1,...,xn ;
…
m m x1,...,xn .
Любую статистику g x1,...,xn , зависящую только от выборки, можно считать
оценкой параметра , или точечной оценкой. Но возникает вопрос, насколько хороша или плоха данная оценка.
|
|
|
x1,...,xn называется несмещенной, если |
|
Определение. Оценка |
E ; |
|||
|
|
|
|
|
и асимптотически несмещенной, если E x1,...,xn . |
|
|||
|
|
|
n |
|
|
|
|
|
|
Разность E b называется смещением оценки. |
|
|||
Пример. В случае выборки из произвольной случайной величины, согласно доказанному ранее результату, E k k . Следовательно, статистика Mk -
несмещенная оценка для k . В частности, х - несмещенная оценка для математического ожидания .
Пусть 1, 2 , тогда х - несмещенная оценка для параметра 1 .
|
|
S |
2 |
n 1 D , |
следовательно, S |
2 |
- смещенная оценка для |
. Смещение её |
|||||||||||||||
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
2 |
|
|||||
равно |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
b S2 |
|
1 |
D . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
1 |
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
S2* |
|
|
|
xi |
x 2 |
- несмещенная оценка для D . |
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
n 1 i 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
S2 |
- асимптотически несмещенная оценка для 2 . |
|
|
|
|
||||||||||||||||
|
|
Определение. |
|
|
Оценка |
|
|
называется |
|
состоятельной, |
если |
||||||||||||
|
|
|
|
|
|
|
|||||||||||||||||
|
x |
,...,x |
n |
|
|
|
P |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
. |
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
1 |
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
Пример. Согласно двум теоремам из предыдущей темы |
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
P , S |
k |
P |
k |
. |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
n |
|
k |
n |
|
|
|
||
Следовательно, эти выборочные моменты – состоятельные оценки для соответствующих теоретических.
9
Исторически первым общим методом получения оценок неизвестных параметров распределения является предложенный К. Пирсоном в 1894 году метод моментов, состоящий в приравнивании эмпирических начальных моментов теоретическим и составлении системы из m уравнений (по числу параметров):
|
|
1 1,..., m |
|
|
1 |
|
|
|
|
||
|
|
|
|
|
|
. |
|
... |
|
||
|
|
|
|
|
|
m 1,..., m |
|
m |
|
||
|
|
|
|
|
|
|
|
Решением этой системы является набор оценок 1,..., m , называемых
оценками, полученными с помощью метода моментов.
Пример. Пусть выборка производится из нормально распределенной случайной величины с двумя неизвестными параметрами, т. е. 1, 2 .
1 1 ,
D 2 2 2 1 2 2 ,
2 2 12 .
Согласно методу моментов, получаем систему из двух уравнений
|
|
|
|
|
1 |
|
|
1 |
|
, |
|
|
2 1 |
2 |
|
|
|
|
|
2 |
|
|
|
|
|
|
|
где 1 x , 2 S22 x 2 ,
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
1 |
|
|
|
||||||
x |
|
|
|
|
|||||||
|
|
|
|
|
|
|
2 , |
||||
|
|
|
|
|
|
2 |
|||||
2 |
x |
|
|||||||||
|
|
2 1 |
|||||||||
S |
|
|
|
||||||||
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
||||
x |
|
|
|
||||||||
|
|
|
1 |
. |
|
||||||
|
|
|
|
|
|
||||||
|
2 |
|
|
|
|
||||||
S |
|
|
|
|
|
||||||
|
|
|
2 |
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|||
Мы видим, что в этом случае оценки, полученные методом моментов, будут состоятельными.
Еще одним универсальным методом оценивания неизвестных параметров является метод максимального правдоподобия, предложенный в 1921 году Р.Фишером.
Сначала дадим определение функции правдоподобия, которая обозначается
как L x1,...,xn, |
|
и является |
функцией |
выборки |
x1,...,xn и неизвестных |
||||
|
|||||||||
параметров |
|
1,..., m , от |
которых |
зависит |
теоретическая функция |
||||
|
|||||||||
распределения F x F x, 1,..., m F x, |
|
. |
|
|
|||||
|
|
|
|||||||
Определение. Если F x, - функция распределения дискретной случайной величины, то функция правдоподобия L x1,...,xn, определяется как
10