Материал: Панков Пособие по ТВиМС часть 2

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам

Определение. Вся прямая разбивается на равные промежутки

длиной h .

Обозначим через k число элементов выборки, попавших в к –

й интервал

разбиения. Над каждым интервалом построим прямоугольник высотой

k

.

 

 

 

n h

Полученная фигура называется гистограммой.

Пример. В условиях предыдущего примера построим гистограмму. Выберем в качестве начала промежутка точку 0,5, а в качестве длины h 1.

Заметим, что в качестве начала промежутка можно выбрать любую точку вещественной прямой, но на практике ее стараются выбрать так, чтобы ни одна точка выборки не попала на границу промежутков.

По теореме Бернулли с ростом n площадь каждого из прямоугольников гистограммы, построенного над k-м интервалом, сходится к вероятности попасть в этот интервал (проверьте это самостоятельно).

Определение. Если построена гистограмма, то полигоном частот будет называться ломаная, состоящая из отрезков прямых, последовательно соединяющих ординаты, соответствующие средним точкам интервалов:

Полигон частот и гистограмма, исходя из определений, взаимно-однозначно определяют друг друга.

С помощью построения вариационного ряда, эмпирической функции распределения, гистограммы и (или) полигона частот проводится первичная статистическая обработка результатов эксперимента.

Введем новое определение.

6

Определение. Статистикой называется всякая функция f от выборкиx1,...,xn , в случае если f 1,..., n является случайной величиной.

Итак, у нас имеется случайная величина с теоретической функцией распределения F x . Мы измеряем n раз и получаем выборку объёма n

x1,...,xn c эмпирической функцией распределения Fn x . По этой выборке мы

можем построить новые характеристики (аналогичные уже полученным для случайной величины) .

Определение. Статистика

 

 

 

 

1

 

n

Mk

 

 

xik

 

n

называется начальным выборочным

 

 

 

i 1

моментом k-го порядка. Если k=1, то

 

1

 

n

 

начальный выборочный момент М1

xi называется выборочным средним

 

n

 

 

 

i 1

(так как является средним арифметическим элементов выборки) и обозначается

М1 x .

Статистика

 

 

1

n

 

 

Sk

 

xi x k

n

 

 

i 1

называется выборочным центральным моментом k – го порядка. При k 2

 

 

 

 

1

n

 

 

 

 

центральный выборочный момент

S2

xk x 2

называется

выборочной

 

дисперсией и обозначается

 

n k 1

 

 

 

S2 .

 

 

 

 

S2

 

 

Обозначим через

E k k-й начальный (теоретический) момент случайной

k

 

 

 

 

 

 

 

 

 

величины , а через k

E E k

- k-й центральный (теоретический) момент.

Все выборочные

характеристики

являются случайными

величинами,

поэтому мы имеем право говорить об их распределении и считать их моменты:

 

 

1

 

n

 

 

1

 

n

 

 

 

 

 

 

 

 

1

 

 

 

 

E k

E

xik

 

 

Exik

 

n E k k ,

n

n

n

 

 

i 1

 

 

i 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

n

 

 

 

 

 

1

 

n

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

D k

D

 

xi

 

 

 

2 Dxi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

i 1

 

 

 

 

 

 

 

 

n i 1

 

 

 

 

 

 

 

 

 

 

 

 

 

E 2k

E k

2

 

2k

k

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Пример. Если k=1 и M1 x , то

Ex E 1 и Dx 2 1 2 / n D / n .

Найдите самостоятельно ES2, DS2 .

Теорема. Для случая выборки из любой случайной величины выполняется

M P .

k n k

7

 

 

 

1

n

 

 

 

 

Доказательство.

Mk

 

xik - среднее арифметическое независимых,

n

 

 

 

i 1

 

 

 

 

одинаково распределенных случайных величин xk

по всем i

 

, и E хk .

1,n

 

 

 

 

i

 

 

i

k

Следовательно, эти величины подчиняются закону больших чисел по теореме Хинчина.

Так как

1

k

xk

P 0

, то

P .

 

 

i 1

 

n

i

k

n

k

n

k

Теорема доказана. Теорема (без доказательства). Для случая выборки из любой случайной

величины выполняется

S P .

k n k

Определение. Последовательность случайных величин n называется асимптотически нормальной с параметрами n, n2 , если последовательность

n n /

 

сходится по распределению к стандартной нормальной

n2

случайной величине.

Теорема. Для случая выборки из любой случайной величины, для которой

0 2k k 2 , последовательность начальных выборочных моментов k

 

 

 

2

 

асимптотически нормальна с параметрами

 

 

2k k

 

 

,

 

 

 

k

n

.

 

 

 

 

 

 

 

 

 

Доказательство. Согласно определению, k -ые степени элементов выборки xik - независимые одинаково распределенные случайные величины, числовые

характеристики которых равны соответственно

Еxik k ; Dxik 2k k 2 .

К последовательности xik можно применить центральную предельную теорему для независимых одинаково распределенных случайных величин.

Обозначим n kn 1 xik ; тогда

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n E n

 

 

 

D

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

n

 

 

 

 

D n

 

 

0,1 ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n E n

 

 

n E n /n

 

 

k

k

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

D n

 

 

1/n D n

n 2k k2

 

 

 

 

 

 

 

 

 

 

/n2

 

 

 

 

 

 

 

k k

 

 

D

0,1 ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2k k2

/n

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

где 0,1 - стандартная нормальная случайная величина.

Теорема доказана.

8

Тема № 12 Точечное оценивание параметров распределения

Пусть мы наблюдаем случайную величину с функцией распределения F x, 1,..., m , зависящей от одного или нескольких параметров 1,..., m . Пусть вид функции распределения F x известен, а параметры 1,..., m неизвестны.

Наша задача состоит в том, чтобы по наблюдениям за случайной величиной

построить оценки неизвестных параметров

1 1 x1,...,xn ;2 2 x1,...,xn ;

…

m m x1,...,xn .

Любую статистику g x1,...,xn , зависящую только от выборки, можно считать

оценкой параметра , или точечной оценкой. Но возникает вопрос, насколько хороша или плоха данная оценка.

 

 

 

x1,...,xn называется несмещенной, если

 

Определение. Оценка

E ;

 

 

 

 

 

и асимптотически несмещенной, если E x1,...,xn .

 

 

 

 

n

 

 

 

 

 

 

Разность E b называется смещением оценки.

 

Пример. В случае выборки из произвольной случайной величины, согласно доказанному ранее результату, E k k . Следовательно, статистика Mk -

несмещенная оценка для k . В частности, х - несмещенная оценка для математического ожидания .

Пусть 1, 2 , тогда х - несмещенная оценка для параметра 1 .

 

 

S

2

n 1 D ,

следовательно, S

2

- смещенная оценка для

. Смещение её

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

2

 

равно

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

b S2

 

1

D .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

S2*

 

 

 

xi

x 2

- несмещенная оценка для D .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n 1 i 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

S2

- асимптотически несмещенная оценка для 2 .

 

 

 

 

 

 

Определение.

 

 

Оценка

 

 

называется

 

состоятельной,

если

 

 

 

 

 

 

 

 

x

,...,x

n

 

 

 

P

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Пример. Согласно двум теоремам из предыдущей темы

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

P , S

k

P

k

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

n

 

k

n

 

 

 

Следовательно, эти выборочные моменты – состоятельные оценки для соответствующих теоретических.

9

Исторически первым общим методом получения оценок неизвестных параметров распределения является предложенный К. Пирсоном в 1894 году метод моментов, состоящий в приравнивании эмпирических начальных моментов теоретическим и составлении системы из m уравнений (по числу параметров):

 

 

1 1,..., m

 

 

1

 

 

 

 

 

 

 

 

 

.

 

...

 

 

 

 

 

 

 

m 1,..., m

 

m

 

 

 

 

 

 

 

 

 

Решением этой системы является набор оценок 1,..., m , называемых

оценками, полученными с помощью метода моментов.

Пример. Пусть выборка производится из нормально распределенной случайной величины с двумя неизвестными параметрами, т. е. 1, 2 .

1 1 ,

D 2 2 2 1 2 2 ,

2 2 12 .

Согласно методу моментов, получаем систему из двух уравнений

 

 

 

 

 

1

 

 

1

 

,

 

2 1

2

 

 

 

2

 

 

 

 

 

 

где 1 x , 2 S22 x 2 ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

x

 

 

 

 

 

 

 

 

 

 

 

2 ,

 

 

 

 

 

 

2

2

x

 

 

 

2 1

S

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

 

1

.

 

 

 

 

 

 

 

 

2

 

 

 

 

S

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

Мы видим, что в этом случае оценки, полученные методом моментов, будут состоятельными.

Еще одним универсальным методом оценивания неизвестных параметров является метод максимального правдоподобия, предложенный в 1921 году Р.Фишером.

Сначала дадим определение функции правдоподобия, которая обозначается

как L x1,...,xn,

 

и является

функцией

выборки

x1,...,xn и неизвестных

 

параметров

 

1,..., m , от

которых

зависит

теоретическая функция

 

распределения F x F x, 1,..., m F x,

 

.

 

 

 

 

 

Определение. Если F x, - функция распределения дискретной случайной величины, то функция правдоподобия L x1,...,xn, определяется как

10

Источник: https://studfile.net/preview/16534730/