Рис. 11.3. Зависимость оценки средней цены от количества выборок
Лекция 12. СВОЙСТВА ВЫБОРОЧНЫХ ОЦЕНОК. МЕТОД МАКСИМУМА ПРАВДОПОДОБИЯ
Свойства средней выборочной
Пусть из генеральной совокупности в результате независимых наблюдений извлечена повторная выборка x1,..., xn . Пусть гене-
ральная средняя неизвестна и требуется ее оценить по данной выборке. Докажем, что если в качестве оценки выбрать среднюю вы-
борочную xв , то эта оценка является несмещенной оценкой генеральной совокупности xг .
Рассмотрим выборку в гипотетическом варианте, т.е. xв как случайную величину Xв , а x1,..., xn как X1,..., Xn – соответствую-
щие независимые одинаково распределенные случайные величины с ограниченной дисперсией. Так как эти величины имеют один и тот же закон распределения, совпадающий с законом распределения
101
случайной величины X, то они имеют одинаковые числовые характеристики, в том числе математические ожидания.
|
M[X ] = M[X1] = ... = M[Xn ] = a; |
|
|
|||
M[Xв] = |
M[X1 + X2 + ... + Xn ] |
= |
1 |
M[ X + X + |
... + X ] = |
1 na. |
|
n |
|
n |
|
|
n |
Таким образом, математическое ожидание средней выборочной совпадает с математическим ожиданием генеральной совокупности,
т.е. оценка − несмещенная. В соответствии с предельной теоремой Чебышева эта оценка является и состоятельной. Действительно, по теореме Чебышева, при n → ∞ среднее арифметическое величин
x1,..., xn стремится к математическому ожиданию M[X ] = a, т.е.
оценка − состоятельная.
Можно показать, что если X подчиняется нормальному закону, то оценка является и эффективной.
Свойства выборочной дисперсии
Пусть из генеральной совокупности в результате n независимых наблюдений над количественным признаком X извлечена повторная выборка объемом n. По данной выборке необходимо оценить неизвестную генеральную дисперсию. Казалось бы, что в качестве оценки следует взять выражение
|
1 |
n |
(xi − xв)2 , где |
|
n |
xi |
|
Dв = |
xв = |
i=1 |
|
, |
|||
n |
n |
|
|||||
|
i=1 |
|
|
|
|
||
|
|
|
|
|
|
|
|
однако эта оценка является смещенной. Действительно, переходя к гипотетическому толкованию выборки, получим
|
|
|
|
|
|
1 |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
(Xi − Xв)2 |
|
|
|
|
|
|
|
|
|||||||||||||
M[Dв] = M |
|
|
. |
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
n i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Учтем, что M[X |
|
|
|
|
|
|
X |
|
|
= X |
|
− m |
, |
X |
|
|
|
|
|
||||||
] = M[X |
в |
] = m |
, тогда |
i |
i |
в |
= X |
в |
− m ; |
||||||||||||||||
i |
|
|
|
|
|
|
x |
|
|
|
|
|
|
x |
|
|
|
|
x |
||||||
|
|
|
|
|
|
2 |
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
(Xi − Xв) |
|
|
|
; |
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
= (Xi − Xв) |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
102
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Dв = |
1 (Xi − X |
в)2 ] |
= |
1 |
(Xi − X |
в)2 ] = |
|
|
|
|||||||||||||
|
|
|
|
|
n i=1 |
|
|
|
|
|
n i=1 |
|
|
|
|
|
n |
|
|
|
|||||
|
1 |
n |
|
|
|
|
n |
|
|
|
|
|
1 |
n |
|
|
|
|
|
Xi |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
− 2Xв Xi + nX |
|
|
|
|
|
|
|
|
i=1 |
+ X в2; |
||||||||||||
= |
n |
Xi2 |
в2 |
= |
n |
Xi2 − 2Xв |
|||||||||||||||||||
|
|||||||||||||||||||||||||
|
|
|
|
|
|
i=1 |
|
|
|
|
|
i=1 |
|
|
|
|
|
|
n |
|
|
|
|||
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
M[Dв] = |
1 M[ Xi2 ] − M[Xв2 ] = |
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
n |
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
1 |
n |
|
|
|
|
|
|
|
1 |
|
|
D |
|
n |
− 1 |
|
|
|
|
|||
|
|
= |
|
D[Xi ] − D[Xв] = |
|
nDг − |
г |
= |
|
|
|
|
Dг. |
|
|
|
|||||||||
|
|
|
n |
n |
|
|
n |
|
|
|
|
||||||||||||||
|
|
|
n i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Таким образом, несмещенная оценка генеральной средней будет
|
n |
|
|
1 |
n |
|||
Dг = |
Dв = |
|
|
в)2 = S 2. |
||||
(Xi − X |
||||||||
n − 1 |
|
|||||||
|
|
n − 1 i=1 |
||||||
Величина S 2 носит название исправленной выборочной дисперсии. Легко видеть, что она является состоятельной оценкой генеральной дисперсии.
Асимптотические свойства оценки
Всякая оценка θ* (X1,..., Xn ) как функция от «гипотетических»
результатов наблюдения является случайной величиной, и, следовательно, ее свойства определяются функцией распределения. Причем
закон распределения оценки θ* зависит от объема выборки n. Получение закона распределения оценки для данного объема выборки n − сложная задача, поэтому обычно пользуются асимптотическим законом распределения оценок, т.е. при n → ∞ . В этом случае говорят об асимптотической несмещенности и асимптотической эффективности оценки.
Из асимптотической несмещенности оценки не следует ее несмещенность в обычном смысле и наоборот. На практике асимптотическая дисперсия оценки обычно оказывается меньше, чем дисперсия в обычном смысле.
Если есть θ1* и θ*2 − две различные асимптотически несмещенные оценки параметров θ , то оценка θ1* называется более эффективной, чем θ*2 , если D1 < D2 .
103
Метод максимального правдоподобия. Определение неизвестных параметров нормального закона распределения
Пусть из генеральной совокупности извлечена выборка объемом n. Известно, что закон распределения наблюдаемой случайной ве-
личины X описывается плотностью распределения f (x,θ), где θ –
параметр распределения. Если рассматривать выборку в гипотетическом смысле, то X1,..., Xn – независимые одинаково распреде-
ленные случайные величины. Тогда для любого реализованного
значения выборки x1,..., xn плотность |
распределения есть |
|
L(x1,..., xn , θ) = f (x1, θ) f (x2 , θ) ... f (xn , θ) . |
Таким |
образом, |
L(x1,..., xn , θ) задает вероятность получения при извлечении выборки объема n именно наблюдений x1,..., xn . Поэтому чем больше L, тем правдоподобнее выборка x1,..., xn . Потребуем подобрать не-
известный параметр распределения θ так, чтобы реализованная выборка была наиболее правдоподобной, т.е. чтобы функция правдоподобия L достигала максимального значения, найти
max L(x1,..., x2 , θ). |
(12.1) |
θ |
|
Если L(x1,..., xn , θ) – дифференцируемая функция, то условие максимума
∂L |
= 0, |
∂2L |
< 0. |
(12.2) |
|
∂θ |
∂θ2 |
||||
|
|
|
Пример 1. Пусть случайная величина X распределена в генеральной совокупности по нормальному закону. Оценить по данным вы-
борки x1,..., xn математическое ожидание и дисперсию, т.е. неизвестные параметры нормального закона:
f (x, θ) = f (x, θ |
|
|
|
|
|
|
1 |
|
− |
(x−mx )2 |
|
, θ |
2 |
) = f (x, m |
x |
, σ2 ) = |
|
|
e |
2σ2x . |
|
||
|
|
|
|
||||||||
1 |
|
|
x |
σx |
|
2π |
|
|
|
||
Построим функцию правдоподобия |
|
|
|
|
|||||||
|
|
|
|
|
|
||||||
L(x1,... xn , θ) = f (x1, θ) f (x2 , θ) ... f (xn , θ); |
(12.3) |
||||||||||
104
|
|
|
|
|
|
|
|
|
(x −m |
)2 |
|
|
|
|
|
|
|
(x −m |
)2 |
|
||
|
|
|
|
|
1 |
|
|
− |
|
1 |
x |
|
|
|
|
|
1 |
− |
n x |
|
|
|
|
2 |
|
|
|
|
|
|
2σ2x |
|
|
|
|
|
2σ2x |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
L(x1 |
,..., xn , mx , σx ) = |
|
σx |
|
2π |
e |
|
|
|
|
|
|
... |
σx |
|
2π |
e |
|
= |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
n |
(x −m |
)2 |
|
|
|
|
|
|
|
|||
|
|
|
|
|
1 |
|
|
|
− |
|
i |
|
x |
|
|
|
|
|
|
|
|
|
|
= |
|
|
|
|
|
e i=1 |
2σ2 |
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
x . |
|
|
|
|
|
|
||||||
|
(σx |
|
2π )n |
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
∂L = 0 и |
∂ ln L |
|
|
|
|
|
|||||||||||||
Учитывая, что соотношения |
|
= 0 равносильны, а |
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
∂θ |
|
|
|
|
∂θ |
|
|
|
|
|
|
||
корни последнего уравнения найти проще, получим |
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
1 |
|
|
|
|
n |
(x − m |
|
)2 |
|
|
|
|
||||
|
ln L = ln( |
|
|
|
|
|
|
) − |
|
|
i |
|
|
x |
. |
|
|
|
|
|||
|
(σx 2π )n |
|
2σ2x |
|
|
|
|
|||||||||||||||
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|||||||||
Оценки для математического ожидания и дисперсии находятся
из соотношений |
∂ ln L |
|
|
= 0; |
|
|
∂m x |
|
|
(12.4) |
|
|
∂ ln L |
|
|
= 0. |
|
|
2 |
|
|
∂σx |
|
Раскрывая выражения (12.4) в явном виде, получим
∂ ln L = |
1 |
n |
|
(xi − mx ) = 0. |
|||
σ2x |
|||
∂m x |
i=1 |
Из этого выражения следует формула для оценки математического ожидания:
|
|
|
n |
|
|
|
|
xi |
|
|
|
|
mx = |
i=1 |
. |
|
|
|
|
n |
|
||
|
∂2 ln L |
|
|
||
Легко показать, что |
= − |
n |
< 0, т.е. находится дей- |
||
∂mx2 |
|
σ2x |
|||
|
|
|
|
||
ствительно максимум функции. Для оценки дисперсии сделаем замену σ2x = x, тогда
|
|
1 |
|
|
1 |
n |
|
ln L = n ln |
|
|
|
|
− |
|
i=1 (xi − mx )2 ; |
( |
x 2π )n |
2x |
|||||
105