Материал: Панков Пособие по ТВиМС часть 2

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам

вероятность того, что 1 x1 ,…, n xn , т. е. функция правдоподобия задается следующим равенством:

L x1,...,xn, n P i xi .

i 1

Если F x, - функция распределения абсолютно непрерывной случайной величины с плотностью распределения p x, , то функция правдоподобия

L x1,...,xn, задается равенством

				n
			L x1,...,xn, p xi, .
				i 1	x1,...,xn
	Предположим, что при каждом фиксированном векторе				x1,...,xn		функция
правдоподобия		достигает своего максимума в некоторой			точке
правдоподобия		достигает своего максимума в некоторой			точке	, где
			x1,...,xn называется оценкой, полученной			по	методу
	x1,...,xn .	Тогда	x1,...,xn называется оценкой, полученной			по	методу

максимального правдоподобия.

Таким образом, для нахождения оценки максимального правдоподобия необходимо найти точку, в которой достигается максимальное значение

функции правдоподобия L x1,...,xn, при изменении . Обычно более удобно находить максимум для функции lnL x1,...,xn, , так как точки максимума функций L x1,...,xn, и lnL x1,...,xn, будут совпадать.

Пример. 1. Пусть у нас реализована схема Бернулли с неизвестной вероятностью успеха 0 1, и имеется выборка x1,...,xn , где xi 0,1 .

L x1,...,xn, k 1 n k , где k – число единиц в векторе x1,...,xn .

Найдем максимум функции lnL x1,...,xn, k ln n k ln 1 . Используя методы математического анализа, имеем

дlnL	k	n k	0 ,
д
		1

k k n k 0,

nk - единственное решение данного уравнения.

Так как 0 k n , то

д2 ln

n k

для всех 0,1 .

Отсюда следует,

что функция

lnL

в интервале

0,1 имеет единственный

максимум при

n .

	k
Поэтому оценка n		является				оценкой, полученной методом
						n
максимального правдоподобия.		При этом k xi , т. е.
						i 1
			1		1	n

				k		xi x .
			n		n
						i 1

Мы видим, что в этом случае оценка, полученная методом максимального правдоподобия, будет несмещенной и состоятельной.

2. Пусть выборка производится из нормально распределенной случайной величины с двумя неизвестными параметрами, т. е. 1, 2 , где 0 2

, 1 .

																	n				xi 1 2
																	n	1
				L x1,...,xn,														1			e	2 2 .

																		2 2
																i 1		2 2
																i 1
Здесь у нас два параметра:								1, 2 .
Здесь у нас два параметра:								1, 2 .
			lnL n																	1	n
									ln2 ln 2											1	xi 1		2 .
									ln2 ln 2										2 2		xi 1		2 .
							2												2 2		i 1
Найдем частные			произведения											первого						порядка			для функции lnL и
приравняем их к нулю.
	lnL	1	n
	lnL	1

				x						0
				x	i					0
	1	2			i		1
	1	2	i 1															.
	lnL		n			1			n						2			.
	lnL		n			1									2

											x						0
											x	i					0
	2		2 2			2						i	1
	2		2 2			2 2		i 1

Получаем

n
	i			1
	i			1	0
		x	n		0


i 1
			n			2
				x
n				x
	2			i	1
			i 1

	1
	1
			x
				i
1	n
	n
		n
	1
	1

					i
2	n		x
	n	i 1

x 2 S2 .

Решение данной системы единственное, и функция L принимает в точке

максимальное значение (проверьте это самостоятельно).

1, 2

x,S

является

оценкой

максимального

Следовательно, 1, 2

правдоподобия для

1, 2 .

силу свойств

самих

оценок –

это

состоятельная оценка.

Введем еще одну величину, характеризующую оценку.

Inf

Определение. Среднеквадратичной ошибкой оценки параметра

называется величина 2 .

Если оценка несмещенная, то

2 2 D .

Это мера отклонения оценки от оцениваемого параметра.

Иногда среднеквадратичная ошибка может быть больше у несмещенной оценки, чем у смещенной.

Пример. Самостоятельно сравните среднеквадратичные ошибки оценок

	1	n			1	n
S2*		xi x 2	и S2			xi x 2 .
				n
	n 1 i 1					i 1

Хорошо было бы, если бы эта ошибка была как можно меньше. Но очень часто нельзя ее уменьшить ниже определенного порога.

Сформулируем теорему об этой границе. Но сначала введем понятие регулярной статистической модели.

	Пусть имеет функцию распределения F x, с плотностью p x, .
	Условия регулярности для семейства F x, и p x, :
1)	множество	x : p x, 0		не зависит от .
2)	Равенство			можно дифференцировать по параметру под

			p x, dx 1

знаком интеграла.

3)Смещение в равенстве b дифференцируемо по параметру .

4)Интеграл

...

,...,x

x ,...,x

, dx

i 1

b ,

где dx dx1 ... dxn , можно

дифференцировать

по

параметру под знаком

интеграла.

5) Интеграл Inf ln p x, p x, dx не равен нулю и сходится, т.е.

0 Inf .

Интеграл называется информацией по Фишеру о неизвестном

параметре , содержащейся в одном наблюдении xi .

Теорема (неравенство Рао-Крамера). Если семейство плотностей p x, ,

	x1,...,xn	удовлетворяют условиям регулярности 1)-5),
где , и оценка	x1,...,xn	удовлетворяют условиям регулярности 1)-5),
то имеет место неравенство			1
			1
					b	2
		2			b


				1			.

			n Inf

Доказательство.

1). Очевидно, что совместная плотность выборки равна p xi, . Рассмотрим

i 1

интеграл от нее

... p xi, dx

i 1

и продифференцируем его по параметру :

p xi,

...

i 1

p xk,

x1, ...p xk 1,

p xk 1, ...p xn, dx

... p

k 1

p xk,

... p x1, ...p xk 1,

p xk 1, ...p xn, dx .

Так как

k 1

p x1,

n p x

...

, dx

k 2

p x1,

k 2

p x

, dx

p x1,

и по второму условию регулярности

dx1

0, то

p xi,

dx 0.

...

i 1

2). Продифференцируем равенство

p xi,

i 1

...

x1,...,xn

dx .

xi,

Вычтем из этого равенства тождество

dx 0 из пункта 1)

...

i 1

доказательства, помноженное на , и получим равенство:

	n
	i 1
	p xi,
	p xi,		b	.
...		dx 1
...		dx 1

Преобразуем подынтегральное выражение:

p xi,

...

p xi,

i 1

p x

, dx 1

p xi,

i 1

и обозначим

		n
f x1,...,xn		p xi, ,
		i 1
	n
g x1,...,xn	p xi,
	i 1



		1		n
		1		p xi,

			n
			p xi,	i 1

i 1

ln p xi,

	i 1
	i 1

p xi, .

i 1

Используем для данных функций неравенство Коши-Буняковского для интегралов

fgdx 2 f 2 dx g2 dx .

Отсюда получаем, что

2 n

...

p xi

, dx

i 1

p xi,

i 1

...

p x

i 1

где n - обозначение для второго интеграла в неравенстве.

Источник: https://studfile.net/preview/16534730/

Смотрите также:





Изложение содержания дела, по которому приняты судебные постановления
_1-тема-СтрМетал
_1966(~1
_files_materials_5053_prog.ntr
_Антонян Ю.М., Сексуальные преступления. Чикатило и другие
_РГР № 1 (2)