Материал: конспект-лекций
36 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Пример. Вычислить энтропию ансамбля 32 букв |
|
ui |
pi |
ui |
pi |
ui |
pi |
ui |
pi |
ui |
pi |
русского алфавита. Вероятности использования букв |
|
а |
.064 |
з |
.015 |
о |
.096 |
х |
.009 |
э |
.003 |
|
б |
.015 |
и |
.064 |
п |
.024 |
ц |
.004 |
ю |
.007 |
|
|
|
||||||||||
приведены в таблице. Сравнить энтропию с неопре- |
|
в |
.039 |
й |
.010 |
р |
.041 |
ч |
.013 |
я |
.019 |
|
г |
.014 |
к |
.029 |
с |
.047 |
ш |
.006 |
- |
.124 |
|
|
|
||||||||||
деленностью, которая была бы у алфавита при рав- |
|
д |
.026 |
л |
.036 |
т |
.056 |
щ |
.003 |
|
|
новероятном их использовании. |
|
е,ё |
.074 |
м |
.026 |
у |
.021 |
ъ,ь |
.015 |
|
|
|
ж |
.008 |
н |
.056 |
ф |
.020 |
ы |
.016 |
|
|
|
|
|
|
|
Неопределенность на одну букву при равнове-
роятности использования:
H(u) = log 32 = 5
Энтропия алфавита по ансамблю таблицы:
H(u) = - 0.064 log 0.064 - 0.015 log 0.015 - . . . . . . . . . . . . . . . . . . - 0.143 log 0.143 4.42.
Таким образом, неравновероятность состояний снижает энтропию источника.
Основные свойства энтропии:
1. Энтропия является величиной вещественной и неотрицательной, т.к. значения вероятно-
стей pn находятся в интервале 0-1, значения log pn всегда отрицательны, а значения -pn log pn в
(1.4.2) соответственно положительны.
2.Энтропия - величина ограниченная, т.к. при pn 0 значение -pn log pn также стремится к нулю, а при 0 < pn 1 ограниченность суммы всех слагаемых очевидна.
3.Энтропия равна 0, если вероятность одного из состояний источника информации равна 1,
итем самым состояние источника полностью определено (вероятности остальных состояний ис-
точника равны нулю, т.к. сумма вероятностей должна быть равна 1).
4. Энтропия максимальна при равной вероятности всех состояний источника информации:
N
Hmax(U) = - (1/N) log (1/N) = log N.
n 1
5. Энтропия источника с двумя состояниями u1 и u2 при изменении соотношения их вероятностей p(u1)=p и p(u2)=1-p определяется выражени-
ем:
H(U) = -[p log p + (1-p) log (1-p)],
и изменяется от 0 до 1, достигая максимума при равенстве вероятностей.
Рис. 1.4.1.
График изменения энтропии приведен на рис. 1.4.1.
6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий.
Рассмотрим это свойство на двух источниках информации u и v. При объединении источ-
ников получаем обобщенный источник информации (u,v), который описывается вероятностями p(unvm) всех возможных комбинаций состояний un источника u и vm источника v. Энтропия объ-
единенного источника при N возможных состояниях источника u и М возможных состояниях ис-
точника v:
37
H(UV) = -
N n 1
M m 1
p(unvm) log p(unvm),
Источники статистически независимы друг от друга, если выполняется условие: p(unvm) = p(un) p(vm).
С использованием этого условия соответственно имеем:
N = - n 1
С учетом того, что
|
N |
M |
|
|
H(UV) = - |
|
p(un)p(vm) log [p(un)p(vm)] = |
||
|
n 1 |
m 1 |
|
|
|
|
M |
M |
N |
p(un) log p(un) |
p(vm) - |
p(vm) log p(vm) |
|
|
|
m 1 |
m 1 |
n 1 |
|
N |
|
M |
|
|
p(un) = 1 и |
p(vm) = 1, получаем: |
|
||
n 1 |
|
m 1 |
|
|
p(um).
H(UV) = H(U) + H(V). |
(1.4.3) |
7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансам-
бля, полностью игнорируя содержательную сторону ансамбля. С одной стороны, это расширяет возможности использования энтропии при анализе самых различных явлений, но, с другой сторо-
ны, требует определенной дополнительной оценки возникающих ситуаций. Как это следует из рис. 1.4.1, энтропия состояний может быть неоднозначной, и если в каком-либо экономическом начинании действие u с вероятностью pu=p приводит к успеху, а действие v с вероятностью pv=1-p
к банкротству, то выбор действий по оценке энтропии может оказаться и прямо противополож-
ным, т.к. энтропия при pv=p равна энтропии при pu=p.
Энтропия непрерывного источника информации должна быть бесконечна, т. к. неопре-
деленность выбора из бесконечно большого числа возможных состояний бесконечно велика.
Разобьем диапазон изменения непрерывной случайной величины U на конечное число n
малых интервалов u. При реализации значений u в интервале (un, un+ u) будем считать, что реа-
лизовалось значение un дискретной случайной величины U', вероятность реализации которой:
p(un<u<un+
u) =
|
u |
n |
Δu |
|
|
||
|
u |
|
|
|
n |
|
|
p(u) du p(un)
u.
Энтропия дискретной величины U':
|
N |
|
|
|
|
H(U') = - p(un) |
u log (p(un) |
u). |
|
||
|
n 1 |
|
|
|
|
Заменяем log (p(un) u) = log p(un)+log u, принимаем во внимание, что сумма p(un) u по |
|||||
всем возможным значениям un равна 1, и получаем: |
|
|
|
|
|
|
N |
|
|
|
|
H(U') = - p(un) |
u log p(un) – log u. |
(1.4.4) |
|||
|
n 1 |
|
|
|
|
В пределе, при u 0, получаем выражение энтропии для непрерывного источника: |
|||||
H(U) = - |
p(u) log p(u) du – |
lim |
log Δu . |
(1.4.5) |
|
|
|
u |
0 |
|
|
38
Значение энтропии в (1.4.5), как и ожидалось, стремится к бесконечности за счет второго члена выражения. Для получения конечной характеристики информационных свойств непрерыв-
ных сигналов используют только первый член выражения (1.4.5), получивший название диффе-
ренциальной энтропии. Ее можно трактовать, как среднюю неопределенность выбора произволь-
ной случайной величины по сравнению со средней неопределенностью выбора случайной величи-
ны U', имеющей равномерное распределение в диапазоне (0-1). Действительно, для такого распре-
деления p(un) = 1/N, u = 1/N, и при N из (1.4.4) следует: |
|
|
H(U') = - (log N)/N - log u - |
lim |
log Δu . |
|
u |
0 |
Соответственно, разность энтропий дает дифференциальную энтропию:
|
|
|
|
h(U) = H(U) – H(U') = - |
p(u) log p(u) du. |
||
|
|||
|
|
|
(1.4.6)
Дифференциальная энтропия не зависит от конкретных значений величины U: h(U+a) = h(U), a = const,
но зависит от масштаба ее представления:
h(kU) = h(U) + log k.
Практика анализа и обработки сигналов обычно имеет дело с сигналами в определенном интервале [a, b] их значений, при этом максимальной дифференциальной энтропией обладает рав-
номерное распределение значений сигналов:
|
|
b |
|
h(U) = - |
p(u) log p(u) du = log (b-a). |
||
|
|||
|
|
a |
По мере сужения плотности распределения значение h(U) уменьшается, и в пределе при p(u) (u-c), a<c<b стремится к нулю.
Информационная емкость сигналов существенно зависит от типа сигналов и определяет требования к каналам передачи данных, равно как и технические характеристики каналов связи ограничивают информационную емкость сигналов, передаваемых по этим каналам.
Для каналов передачи дискретных сигналов (дискретные канала связи) используют понятия технической и информационной скорости передачи данных.
Под технической скоростью передачи подразумевают число элементарных сигналов (сим-
волов), передаваемых по каналу в единицу времени. Простейший элементарный символ – однопо-
лярный электрический импульс длительностью на тактовом интервале T. В дискретных каналах используют, как правило, двуполярные импульсы, положительные на первой половине интервала Т и отрицательные на второй половине. Это позволяет поддерживать нулевой потенциал кабеля и выполнять тактовую синхронизацию приемо-передачи сигналов. Единицей измерения технической скорости Vt = 1/T служит БОД – один символ в секунду. Полоса пропускания канала связи ограни-
чивается предельной частотой Fпред по уровню затухания сигнала до уровня статистических помех,
при этом значение технической скорости передачи данных не может быть выше Fпред без специаль-
ных устройств выделения информационных сигналов.
39
При известной технической скорости Vt скорость передачи информации измеряется в битах в секунду и задается соотношением:
Vh = Vt H(s),
где H(s) – энтропия символа. Для двоичных дискретных символов [0, 1] при постоянной амплитуде импульсов значение H(s) равно 1. При числе L возможных равновероятных уровней амплитуды импульсов (уровень помех меньше разности уровней амплитуд импульсов) значение H(s) равно log L.
Информационная емкость сигнала или полное количество информации в сигнале S (сооб-
щении, кодовой последовательности/слове) определяется полным количеством N = t/T энтропии символов в битах на интервале задания сигнала t:
It(S) = N log L = (t/T) log L. (1.4.7)
Увеличение числа уровней L увеличивает пропускную способность каналов связи, но усложняет аппаратуру кодирования данных и снижает помехоустойчивость связи.
Для непрерывных сигналов передача по каналам связи возможна только при условии, что максимальная информационная частота в сигнале Fmax не превышает предельной частоты Fпред пе-
редачи сигналов каналом связи. Для оценки информационной емкости непрерывного сигнала вы-
полним его дискретизацию с интервалом t = 1/2Fmax. Как установлено Котельниковым и Шенно-
ном, по мгновенным отсчетам непрерывного сигнала с таким интервалом дискретизации аналого-
вый сигнал может быть восстановлен без потери информации. При полной длительности сигнала
Ts число отсчетов:
N = Ts/ t = 2Fmax Ts.
Определим максимально возможное число выборок в каждом отсчете при наличии шума в канале со средней мощностью Рш = 2. При средней мощности сигнала Ps = s2:
L =
s |
2 |
δ |
2 |
|
|
|
|
||
|
|
δ |
2 |
|
|
|
|
|
|
= |
1 |
s2
δ2
.
Информационная емкость сигнала:
I(S) = 2Fmax Ts log L. (1.4.8)
Информационные возможности сигнала возрастают с расширением его спектра и превыше-
нием его уровня над уровнем помех.
ЛИТЕРАТУРА
1. Баскаков С.И. Радиотехнические цепи и сигналы Учебник для вузов. - М. Высшая шко-
ла, 1988.
9. Даджион Д., Мерсеро Р. Цифровая обработка многомерных сигналов. – М.: Мир, 1988. –
488 с.
10. Дмитриев В.И. Прикладная теория информации: Учебник для вузов. - М.: Высшая шко-
ла, 1989.
40
12. Игнатов В.А. Теория информации и передачи сигналов. - М.: Советское радио, 1979.
14. Купер Дж., Макгиллем А. Вероятностные методы анализа сигналов и систем. – М.: Мир,
1989.
15. Лосев А.К. Линейные радиотехнические цепи: Учебник для вузов. - М.: Высшая школа,
1971.
18.Оппенгейм А.В., Шафер Р.В. Цифровая обработка сигналов. – М.: Связь, 1979. – 416 с.
25.Сергиенко А.Б. Цифровая обработка сигналов. / Учебник для вузов. – СПб.: Питер, 203.
–608 с.
28.Колесник В.Д., Полтырев Г.Ш. Курс теории информации. – М.: Наука, 1982. – 416 с.