Материал: ОТС Лекции 1 и 2 часть
Рис.3.8.
Сильной стороной этих кодов является то, что боковые лепестки автокорреляционных функций имеют уровень 1/N.
3.3.Фильтры, согласованные с шумоподобными сигналами. Согласованные фильтры обычно используются для оптимального приема шумоподобных сигналов (ШПС). Аналоговый фильтр, согласованный с ШПС содержит:
1.Линию задержки с отводами; количество отводов равно количеству импульсов, время движения импульса от одного до другого отвода равно длительности импульса;
2.Фазовращатели (+, -); фазовращатель со знаком "+" не меняет, а со знаком "-" меняет знак входного импульса на противоположный; чередование знаков фазовращателей совпадает с зеркальным отображением чередования знаков в сигнале.
3.Сумматор; 4.Фильтр согласованный с одиночным прямоугольным импульсом (ФСОИ).
На рис.3.9 нарисована структурная схема фильтра, согласованного с кодом Баркера из 11-ти импульсов:+1+1+1-1-1-1+1-1-1+1-1. Этот СФ имеет линию
задержки с 11-ю отводами, фазовращатели, сумматор и ФСОИ.
Чередование знаков фазовращателей в СФ: "- + - - + - - - + + +" , совпадает с зеркальным отображением чередования знаков в сигнале.
На рис.3.10 изображена временная диаграмма напряжения u1(t) на выходе сумматора фильтра, согласованного с 11-значным кодом Баркера, при подаче на его вход согласованного с ним сигнала (толстая линия).
С выхода сумматора сигнал поступает на вход фильтра, согласованного с одиночным прямоугольным импульсом. Фильтр, согласованный с одиночным прямоугольным импульсом, дает на выходе автокорреляционную функцию этого импульса (рис.3.11.).
21
Рис.3.9.
Рис.3.10.
Рис.3.11.
Если на вход фильтра подаётся согласованный с ним сигнал, то на выходе мы получаем автокорреляционную функцию сигнала. В соответствии с этим нарисована временная диаграмма напряжения на выходе полного фильтра,
22
согласованного с кодом Баркера. (тонкая линия на рис.3.10). Фильтр ФСОИ преобразует каждый прямоугольный импульс напряжения u1(t) в треугольный.
4. ЭНТРОПИЯ. СТАТИСТИЧЕСКОЕ КОДИРОВАНИЕ.
4.1. Энтропия.
Информационная содержательность сообщения определяется вероятностью его появления. Количество информации, которое заключено в некотором
сообщении |
с вероятностью появления p(i), равно: |
|
I= |
-log2 p(i) |
(4.1) |
Основание логарифма определяет единицы измерения количества информации. Обычно, в теории информации основание логарифма принимают равным 2, т.е. количество информации измеряют в двоичных единицах (1 дв. ед.) или битах (1 бит). Одна двоичная единица информации или один бит - это количество информации, которое мы получаем, если произошло событие, вероятность появления которого равна 0.5:
I= -log2 0.5 =1 дв. ед. =1 бит.
Обычно, основание логарифма не пишут, считая, его, по умолчанию, равным 2. Свойства меры количества информации:
1.Количество информации величина неотрицательная: I ≥ 0 . 2.Чем меньше p, тем больше I. Действительно:
p = 0.5 => I= -log2 0.5 =1 дв.ед. ; p = 0.125 => I= -log2 0.125 = 3 дв.ед.
3. Количество информации, заключенное в достоверном событии с
вероятностью появления p=1, равно 0: I= -log21= 0 дв.ед.
4. Количество информации обладает свойством аддитивности: количество информации, заключенное в совокупности независимых сообщений, равно сумме количеств информации, заключенных в каждом сообщении в отдельности.
Если сообщения независимы, то вероятность совместного появления i-го, j-го и т.д. k-го сообщений равна p(i,j…k)=p(i)р(j)…р(k) и, следовательно:
I(i,j…k)= -log2 p(i,j…k)= -log2 p(i)р(j)…р(k) = |
|
||
= - log2 p(i) -log2 р(j) - …. - log2 р(k)= I(i)+I(j)+….+I(k) ; |
(4.2) |
||
Сообщения источника |
информации принимают |
различные |
значения с |
разными вероятностями, |
которым соответствует |
различное |
количество |
информации. Для характеристики источника информации вводят среднюю
меру, которая называется «энтропия источника информации».
Энтропия (H) - это среднее количество информации, приходящееся на одно сообщение, символ, слово источника информации.
Энтропия характеризует также среднюю неопределенность ситуации. Чем больше энтропия, тем больше неопределенность ситуации и , следовательно, тем больше информации мы получаем, когда принимаем некоторое сообщение, которое устраняет неопределенность.
Рассмотрим дискретный источник информации, который производит последовательность кодовых символов, соответствующих передаваемой информации. Предположим, что символы в кодовом слове – независимы и могут принимать одно из m возможных значений. В этом случае
23
энтропия |
|
дискретного |
|
|
источника |
независимых |
символов |
равна: |
||||||||||
m |
|
|
|
|
|
|
|
|
|
|
|
|
|
дв. ед. |
|
|
||
Н = - ∑ |
р |
|
logp |
|
= -р logp |
-р |
|
logp |
|
- .....-рmlogp |
|
; |
|
|
(4.3) |
|
||
|
|
|
|
|
|
|
||||||||||||
k = 1 |
|
k |
|
k |
1 |
1 |
|
2 |
|
2 |
|
|
m |
|
символ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
pk - вероятность к-го символа.
m - основание кода,т.е. общее количество разных символов.
Энтропия дискретного источника независимых сообщений максимальна, если все сообщения равновероятны т.е.:
|
|
|
p1 = p2 =…= pm =1/m , |
|
|
(4.4) |
|||||||||
так как сумма всех вероятностей равна 1: p1 + p2 + … + pm = 1. |
|
||||||||||||||
Рассчитаем максимальное значение энтропии: |
|
|
|
||||||||||||
Hmax = - |
1 |
log |
1 |
-......- |
1 |
log |
1 |
= -m( |
1 |
log |
1 |
) = -log |
1 |
= logm; |
(4.5) |
|
|
|
|
|
|
|
|||||||||
|
m m |
m m |
m m |
m |
|
||||||||||
Если m=2 , то H max = log2 = 1 дв.ед/символ; если m=16, то H max = log16 = 4 дв.ед/символ.
Энтропия двоичного источника независимых сообщений может быть определена по формуле:
Н = -р0logp0 -р1logp1;
(4.6)
p0 - вероятность передачи 0; p1 - вероятность передачи 1.
Максимальное значение энтропии двоичного источника равно 1дв.ед./символ , если p0 = p1 =0.5.
Если вероятность одного из символов равна 0 или 1, то энтропия двоичного источника равна 0. Зависимость энтропии двоичного источника от p0 показана на рис.4.1.
Энтропия характеризует источник, производящий сообщения, принадлежащие некоторому ансамблю А, в котором определены сообщения и их вероятности. Поэтому энтропия источника обозначается H(A).
H
1
0 |
0,5 |
1 |
p0 |
|
|
Рис.4.1. |
|
4.2. Статистическое кодирование (кодирование источника) Кодирование - это отображение сообщений совокупностью кодовых символов, которые называются кодовой комбинацией.
Количество различных символов, которые образуют все кодовые комбинации, называют основанием кода - m.
24
Количество символов, образующих данную кодовую комбинацию, называют
длиной кодовой комбинации – n.
Общее количество кодовых комбинаций равно: N=mn . Если m=2, n=1 =>N=21=2 => возможные комбинации: 1;0.
m=2, n=2 =>N=22=4=> возможные комбинации: 00;01;10;11. m=3, n=1 =>N=31=3=> возможные комбинации: 1; -1; 0.
Физический смысл символов может быть произвольным: это могут быть символы разной частоты, или разной амплитуды, или разной формы и т.д.
Т.к. энтропия характеризует среднее количество информации, которое переносит один кодовый символ, то чем больше энтропия, тем быстрее можно передать заданное количество информации. Используя различные способы кодирования, можно сформировать новый код, у которого энтропия будет больше, чем у исходного кода.
Сформулируем качественно основные способы увеличения энтропии.
1) Наличие корреляционных связей между сообщениями, |
символами |
уменьшает энтропию. Для увеличения энтропии осуществляют |
операцию |
декорреляции символов, сообщений. Один из способов декорреляции символов - укрупнение сообщений, т.е. символами нового кода будут не отдельные буквы, а целые слова. Корреляционные связи между словами гораздо меньше, чем между символами. Следовательно, укрупненные символы нового кода, соответствующие словам старого кода будут практически некоррелированы, т.е. энтропия нового кода увеличится.
Например, сообщение «удовлетворительно», состоящее из 17 букв, можно закодировать одной цифрой «3». Т.о. скорость передачи информации для этого частного случая увеличится в 17 раз, так как одно и то же количество информации будет передано не 17-ю символами, а только одним символом. Однако, при этом падает помехоустойчивость приема, так как ошибку при приеме символа «3» исправить невозможно, а ошибка в одном из 17 символов слова «удовлетворительно» практически не изменяет смысла всего сообщения
благодаря корреляционным связям между буквами.
Второй способ декорреляции символов - предсказание следующего символа по предыдущим и передача только ошибки предсказания.
2) Неравновероятность сообщений уменьшает энтропию. Для увеличения энтропии надо перекодировать сообщения так, чтобы символы нового кода были практически равновероятны. При этом наиболее вероятные сообщения кодируются наиболее короткими кодовыми комбинациями.
3) Для дальнейшего увеличения энтропии необходимо увеличивать основание кода m, так как для источника (кода) с равновероятными символами максимальное значение энтропии равно Нmax =logm.
4.3. Устранение корреляционных связей между символами источника путем укрупнения сообщений.
Цель статистического кодирования - увеличение энтропии и, как следствие, увеличение скорости передачи информации.
25