Материал: 5856
11
например, так: 0 – не приедет; 1 – приедет в понедельник; …; 7 – приедет в воскресенье. Отсюда вывод: чем больше m, тем больше информации (сведений) можно вложить в данный символ. Но использование символов с боль-
шим m порождает ряд проблем (см., например, разд. 2.), поэтому часто для передачи сообщения используют не один, а несколько m-ичных символов.
Кодовая комбинация Χ [1] , Χ [2] ,..., Χ [n] , состоящая из m-ичных символов, нередко называется кодовым словом длины n. Другое возможное название - это n-разрядное m-ичное число. Пусть все n символов, входящих в это слово, имеют один и тот же алфавит x1 , x2 ,..., xm .
Пока рассматриваем эту комбинацию как единое целое и перечислим все её возможные состояния:
x1[1] , x1[2] ,..., x1[n]; x2[1] , x1[2] ,..., x1[n]; ...; xm[1] , xm[2] ,..., xm[n]. |
(1.3) |
Число этих состояний равно |
|
Μ mn . |
(1.4) |
Отсюда следует, что комбинация символов, в принципе, ничем не от-
личается от одного М-ичного символа, если не считать использования громоздких обозначений для каждой из М букв алфавита (1.3). И в этом случае для полного описания сигнала нужно знать ряд распределения (1.1), который в первой строке содержит возможные значения сигнала (1.3), а во второй строке – числа, т.е. вероятности появления каждого из этих значений
p xi[1] , x[j2] ,..., x[n] , |
(1.5) |
причем сумма этих М вероятностей, естественно, равна единице.
Далее, формула (1.2) определяет способ вычисления любой числовой характеристики и для кодовой комбинации, и в этом случае она принимает вид
|
|
[1] |
, Χ |
[2] |
,..., Χ |
[n] |
|
|
|
|
|
Χ |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
m |
m |
|
m |
|
|
|
|
,..., x[n] p xi[1] |
|
(1.6) |
|
xi[1] |
, x[2] |
, x[2] |
,..., x[n] . |
||||||||
i 1 |
1 |
1 |
|
|
|
|
|
|
|
||
Имея ряд распределения для комбинации в целом, можно найти веро- |
|||||||||||
ятностные и числовые характеристики для любого символа или группы символов, входящих в комбинацию.
Для примера рассмотрим комбинацию Χ,Υ , состоящую из двух (n=2) m-ичных символов. Имея m2 вероятностей совместного появления значений x j и yk (1.5), по формуле сложения вероятностей можно найти вероятности
для каждого из символов
m |
m |
|
p xj p xj , y , |
p y p x j , y . |
(1.7) |
1 |
j 1 |
|
Далее, воспользовавшись формулой умножения вероятностей
p xj , y p x j p y / x j p y p x j / y , (1.8)
можно построить m условных рядов распределения символа X, по одному ря-
12
ду для каждого из значений k 1,2,..., m , |
p x j , y |
||
p x j |
/ y |
||
p y |
|||
|
|
||
и аналогично m условных рядов распределения для Y |
||
p y / x |
p x j , y |
. |
|
||
j |
p x j |
|
|
|
|
(1.9)
(1.10)
Для определения какой-либо условной числовой характеристики символа Х воспользуемся той же формулой (1.2), но подставлять нужно условные вероятности, соответствующие конкретному значению y символа Y.
Два символа X и Y являются независимыми, если p x j / y p x j и, следовательно, p y / x j p yk для всех возможных значений j и k. Независи-
мость символов упрощает их описание, поскольку любая условная характеристика символа равна соответствующей безусловной.
Описание последовательности зависимых символов для большинства ситуаций, представляющих практический интерес, является хотя и очень простым по смыслу, но порой чрезвычайно громоздким. Одной из самых простых моделей, учитывающих зависимость символов в их бесконечной последовательности ..., Χ [k 1] , Χ [k ] , Χ [k 1] ,... , является простая марковская цепь
p xi[k 1] / x[jk ] , xs[k 1] ,... p xi[k 1] / x[jk ] , |
(1.11) |
то есть влияние всех предшествующих символов передается “по цепочке”, в итоге значение текущего символа формально зависит от одного предыдущего.
Многие сообщения по своей природе являются цифровыми, т.е. со-
стоящими из последовательности символов. Таковы тексты, различные чис-
ловые массивы. Более того, в современной технике связи очень часто сообщения, которые по своей природе не относятся к цифровым (например, звуки
иизображения), преобразуются в последовательность двоичных символов.
1.3.Дискретные сигналы
Рассмотрим такие случайные функции времени Χ t , которые являются дискретными во времени t, но непрерывны по величине. Поведение такого сигнала можно полностью описать последовательностью Χ [1] , Χ [2] ,..., Χ [n] , состоящей из n непрерывных случайных величин. Напомним, что в цифровом сигнале каждая из этих величин является дискретной.
Начнем с простейшего случая n 1, т.е. сигнал – это просто непрерывная случайная величина Х. Большинство физических величин (температура, давление, скорость, напряжение и т.п.) являются непрерывными случайными величинами, т.е. каждая из них может принять любое значение внутри некоторого непрерывного интервала.
13
Полное описание непрерывной случайной величины содержит её плотность вероятностей W x . Это неотрицательная функция, удовлетворяющая условию нормировки
|
|
W (x)dx 1. |
(1.12) |
Любую из числовых характеристик находим с помощью формулы, подобной (1.2),
|
|
M X x W x dx, |
(1.13) |
задав функцию x соответствующего вида. Одной из самых полезных мо-
делей является нормальная (гауссовская) случайная величина, для которой кривая плотности вероятностей – колокольного вида
|
|
1 |
|
|
x mx 2 |
|
|
(1.14) |
|
|
2 x |
|
2 x2 |
|
|
||
W (x) |
|
|
|
ехр |
|
|
, |
|
|
|
|
|
|
|
|
|
|
где mx и x – математическое ожидание и среднеквадратическое отклонение
соответственно.
Полной характеристикой последовательности непрерывных случай-
ных величин Χ [1] , Χ [2] ,..., Χ [n] является совместная плотность вероятностей
W x[1] , x[2] ,..., x[n] .
Для определения числовых характеристик используется аналог форму-
лы (1.6)
|
|
|
|
[1] |
, X |
[2] |
,..., X |
[n] |
|
|
|
|
|
|
|
|
|
X |
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(1.15) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
x[1] , x[2] ,..., x[n] |
x[1] , x[2] ,..., x[n] |
dx[1] |
dx[n]. |
|||||||||
|
|
|
W |
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Чтобы использовать более компактные обозначения, систему случай-
ных величин удобно представить в виде вектора-строки |
|
Χ Χ [1] , Χ [2] ,..., Χ [n] , |
(1.16) |
а вектор её конкретных значений точно так же обозначить строчной буквой
х.
Наиболее часто используются следующие числовые характеристики: вектор-строка математических ожиданий
[1] |
[2] |
[n] |
|
|
|
|
[1] |
|
[2] |
|
[n] |
|
|
||
mx m , m |
|
,..., m |
M |
X |
|
, X |
|
,..., X |
|
|
(1.17) |
||||
и ковариационная матрица R, элементами которой служат числа |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Rj ,k M X |
[ j ] |
mj X |
[k ] |
mk , |
|
j, k 1, 2,..., n. |
(1.18) |
||||||||
|
|
|
|
||||||||||||
Для независимых случайных величин нет необходимости использовать |
|||||||||||||||
понятие условной плотности вероятностей, поэтому |
|
|
|
||||||||||||
W x[1] , x[2] ,..., x[n] W1 |
x[1] |
W2 |
x[2] |
Wn x[n] |
(1.19) |
||||||||||
и, следовательно, ковариационная матрица R является диагональной.
14
Система n гауссовских случайных величин описывается плотностью вероятностей
|
n 2 |
|
1 2 |
|
1 |
|
|
|
|
W x 2 |
|
det R |
|
ехр |
|
x mx R 1 xT mTx |
|
, |
(1.20) |
|
|
2 |
|||||||
|
|
|
|
|
|
|
|
|
где detR – определитель матрицы R, xT – вектор-столбец x .
1.4 Непрерывные сигналы
Математической моделью непрерывного (аналогового) сигнала является непрерывный случайный процесс X t . Такой процесс характеризуется
ансамблем (множеством) реализаций. Ничтожная часть этого множества для примера показана на рис. 1.1 (кстати, если бы эти 5 реализаций, изображенных на рисунке, составляли всё множество, то их с полным правом можно было бы считать сигналами, отображающими 5 возможных значений пятиричного символа).
Вид каждого элемента этого множества, в принципе, известен заранее,
X(t)
0
T t
Рис. 1.1. Часть ансамбля реализаций непрерывного случайного процесса
а вся случайность заключается в том, что заранее неизвестно, которая из этих реализаций появится.
Вероятностное описание непрерывного процесса традиционно начинается с того, что мысленно проводят его квантование по времени с шагомt T
n , где n – количество отсчетов, получающихся в результате квантования. В итоге непрерывный случайный процесс X t заменяется последова-
тельностью непрерывных случайных величин-отсчетов X [1] , X [2] ,..., X [n] . Далее для этой системы случайных величин определяют желаемые вероятностные характеристики по методике, описанной в разд. 1.3. И, наконец, предполагают, что предельные значения этих характеристик при t 0 являются характеристиками самого случайного процесса X t .
Наиболее важные числовые характеристики непрерывного случайного
15
процесса: математическое ожидание mx t –детерминированная функция ( аналог вектора (1.17)) и ковариационная функция R t1 , t2 (аналог (1.18)).
Для стационарного случайного процесса математическое ожидание – это константа mx , а ковариационная функция является детерминированной
функцией одной переменной t1 t2 .
Для стационарного случайного процесса наглядной характеристикой является спектр плотности мощности G , связанный с ковариационной функцией R парой преобразований Фурье
|
|
|
|
G R exp i d , |
|
||
|
|
|
(1.21) |
|
1 |
|
|
R |
G exp i d . |
|
|
2 |
|
||
|
|
|
|
|
|
|
|
Понятие непрерывной случайной функции широко применяется для описания многих реальных сигналов. В частности, звуковой сигнал – это непрерывный случайный процесс X t . Изображение – это случайная функция
X y1 , y2 двух пространственных координат y1 и y2 (случайную функцию нескольких переменных называют случайным полем).
1.5 Аддитивные и мультипликативные помехи
Сигнал на выходе передатчика x t , распространяясь вдоль линии, связывающей пункты передачи и приема, изменяет свою форму. В итоге на выходе линии (на входе приемника) имеем сигнал y t , отличающийся от переданного. Проблема заключается в том, что эти изменения случайны (детерминированные изменения сигнала, возникающие в линии, в принципе, всегда могут быть точно учтены и полностью скомпенсированы, поэтому пока мы их не будем рассматривать). Такая случайная трансформация сигнала в линии называется воздействием случайной помехи.
Помеха Z t называется аддитивной (от английского add-прибавлять),
если
Y t kX t Z t , |
(1.22) |
где k – постоянный коэффициент передачи линии.
Причиной возникновения аддитивной помехи являются существующие всегда тепловой шум, электромагнитные поля, создаваемые посторонними источниками излучения естественного и искусственного происхождения, и т.п.
В качестве модели аддитивной помехи обычно принимают белый шум,
т.е. стационарный гауссовский случайный процесс, имеющий нулевое математическое ожидание и равномерный и бесконечно широкий спектр плотно-