Материал: конспект-лекций

31

Преимущество, которое отдается ЛИС - системам в методах обработки информации, бази-

руется на возможности разложения входного сигнала любой, сколь угодно сложной формы, на со-

ставляющие простейших форм, отклик системы на которые известен и хорошо изучен, с последу-

ющим вычислением выходного сигнала в виде суммы откликов на все составляющие входного сигнала. В качестве простейших форм разложения сигналов используются, как правило, единич-

ные импульсы и гармонические составляющие. Разложение по единичным импульсам применяет-

ся при динамическом представлении сигнала в зависимости от реальных физических аргументов

(времени, координат и пр.) и использует операцию свертки. Разложение на гармонические состав-

ляющие использует спектральное (частотное) представление сигнала и преобразование Фурье.

Соединения ЛИС - систем. При последовательном (каскадном) соединении систем выход-

ной сигнал одной системы служит входным сигналом для второй и т.д. в зависимости от количе-

ства составляющих систем каскада. По отношению к общей системной операции преобразования порядок соединения входящих в нее систем значения не имеет. Так, для двух последовательно со-

единенных систем на рис. 1.3.2:

y(t) = T2[T1[s(t)]] = T1[T2[s(t)]].

При параллельном соединении входной сигнал поступает од-

новременно на входы всех составляющих систем, а выходные сигна-

лы систем суммируются:

y(t) = T1[s(t)] + T2[s(t)] + ... + TN[s(t)].

Образуемые в результате соединений системы в целом также

Рис. 1.3.2 Соединения си-

являются ЛИС - системами, если линейны и инвариантны к сдвигу системы, в них входящие.

Обобщенная схема системы цифровой обработки сигналов на рис. 1.3.3 приведена в каче-

стве примера.

Рис. 1.3.3. Структурная схема системы дифференцирования сигналов.

1.4. ИНФОРМАЦИОННАЯ ЕМКОСТЬ СИГНАЛОВ [10,12,28]

Объем информации, находящейся в обращении и необходимой для функционирования и развития современного общества, нарастает примерно пропорционально квадрату развития произ-

водительных сил. В передовых по научно-техническому развитию странах мира доля рабочей си-

лы, занятой вопросами сбора, обработки и обеспечения информацией, превышает долю рабочей

32

силы в сфере материального производства. Применение методов и средств автоматизации на всех этапах обращения информации, эффективная организация ее хранения, обработки и обмена, при-

обретают все большее значение в качестве основного условия успешного функционирования эко-

номики стран.

Понятие информации. В настоящее время нет общепринятого и однозначного понимания термина "Информация". Спектр бытующих понятий весьма широк, от общего философского - ин-

формация есть отражение реального мира, до узко практического - информация есть сведения, яв-

ляющиеся объектом хранения, передачи и преобразования. Расхождения существуют и по вопросу места информации в материальном мире. Это свойство индивидуальных объектов или результат их взаимодействия? Присуща ли информация всем видам материи или лишь определенным обра-

зом организованной материи?

В информатике под информацией понимается, как правило, совокупность сведений смыс-

лового содержания, которые можно собирать, обрабатывать, передавать и т.п. Причем именно сведений в изначальном смысле латинского слова informatio, а не данных или сигналов, которые являются носителями этих сведений. В таком понимании процессы извлечения сведений из дан-

ных и их интерпретации неразрывно связаны с разумом, а конечным результатом обработки и восприятия информации с помощью разума является раскрытие неопределенности знаний о ка-

ком-либо объекте, явлении или процессе. Но при таком подходе размывается само понятие разума.

С одной стороны, существование любого живого существа поддерживается до тех пор, по-

ка действуют его органы чувств (датчики), преобразующие физические воздействия окружающего мира в определенным образом организованные сигналы, которые в материальной форме отобра-

жают данные об этих воздействиях. Данные собираются и интерпретируются определенной си-

стемой, которую в самой общей форме мы называем "разумом", из общей суммы данных извлека-

ются определенные сведения, степень неопределенности сведений об окружающей обстановке снижается, и ... лиса распутывает заячий след. Живое существо существует до тех пор, пока спо-

собно воспринимать и обрабатывать внешние и внутренние воздействия. Нет сомнений и в том,

что в коллективных сообществах его члены не только способны собирать и обрабатывать инфор-

мацию, но и передавать ее другим членам сообщества, как, например, в пчелиной семье точный путь до продуктивного цветочного массива. Информационный танец пчелы в этом отношении по компактности содержания ничем не уступает телеграфному сообщению. Естественно, в принятой

упчел символьной форме.

Сдругой стороны, если информация неразрывно связана с "разумом", то в этом случае нельзя отказать в "разуме" и электронной вычислительной машине, обыгрывающей в шахматы чемпиона мира, а равно и любым устройствам технической кибернетики любого уровня, так как все они имеют определенные системы сбора, передачи, накопления, хранения и обработки инфор-

мации той или иной степени сложности, и на основе этой информации способны формировать

33

сигналы обратной связи для управления определенными процессами.

В технических отраслях знаний, где вопросы соотношения информации с разумом не стоят на первом месте, преобладает понимание информации в виде отображения такого всеобщего свой-

ства материи, как разнообразие, как характеристики внутренней организованности материальных систем, процессов или явлений по множеству состояний, которые для них возможны. В такой трактовке информация существует независимо от того, воспринимается она каким-либо "разумом"

или нет, и является одним из свойств материальных объектов. "Информация есть информация, а

не материя и не энергия" (Норберт Винер). Это свойство в какой-то мере имеет потенциальный характер. Информация может проявлять себя только при взаимодействии объектов или процессов,

может возникать (создаваться) и исчезать (уничтожаться).

Но и в такой трактовке возникает очень много вопросов, на которые трудно дать однознач-

ные ответы. Насекомое третичного периода, неизвестное в настоящее время ученым, прилипло к капле смолы хвойного дерева. Новый слой смолы закрыл насекомое. Дерево упало, и его занесло песком. Смола превратилась в янтарь. Янтарь в потенциале содержит полную информацию о насекомом, потому как в нем десятки тысяч фрагментов ДНК - информация, достаточная для вос-

становления ДНК и воспроизводства насекомого, если не в настоящее время, то в ближайшем бу-

дущем. Но когда она возникла? В момент появления насекомого с его ДНК? В момент прилипания к смоле? В момент окаменения? Можно ли говорить о появлении информации, если еще не суще-

ствовал субъект, способный извлечь и использовать эту информацию? Наконец, янтарь с насеко-

мым найден и попал на глаза палеонтолога. Определен новый вид насекомого. Появилась первая частичная информация? Так может быть, информация появляется только при активном и целена-

правленном воздействии на объект исследований? А если янтарь оказался непрозрачным, и его переплавили? Исчезла ли информация? И можно ли считать, что она вообще была?

Ответы на эти и подобные им вопросы тяготеют к двум полюсам, а по существу, к двум диаметрально противоположным философским позициям.

Сторонники первой позиции считают, что информация присуща только определенным об-

разом организованным объектам или процессам, и понимают под информацией только то, что мо-

жет восприниматься, обрабатываться, осмысливаться и использоваться, т.е. является продуктом целенаправленного процесса сбора, организации, систематизации и использования сведений о ма-

териальных объектах и процессах.

Противоположная позиция, это понятие информации как свойства объектов и процессов воспринимать и перерабатывать внутреннее состояние и внешнее воздействие окружающей среды,

сохранять его результаты и передавать их другим объектам. С этой позиции все материальные объекты и процессы являются источниками, носителями и потребителями информации, на основе которой и идет развитие реального мира. По существу, это соответствует принятию материально-

сти информации и информационной основы мироздания.

34

При неопределенности самого понятия информации можно достаточно обоснованно счи-

тать, что информация проявляется, хранится и передается от одного объекта к другому в матери-

ально - энергетической форме в виде сигналов. Сигналом, как материальным носителем информа-

ции, может быть любой физический процесс (электрический, магнитный, оптический, акустиче-

ский и пр.), определенные параметры которого (амплитуда, частота, энергия, интенсивность и др.)

однозначно отображают информационные данные (сообщения).

Количественная мера информации. Теория любого явления начинается с появления ко-

личественных взаимоотношений между объектами исследований, т.е. при установлении принци-

пов измеряемости каких-либо свойств объектов. Единицу количественной меры информации -

БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит -

это информация о двух возможных равновероятных состояниях объекта, неопределенность выбо-

ра из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления. Количество информации Н (в битах), необходимое и доста-

точное для полного снятия неопределенности состояния объекта, который имеет N равновозмож-

ных состояний, измеряется как логарифм по основанию 2 из числа возможных состояний:

Соответственно, двоичный числовой информационный код одного из N возможных состо-

яний объекта занимает Н двоичных разрядов.

Пример. Необходимо поднять груз на определенный этаж 16 -ти этажного здания (нумерация этажей 0-15, N = 16). Сколько бит информации полностью определяют задание?

H = log2 N = log2 16 = 4.

Следовательно, 4 бита информации необходимы и достаточны для полного снятия не-

определенности выбора. В этом можно убедиться применением логики исчисления с последо-

вательным делением пополам интервалов состояний. Например, для 9-го этажа:

Итог: этаж номер 9 или 1001 в двоичном исчислении, четыре двоичных разряда.

Если в приведенном примере на этажах имеется по 4 квартиры с нумерацией на каждом этаже 0-3 (М=4), то при адресации груза в квартиру потребуется еще 2 бита информации. Такой же результат получим, если вместо независимой нумерации этажей и квартир на этажах (два ис-

точника неопределенности) мы будем иметь только сквозную нумерацию квартир (один обобщен-

ный источник):

H = log 2 N + log 2 M = log 2 16 + log 2 4 = 6 log 2 (N M) = log 2 64 = 6,

т.е. количество информации отвечает требованию аддитивности: неопределенность объединенно-

го источника равна сумме неопределенностей исходных источников, что соответствует интуитив-

ному требованию к информации: она должна быть однозначной, а ее количество должно быть од-

35

ним и тем же независимо от способа задания.

Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так, если за единицу неопределенности принять три равновероят-

ных состояния, то для определения, например, одной фальшивой золотой монеты (более легкой)

из 27 внешне неотличимых монет потребуется только H = log 3 27 = 3, т.е. три взвешивания на равноплечных весах. Логику исчисления взвешиваний предлагается определить самостоятельно.

Двоичная мера информации получила общее признание в связи с простотой реализации информационной техники на элементах с двумя устойчивыми состояниями. В десятичном исчис-

лении единицей информации является один десятичный разряд - ДИТ.

Энтропия источника информации. Степень неопределенности состояния объекта (или так называемого источника информации) зависит не только от числа его возможных состояний, но и от вероятности этих состояний. При неравновероятных состояниях свобода выбора для источни-

ка ограничивается. Так, если из двух возможных состояний вероятность одного из них равна

0.999, то вероятность другого состояния соответственно равна 1-0.999 = 0.001, и при взаимодей-

ствии с таким источником результат практически предрешен.

Вобщем случае, в соответствии с теорией вероятностей, источник информации однозначно

иполно характеризуется ансамблем состояний U = {u1, u2,..., uN} с вероятностями состояний соот-

ветственно {р(u1), р(u2),..., р(uN)} при условии, что сумма вероятностей всех состояний равна 1.

Мера количества информации, как неопределенности выбора дискретным источником состояния из ансамбля U, предложена К. Шенноном в 1946 году и получила название энтропии дискретного источника информации или энтропии конечного ансамбля:

N

H(U) = - pn log2 pn. (1.4.2)

n 1

Выражение Шеннона совпадает с выражением Больцмана для энтропии физических систем при оценке степени разнообразия их состояний. Мера энтропии Шеннона является обобщением меры Хартли на случай ансамблей с неравновероятными состояниями, в чем нетрудно убедиться,

если в выражении (1.4.2) значение pn заменить значением p=1/N для ансамбля равновероятных со-

стояний. Энтропия конечного ансамбля H(U) характеризует неопределенность, приходящуюся в среднем на одно состояние ансамбля.

Учитывая, что в дальнейшем во всех математических выражениях, касающихся энтропии,

мы будем использовать только двоичное основание логарифма, индекс 2 основания логарифма в формулах будем подразумевать по умолчанию.