Дипломная работа: Разработка программы распознавания модуляции радиосигнала в сложной помеховой обстановке

Создание обучающих выборок

Для создания обучающей выборки потребовалось написать генератор отсчетов сигнала. Для генерирования сигнала с нужным типом модуляции на вход генератору подается множество, соответствующее сигнальному созвездию данного типа модуляции. Далее генератор случайных чисел выбирает пар (в данном случае ) синфазной и квадратурной частей сигнала. В случае если нужно добавить в сигнал шум, то ГСЧ генерирует число из заданного диапазона уровня шума и угол, на который итоговое отклонение будет повернуто относительно горизонтали. В итоге было создано 30 выборок с различными типами модуляций и различным уровнем шума.

Обзор функций активации

Одним из важнейших аспектов любой нейронной сети является функция активации, которая привносит в сеть нелинейность. Вектор входных данных умножается на матрицу весов. Затем полученный вектор суммируется. Полученное число подается на вход функции активации. Функция активации выдает выходной сигнал искусственного нейрона. В данной работе было рассмотрено восемь из наиболее часто встречающихся функций активации.

ReLU

“Выпрямитель” (Rectifier) является наиболее часто используемой функцией активации в моделях глубокого обучения. Функция возвращает 0, если она получает какие-либо отрицательные входные данные, но для любого положительного значения она возвращает это значение обратно. Нейроны с данной функцией активации называются ReLU (rectified linear unit) 14..

Соответственно формула данной функции выглядит так:

График данной функции:

Удивительно, что такая простая функция, которая состоит из двух линейных частей, может позволить модели так хорошо учитывать нелинейности и взаимодействия, но функция ReLU прекрасно работает в большинстве случаев и в результате очень широко используется.

Важным свойством любой функции активации является ее нелинейность. Функция является нелинейной, если наклон не постоянен. Таким образом, функция ReLU будет нелинейной около 0, но угловой коэффициент всегда равен 0 для отрицательных значений и 1 для положительных значений. Это довольно ограниченный тип нелинейности, но есть две особенности в строении нейронных сетей, которые позволяют нам создавать много разных типов нелинейностей из того, как мы комбинируем нейроны с данной функцией активации.

Во-первых, в большинстве случаев нейроны имеют смещение. Смещение -- это константа, которая определяется во время обучения модели. В качестве примера рассмотрим отдельный нейрон. Сумму входных данных умноженных на вектор весов назовем . Возьмем в качестве смещения некоторое число . Тогда выход нейрона будет . В таком случае, если меньше , то выход нейрона будет равен 0, а угловой коэффициент будет равен 0. Если больше , то выход нейрона будет равен , а угловой коэффициент будет равен 1. Таким образом благодаря смещению мы можем менять точку изменения углового коэффициента.

Во-вторых, нейронные сети состоят из множества нейронов. Каждый нейрон (даже в пределах одного слоя) может иметь различное значение для своего смещения. Таким образом каждый нейрон может изменять точку изменения углового коэффициента для одинакового входа.

В итоге, когда мы используем несколько нейронов и/или слоев, то мы получаем комбинированную функцию, которая изменяет угловой коэффициент во многих точках. По мере добавления большего количества нейронов в каждом слое, уровень нелинейности будет только расти.

ELU

Функция активации Exponential Linear Unit (ELU) является дальнейшем развитием ReLU. Исследования показывают, что использование этой функции позволяет, как правило, быстрее получить требуемый результат и дает более точный итоговый результат. В отличие от других функций активации, ELU имеет дополнительный фиксированный параметр , который должен быть положительным числом 15..

Формула данной функции:

График (при ):

ELU очень похож на ReLU, кроме отрицательных входов. Обе функции дают идентичный выход для неотрицательных входных данных. С другой стороны, ELU медленно сглаживается до тех пор, пока его выход не станет равным , тогда как ReLU резко сглаживается.

Таким образом, ELU является сильной альтернативой ReLU в качестве функции активации в нейронных сетях. В отличие от ReLU, ELU может давать отрицательные результаты.

SELU

Искусственные нейронные сети обучаются методом обратного распространения ошибки. Основная идея заключается в том, что сеть обновляет свои веса и смещения в направлении, указанном градиентами. Потенциальная проблема с обратным распространением состоит в том, что градиенты могут стать слишком маленькими. Когда ваша сеть страдает от исчезающих градиентов, веса не будут корректироваться, и обучение останавливается. Нейронные сети с большим количеством слоев при обучении перемножают множество градиентов. Если градиенты близки к нулю, то результат умножения стремится к нулю. Это, в свою очередь, подталкивает другие градиенты ближе к нулю и так далее.

Рассмотренная выше функция ReLU заменяет отрицательные значения на ноль и оставляет положительные значения без изменений. Градиент этой функции активации настолько прост, насколько это возможно. Это ноль для значений меньше нуля, и единица для положительных. По этой причине ReLU предотвращает исчезновение градиентов. Градиентов близких к нулю нет, следовательно проблемы с затуханием градиентов нет.

Тем не менее, существует потенциальная проблема с ReLU: нейрон с этой функцией активации может попасть в мертвое состояние. Может возникнуть ситуация, при которой изменение весов настолько велико, а результат на следующей итерации настолько мал, что функция активации застревает с левой стороны от нуля. Уязвимая ячейка больше не может способствовать изучению сети, и ее градиент остается нулевым. Если это происходит со многими нейронами в вашей сети, то мощность обученной сети остается ниже ее теоретических возможностей. Проблемы с исчезающими градиентами больше нет, но теперь есть проблема с умирающими ReLU.

Один из вариантов решения этой проблемы это нормализация выхода функции активации, но есть и другой подход - функция активации, которая выводит уже нормализованные значения.

Одна из таких функций это SELU?(scaled exponential linear units) 16..

Ее формула:

SELU -- это своего рода ELU, но с небольшим уклоном. В ней есть два фиксированных параметра и . Они не являются гиперпараметрами для принятия решений.

Если данные масштабированы, то для получения нулевого среднего значения и единичного среднего отклонения, значения параметров и должны составлять и соответственно.

График функции при данных значениях параметров и :

Softsign

Softsign это еще одна нелинейная функция 17..

Ее формула:

Ее график:

В качестве функции активации ее можно рассматривать как альтернативу гиперболическому тангенсу. Обе функции масштабируют выход в диапазоне .

Softplus

Для работы алгоритма обратного распространения ошибки нужно знать производную функции активации. По этой причине одно из важных свойств функции активации это ее дифференцируемость. Например, функции скачкообразного (ступенчатого) типа абсолютно бесполезны для обратного распространения ошибки, так как не имеют значимой производной. Поэтому функции активации сигмоидального и гиперболического типа пользуются большой популярностью. Одна из таких функций - softplus 18..

ЕЕ формула:

ЕЕ график:

Данная функция имеет интересную производную. Найдем ее:

При внимательном рассмотрении видно, что производная функции softplus это сигмоида. О ней мы поговорим ниже.

Hardtanh

Кусочно-заданная функция hardtanh - это функция активации на основе гиперболического тангенса 19..

Формула:

График:

Hardsigmoid

Еще одна кусочно-заданная функция активации это hardsigmoid. Она является обобщением сигмоидальной функции. Так как функция состоит из трех линейных частей то её гораздо проще и быстрее вычислить чем обычную сигмоиду.

Формула:

График:

Sigmoid

Сигмоидальная функция преобразует любое действительное число из диапазона в диапазон 20.. Посмотрим на её формулу:

И ее график:

Эта функция дифференцируема, найдем ее производную:

Здесь мы находим интересную особенность: производная сигмоидальной функции выражается через саму сигмоидальную функцию. Это позволяет производить более быстрые вычисления при работе алгоритма обратного распространения ошибки.

Сигмоидальная функция монотонна, но ее производная не монотонна.

Также сигмоидальная функция используется в логистической регрессии. С ее помощью решается задача классификации с двумя классами.

Обучение нейронных сетей

Обучение и выбор лучшей конфигурации нейронной сети для каждого из трех рассматриваемых видов модуляции происходило в два этапа.

На первом рассматривалась выборки с типами модуляции с четной степенью позиционности. В начале обучение происходило на выборке с не зашумленными сигналами. Для обучения выбиралось 2000 сигналов из выборки. Максимальное количество раундов обучения равнялось 32, а размер группы данных равнялся 16. Из 64 полученных нейронных сетей выбиралось 10 конфигураций с лучшей точностью распознавания. Затем выбранные конфигурации обучались на выборках с зашумленными сигналами.

На втором этапе рассматривались выборки как с четными, так и с нечетными степенями. Как и на первом этапе, в начале обучение происходило на не зашумленных сигналах с такими же параметрами обучения и выбиралось 10 лучший конфигураций. Для улучшения точности распознавания выбранные конфигурации обучались с другими параметрами обучения. Для обучения выбиралось 7000 сигналов из выборки. Максимальное количество раундов обучения равнялось 48, а размер группы данных равнялся 32. Затем вновь, как и на первом этапе, выбранные конфигурации обучались на выборках с зашумленными сигналами.

PSK, M=2^(2n)

Без шума