Десять лучших конфигураций
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,988 |
|
|
2 |
SELU |
Sigmoid |
0,98475 |
|
|
3 |
ELU |
Sigmoid |
0,98475 |
|
|
4 |
ELU |
SELU |
0,982625 |
|
|
5 |
SoftPlus |
Sigmoid |
0,980625 |
|
|
6 |
ELU |
HardSigmoid |
0,979875 |
|
|
7 |
ELU |
ELU |
0,979625 |
|
|
8 |
SELU |
SoftSign |
0,97925 |
|
|
9 |
SELU |
HardSigmoid |
0,97825 |
|
|
10 |
ELU |
SoftSign |
0,978 |
С шумом {-0.1, 0.1}
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,975 |
|
|
2 |
SELU |
Sigmoid |
0,982125 |
|
|
3 |
ELU |
Sigmoid |
0,979125 |
|
|
4 |
ELU |
SELU |
0,981625 |
|
|
5 |
SoftPlus |
Sigmoid |
0,976625 |
|
|
6 |
ELU |
HardSigmoid |
0,9735 |
|
|
7 |
ELU |
ELU |
0,979875 |
|
|
8 |
SELU |
SoftSign |
0,977625 |
|
|
9 |
SELU |
HardSigmoid |
0,97325 |
|
|
10 |
ELU |
SoftSign |
0,969 |
С шумом {-0.25, 0.25}
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,978 |
|
|
2 |
SELU |
Sigmoid |
0,98175 |
|
|
3 |
ELU |
Sigmoid |
0,981125 |
|
|
4 |
ELU |
SELU |
0,984875 |
|
|
5 |
SoftPlus |
Sigmoid |
0,970375 |
|
|
6 |
ELU |
HardSigmoid |
0,967375 |
|
|
7 |
ELU |
ELU |
0,972875 |
|
|
8 |
SELU |
SoftSign |
0,97225 |
|
|
9 |
SELU |
HardSigmoid |
0,974625 |
|
|
10 |
ELU |
SoftSign |
0,967 |
С шумом {-0.5, 0.5}
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,974125 |
|
|
2 |
SELU |
Sigmoid |
0,98 |
|
|
3 |
ELU |
Sigmoid |
0,9795 |
|
|
4 |
ELU |
SELU |
0,981125 |
|
|
5 |
SoftPlus |
Sigmoid |
0,9775 |
|
|
6 |
ELU |
HardSigmoid |
0,96925 |
|
|
7 |
ELU |
ELU |
0,97925 |
|
|
8 |
SELU |
SoftSign |
0,9725 |
|
|
9 |
SELU |
HardSigmoid |
0,971625 |
|
|
10 |
ELU |
SoftSign |
0,967375 |
С шумом {-1, 1}
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,975625 |
|
|
2 |
SELU |
Sigmoid |
0,977625 |
|
|
3 |
ELU |
Sigmoid |
0,987125 |
|
|
4 |
ELU |
SELU |
0,988125 |
|
|
5 |
SoftPlus |
Sigmoid |
0,974125 |
|
|
6 |
ELU |
HardSigmoid |
0,97875 |
|
|
7 |
ELU |
ELU |
0,98075 |
|
|
8 |
SELU |
SoftSign |
0,970625 |
|
|
9 |
SELU |
HardSigmoid |
0,966125 |
|
|
10 |
ELU |
SoftSign |
0,97525 |
Итог
Все десять конфигураций показывают очень высокую точность распознавания в ~98% при любом уровне шума. Лучший результат при максимальном уровне шума показала конфигурация ELU/SELU с 99% точности распознавания.
QAM, M=2^n
Без шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ReLU |
ReLU |
0,534875 |
|
|
2 |
ReLU |
ELU |
0,64375 |
|
|
3 |
ReLU |
SELU |
0,67775 |
|
|
4 |
ReLU |
SoftSign |
0,58525 |
|
|
5 |
ReLU |
SoftPlus |
0,6605 |
|
|
6 |
ReLU |
HardTanh |
0,519375 |
|
|
7 |
ReLU |
HardSigmoid |
0,565 |
|
|
8 |
ReLU |
Sigmoid |
0,658125 |
|
|
9 |
ELU |
ReLU |
0,642875 |
|
|
10 |
ELU |
ELU |
0,728875 |
|
|
11 |
ELU |
SELU |
0,766625 |
|
|
12 |
ELU |
SoftSign |
0,725125 |
|
|
13 |
ELU |
SoftPlus |
0,712375 |
|
|
14 |
ELU |
HardTanh |
0,65225 |
|
|
15 |
ELU |
HardSigmoid |
0,698 |
|
|
16 |
ELU |
Sigmoid |
0,758875 |
|
|
17 |
SELU |
ReLU |
0,6595 |
|
|
18 |
SELU |
ELU |
0,74675 |
|
|
19 |
SELU |
SELU |
0,777375 |
|
|
20 |
SELU |
SoftSign |
0,762875 |
|
|
21 |
SELU |
SoftPlus |
0,72075 |
|
|
22 |
SELU |
HardTanh |
0,679875 |
|
|
23 |
SELU |
HardSigmoid |
0,731625 |
|
|
24 |
SELU |
Sigmoid |
0,76925 |
|
|
25 |
SoftSign |
ReLU |
0,465875 |
|
|
26 |
SoftSign |
ELU |
0,449625 |
|
|
27 |
SoftSign |
SELU |
0,4545 |
|
|
28 |
SoftSign |
SoftSign |
0,43675 |
|
|
29 |
SoftSign |
SoftPlus |
0,480125 |
|
|
30 |
SoftSign |
HardTanh |
0,436375 |
|
|
31 |
SoftSign |
HardSigmoid |
0,456875 |
|
|
32 |
SoftSign |
Sigmoid |
0,448375 |
|
|
33 |
SoftPlus |
ReLU |
0,5725 |
|
|
34 |
SoftPlus |
ELU |
0,601625 |
|
|
35 |
SoftPlus |
SELU |
0,667875 |
|
|
36 |
SoftPlus |
SoftSign |
0,678125 |
|
|
37 |
SoftPlus |
SoftPlus |
0,7025 |
|
|
38 |
SoftPlus |
HardTanh |
0,57375 |
|
|
39 |
SoftPlus |
HardSigmoid |
0,6225 |
|
|
40 |
SoftPlus |
Sigmoid |
0,71675 |
|
|
41 |
HardTanh |
ReLU |
0,3985 |
|
|
42 |
HardTanh |
ELU |
0,423625 |
|
|
43 |
HardTanh |
SELU |
0,419 |
|
|
44 |
HardTanh |
SoftSign |
0,389875 |
|
|
45 |
HardTanh |
SoftPlus |
0,44625 |
|
|
46 |
HardTanh |
HardTanh |
0,390875 |
|
|
47 |
HardTanh |
HardSigmoid |
0,415375 |
|
|
48 |
HardTanh |
Sigmoid |
0,428375 |
|
|
49 |
HardSigmoid |
ReLU |
0,453125 |
|
|
50 |
HardSigmoid |
ELU |
0,489125 |
|
|
51 |
HardSigmoid |
SELU |
0,49225 |
|
|
52 |
HardSigmoid |
SoftSign |
0,4805 |
|
|
53 |
HardSigmoid |
SoftPlus |
0,49575 |
|
|
54 |
HardSigmoid |
HardTanh |
0,4745 |
|
|
55 |
HardSigmoid |
HardSigmoid |
0,48625 |
|
|
56 |
HardSigmoid |
Sigmoid |
0,51275 |
|
|
57 |
Sigmoid |
ReLU |
0,548 |
|
|
58 |
Sigmoid |
ELU |
0,564375 |
|
|
59 |
Sigmoid |
SELU |
0,584375 |
|
|
60 |
Sigmoid |
SoftSign |
0,5595 |
|
|
61 |
Sigmoid |
SoftPlus |
0,541125 |
|
|
62 |
Sigmoid |
HardTanh |
0,54925 |
|
|
63 |
Sigmoid |
HardSigmoid |
0,549625 |
|
|
64 |
Sigmoid |
Sigmoid |
0,54825 |
Десять лучших конфигураций
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,777375 |
|
|
2 |
SELU |
Sigmoid |
0,76925 |
|
|
3 |
ELU |
SELU |
0,766625 |
|
|
4 |
SELU |
SoftSign |
0,762875 |
|
|
5 |
ELU |
Sigmoid |
0,758875 |
|
|
6 |
SELU |
ELU |
0,74675 |
|
|
7 |
SELU |
HardSigmoid |
0,731625 |
|
|
8 |
ELU |
ELU |
0,728875 |
|
|
9 |
ELU |
SoftSign |
0,725125 |
|
|
10 |
SELU |
SoftPlus |
0,72075 |
Обучение с другими параметрами
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,912 |
|
|
2 |
SELU |
Sigmoid |
0,897333 |
|
|
3 |
ELU |
SELU |
0,924 |
|
|
4 |
SELU |
SoftSign |
0,901 |
|
|
5 |
ELU |
Sigmoid |
0,914667 |
|
|
6 |
SELU |
ELU |
0,898333 |
|
|
7 |
SELU |
HardSigmoid |
0,903667 |
|
|
8 |
ELU |
ELU |
0,913333 |
|
|
9 |
ELU |
SoftSign |
0,902333 |
|
|
10 |
SELU |
SoftPlus |
0,878333 |
С шумом {-0.1, 0.1}
Сигнальные созвездия с данным уровнем шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,913333 |
|
|
2 |
SELU |
Sigmoid |
0,897333 |
|
|
3 |
ELU |
SELU |
0,925 |
|
|
4 |
SELU |
SoftSign |
0,894667 |
|
|
5 |
ELU |
Sigmoid |
0,911 |
|
|
6 |
SELU |
ELU |
0,902 |
|
|
7 |
SELU |
HardSigmoid |
0,894 |
|
|
8 |
ELU |
ELU |
0,906667 |
|
|
9 |
ELU |
SoftSign |
0,914667 |
|
|
10 |
SELU |
SoftPlus |
0,878333 |
С шумом {-0.25, 0.25}
Сигнальные созвездия с данным уровнем шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,903667 |
|
|
2 |
SELU |
Sigmoid |
0,902333 |
|
|
3 |
ELU |
SELU |
0,929333 |
|
|
4 |
SELU |
SoftSign |
0,904 |
|
|
5 |
ELU |
Sigmoid |
0,910333 |
|
|
6 |
SELU |
ELU |
0,901 |
|
|
7 |
SELU |
HardSigmoid |
0,893 |
|
|
8 |
ELU |
ELU |
0,904333 |
|
|
9 |
ELU |
SoftSign |
0,899 |
|
|
10 |
SELU |
SoftPlus |
0,867667 |
С шумом {-0.5, 0.5}
Сигнальные созвездия с данным уровнем шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,912333 |
|
|
2 |
SELU |
Sigmoid |
0,901667 |
|
|
3 |
ELU |
SELU |
0,925 |
|
|
4 |
SELU |
SoftSign |
0,899 |
|
|
5 |
ELU |
Sigmoid |
0,918667 |
|
|
6 |
SELU |
ELU |
0,909 |
|
|
7 |
SELU |
HardSigmoid |
0,899667 |
|
|
8 |
ELU |
ELU |
0,91 |
|
|
9 |
ELU |
SoftSign |
0,901667 |
|
|
10 |
SELU |
SoftPlus |
0,878667 |
С шумом {-1, 1}
Сигнальные созвездия с данным уровнем шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
SELU |
SELU |
0,906 |
|
|
2 |
SELU |
Sigmoid |
0,898 |
|
|
3 |
ELU |
SELU |
0,911333 |
|
|
4 |
SELU |
SoftSign |
0,898667 |
|
|
5 |
ELU |
Sigmoid |
0,905333 |
|
|
6 |
SELU |
ELU |
0,882333 |
|
|
7 |
SELU |
HardSigmoid |
0,902333 |
|
|
8 |
ELU |
ELU |
0,892667 |
|
|
9 |
ELU |
SoftSign |
0,882 |
|
|
10 |
SELU |
SoftPlus |
0,876667 |
Итог
Как и в предыдущем случае, западения точности распознавания нет при любом уровне шума, но в целом точность распознавания просела на ~5%. Лучший результат вновь показала конфигурация ELU/SELU с 91% точности распознавания.
Программа
Используя конфигурации нейронных сетей, которые показывали лучшие результаты для каждой выборки была написана программа, которая с их помощью определяет тип модуляции сигнала. Нейронные сети и программы были написаны в среде Wolfram Mathematica. Код лежит в отрытом доступе на платформе GitHub 21..
Интерфейс программы.
Мы можем выбрать интересующую нас выборку.
И интересующую нас нейронную сеть.
Каждая выборка содержит 10000 сигналов. Для тестирования мы можем выбрать любой из них. К примеру, 42 сигнал из выборки, содержащей QAM сигналы без шума. Мы можем его посмотреть.
И соответственно можем определить тип модуляции сигнала с помощью нейронной сети.
Как мы видим, тип модуляции сигнала и результат, который выдала программа, совпали.
Выводы и заключение
информация сигнал модуляция программа нейронный
Одним из результатов, полученных в ходе данного исследования, является возможность использования нейронных сетей для эффективного определения типов модуляции различных видов и с различным уровнем шума. Эффективно работающая архитектура нейронной сети оказалась достаточно простой. Не нужно использовать нейронные сети со сложной структурой. Другим результатом является нахождение функций активации, которые дают высокий процент распознавания в соответствующих конфигурациях нейронных сетей. Интересен и тот факт, что в случаях с APSK и QAM, точность распознавания не падает на сигналах с высоким уровнем шума.