Десять лучших конфигураций
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
ELU |
0,96125 |
|
|
2 |
ELU |
SELU |
0,9575 |
|
|
3 |
ELU |
ReLU |
0,955875 |
|
|
4 |
ELU |
SoftPlus |
0,955 |
|
|
5 |
ELU |
SoftSign |
0,954875 |
|
|
6 |
ELU |
Sigmoid |
0,9545 |
|
|
7 |
ELU |
HardSigmoid |
0,954375 |
|
|
8 |
ELU |
HardTanh |
0,95425 |
|
|
9 |
SELU |
HardSigmoid |
0,943875 |
|
|
10 |
SELU |
Sigmoid |
0,943625 |
С шумом {-0.1, 0.1}
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
ELU |
0,925125 |
|
|
2 |
ELU |
SELU |
0,942625 |
|
|
3 |
ELU |
ReLU |
0,90575 |
|
|
4 |
ELU |
SoftPlus |
0,936625 |
|
|
5 |
ELU |
SoftSign |
0,93875 |
|
|
6 |
ELU |
Sigmoid |
0,9465 |
|
|
7 |
ELU |
HardSigmoid |
0,937875 |
|
|
8 |
ELU |
HardTanh |
0,938875 |
|
|
9 |
SELU |
HardSigmoid |
0,916625 |
|
|
10 |
SELU |
Sigmoid |
0,925 |
С шумом {-0.25, 0.25}
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
ELU |
0,929125 |
|
|
2 |
ELU |
SELU |
0,944875 |
|
|
3 |
ELU |
ReLU |
0,92125 |
|
|
4 |
ELU |
SoftPlus |
0,93725 |
|
|
5 |
ELU |
SoftSign |
0,951125 |
|
|
6 |
ELU |
Sigmoid |
0,95175 |
|
|
7 |
ELU |
HardSigmoid |
0,9495 |
|
|
8 |
ELU |
HardTanh |
0,94625 |
|
|
9 |
SELU |
HardSigmoid |
0,907375 |
|
|
10 |
SELU |
Sigmoid |
0,919125 |
С шумом {-0.5, 0.5}
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
ELU |
0,934375 |
|
|
2 |
ELU |
SELU |
0,936125 |
|
|
3 |
ELU |
ReLU |
0,919875 |
|
|
4 |
ELU |
SoftPlus |
0,936125 |
|
|
5 |
ELU |
SoftSign |
0,940375 |
|
|
6 |
ELU |
Sigmoid |
0,945375 |
|
|
7 |
ELU |
HardSigmoid |
0,9395 |
|
|
8 |
ELU |
HardTanh |
0,93975 |
|
|
9 |
SELU |
HardSigmoid |
0,91275 |
|
|
10 |
SELU |
Sigmoid |
0,92075 |
С шумом {-1, 1}
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
ELU |
0,884375 |
|
|
2 |
ELU |
SELU |
0,88725 |
|
|
3 |
ELU |
ReLU |
0,86225 |
|
|
4 |
ELU |
SoftPlus |
0,885 |
|
|
5 |
ELU |
SoftSign |
0,89975 |
|
|
6 |
ELU |
Sigmoid |
0,904375 |
|
|
7 |
ELU |
HardSigmoid |
0,898 |
|
|
8 |
ELU |
HardTanh |
0,896625 |
|
|
9 |
SELU |
HardSigmoid |
0,876625 |
|
|
10 |
SELU |
Sigmoid |
0,885875 |
Итог
Падение точности распознавания заметно только при максимальном уровне шума. Лучший результат при максимальном уровне шума показывает конфигурация ELU/Sigmoid с 90% точности распознавания.
PSK, M=2^n
Без шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ReLU |
ReLU |
0,618125 |
|
|
2 |
ReLU |
ELU |
0,69225 |
|
|
3 |
ReLU |
SELU |
0,713875 |
|
|
4 |
ReLU |
SoftSign |
0,69625 |
|
|
5 |
ReLU |
SoftPlus |
0,738375 |
|
|
6 |
ReLU |
HardTanh |
0,692375 |
|
|
7 |
ReLU |
HardSigmoid |
0,71025 |
|
|
8 |
ReLU |
Sigmoid |
0,71425 |
|
|
9 |
ELU |
ReLU |
0,751625 |
|
|
10 |
ELU |
ELU |
0,79775 |
|
|
11 |
ELU |
SELU |
0,794875 |
|
|
12 |
ELU |
SoftSign |
0,7845 |
|
|
13 |
ELU |
SoftPlus |
0,789875 |
|
|
14 |
ELU |
HardTanh |
0,7765 |
|
|
15 |
ELU |
HardSigmoid |
0,8 |
|
|
16 |
ELU |
Sigmoid |
0,787 |
|
|
17 |
SELU |
ReLU |
0,712375 |
|
|
18 |
SELU |
ELU |
0,748 |
|
|
19 |
SELU |
SELU |
0,726625 |
|
|
20 |
SELU |
SoftSign |
0,737 |
|
|
21 |
SELU |
SoftPlus |
0,74925 |
|
|
22 |
SELU |
HardTanh |
0,707375 |
|
|
23 |
SELU |
HardSigmoid |
0,759875 |
|
|
24 |
SELU |
Sigmoid |
0,766375 |
|
|
25 |
SoftSign |
ReLU |
0,5765 |
|
|
26 |
SoftSign |
ELU |
0,57 |
|
|
27 |
SoftSign |
SELU |
0,575125 |
|
|
28 |
SoftSign |
SoftSign |
0,563 |
|
|
29 |
SoftSign |
SoftPlus |
0,5785 |
|
|
30 |
SoftSign |
HardTanh |
0,57425 |
|
|
31 |
SoftSign |
HardSigmoid |
0,58 |
|
|
32 |
SoftSign |
Sigmoid |
0,55875 |
|
|
33 |
SoftPlus |
ReLU |
0,632125 |
|
|
34 |
SoftPlus |
ELU |
0,68575 |
|
|
35 |
SoftPlus |
SELU |
0,7 |
|
|
36 |
SoftPlus |
SoftSign |
0,6935 |
|
|
37 |
SoftPlus |
SoftPlus |
0,702625 |
|
|
38 |
SoftPlus |
HardTanh |
0,6535 |
|
|
39 |
SoftPlus |
HardSigmoid |
0,670125 |
|
|
40 |
SoftPlus |
Sigmoid |
0,685875 |
|
|
41 |
HardTanh |
ReLU |
0,557625 |
|
|
42 |
HardTanh |
ELU |
0,56525 |
|
|
43 |
HardTanh |
SELU |
0,56575 |
|
|
44 |
HardTanh |
SoftSign |
0,554375 |
|
|
45 |
HardTanh |
SoftPlus |
0,574875 |
|
|
46 |
HardTanh |
HardTanh |
0,54225 |
|
|
47 |
HardTanh |
HardSigmoid |
0,56175 |
|
|
48 |
HardTanh |
Sigmoid |
0,565125 |
|
|
49 |
HardSigmoid |
ReLU |
0,5725 |
|
|
50 |
HardSigmoid |
ELU |
0,632375 |
|
|
51 |
HardSigmoid |
SELU |
0,629375 |
|
|
52 |
HardSigmoid |
SoftSign |
0,622375 |
|
|
53 |
HardSigmoid |
SoftPlus |
0,63275 |
|
|
54 |
HardSigmoid |
HardTanh |
0,620125 |
|
|
55 |
HardSigmoid |
HardSigmoid |
0,622625 |
|
|
56 |
HardSigmoid |
Sigmoid |
0,6205 |
|
|
57 |
Sigmoid |
ReLU |
0,55775 |
|
|
58 |
Sigmoid |
ELU |
0,616375 |
|
|
59 |
Sigmoid |
SELU |
0,633375 |
|
|
60 |
Sigmoid |
SoftSign |
0,605 |
|
|
61 |
Sigmoid |
SoftPlus |
0,617875 |
|
|
62 |
Sigmoid |
HardTanh |
0,60075 |
|
|
63 |
Sigmoid |
HardSigmoid |
0,578875 |
|
|
64 |
Sigmoid |
Sigmoid |
0,568625 |
Десять лучших конфигураций
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
HardSigmoid |
0,8 |
|
|
2 |
ELU |
ELU |
0,79775 |
|
|
3 |
ELU |
SELU |
0,794875 |
|
|
4 |
ELU |
SoftPlus |
0,789875 |
|
|
5 |
ELU |
Sigmoid |
0,787 |
|
|
6 |
ELU |
SoftSign |
0,7845 |
|
|
7 |
ELU |
HardTanh |
0,7765 |
|
|
8 |
SELU |
Sigmoid |
0,766375 |
|
|
9 |
SELU |
HardSigmoid |
0,759875 |
|
|
10 |
ELU |
ReLU |
0,751625 |
Обучение с другими параметрами
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
HardSigmoid |
0,947333 |
|
|
2 |
ELU |
ELU |
0,964 |
|
|
3 |
ELU |
SELU |
0,958333 |
|
|
4 |
ELU |
SoftPlus |
0,948333 |
|
|
5 |
ELU |
Sigmoid |
0,949 |
|
|
6 |
ELU |
SoftSign |
0,950667 |
|
|
7 |
ELU |
HardTanh |
0,958 |
|
|
8 |
SELU |
Sigmoid |
0,912 |
|
|
9 |
SELU |
HardSigmoid |
0,896667 |
|
|
10 |
ELU |
ReLU |
0,954667 |
С шумом {-0.1, 0.1}
Сигнальные созвездия с данным уровнем шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
HardSigmoid |
0,938 |
|
|
2 |
ELU |
ELU |
0,964333 |
|
|
3 |
ELU |
SELU |
0,954667 |
|
|
4 |
ELU |
SoftPlus |
0,959 |
|
|
5 |
ELU |
Sigmoid |
0,955 |
|
|
6 |
ELU |
SoftSign |
0,934 |
|
|
7 |
ELU |
HardTanh |
0,948 |
|
|
8 |
SELU |
Sigmoid |
0,909 |
|
|
9 |
SELU |
HardSigmoid |
0,890333 |
|
|
10 |
ELU |
ReLU |
0,942 |
С шумом {-0.25, 0.25}
Сигнальные созвездия с данным уровнем шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
HardSigmoid |
0,937333 |
|
|
2 |
ELU |
ELU |
0,947667 |
|
|
3 |
ELU |
SELU |
0,954333 |
|
|
4 |
ELU |
SoftPlus |
0,954667 |
|
|
5 |
ELU |
Sigmoid |
0,952 |
|
|
6 |
ELU |
SoftSign |
0,925667 |
|
|
7 |
ELU |
HardTanh |
0,944667 |
|
|
8 |
SELU |
Sigmoid |
0,896667 |
|
|
9 |
SELU |
HardSigmoid |
0,878333 |
|
|
10 |
ELU |
ReLU |
0,921 |
С шумом {-0.5, 0.5}
Сигнальные созвездия с данным уровнем шума
Табл
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
HardSigmoid |
0,907667 |
|
|
2 |
ELU |
ELU |
0,917667 |
|
|
3 |
ELU |
SELU |
0,916667 |
|
|
4 |
ELU |
SoftPlus |
0,915667 |
|
|
5 |
ELU |
Sigmoid |
0,916 |
|
|
6 |
ELU |
SoftSign |
0,906333 |
|
|
7 |
ELU |
HardTanh |
0,896 |
|
|
8 |
SELU |
Sigmoid |
0,875 |
|
|
9 |
SELU |
HardSigmoid |
0,861667 |
|
|
10 |
ELU |
ReLU |
0,907 |
С шумом {-1, 1}
Сигнальные созвездия с данным уровнем шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ELU |
HardSigmoid |
0,795667 |
|
|
2 |
ELU |
ELU |
0,800667 |
|
|
3 |
ELU |
SELU |
0,810667 |
|
|
4 |
ELU |
SoftPlus |
0,807333 |
|
|
5 |
ELU |
Sigmoid |
0,814333 |
|
|
6 |
ELU |
SoftSign |
0,794333 |
|
|
7 |
ELU |
HardTanh |
0,786667 |
|
|
8 |
SELU |
Sigmoid |
0,757333 |
|
|
9 |
SELU |
HardSigmoid |
0,755 |
|
|
10 |
ELU |
ReLU |
0,786333 |
Итог
Падение точности распознавания заметно уже при шуме {-0.5, 0.5}. Лучший результат так же показала конфигурация ELU/Sigmoid с 81% точности распознавания.
APSK, M=2^(2n)
Без шума
|
№ |
Первая функция активации |
Вторая функция активации |
Точность распознавания |
|
|
1 |
ReLU |
ReLU |
0,91075 |
|
|
2 |
ReLU |
ELU |
0,970875 |
|
|
3 |
ReLU |
SELU |
0,9745 |
|
|
4 |
ReLU |
SoftSign |
0,974875 |
|
|
5 |
ReLU |
SoftPlus |
0,967875 |
|
|
6 |
ReLU |
HardTanh |
0,94275 |
|
|
7 |
ReLU |
HardSigmoid |
0,960125 |
|
|
8 |
ReLU |
Sigmoid |
0,9635 |
|
|
9 |
ELU |
ReLU |
0,939625 |
|
|
10 |
ELU |
ELU |
0,981 |
|
|
11 |
ELU |
SELU |
0,98225 |
|
|
12 |
ELU |
SoftSign |
0,9755 |
|
|
13 |
ELU |
SoftPlus |
0,96425 |
|
|
14 |
ELU |
HardTanh |
0,959625 |
|
|
15 |
ELU |
HardSigmoid |
0,97025 |
|
|
16 |
ELU |
Sigmoid |
0,974875 |
|
|
17 |
SELU |
ReLU |
0,947875 |
|
|
18 |
SELU |
ELU |
0,97125 |
|
|
19 |
SELU |
SELU |
0,97725 |
|
|
20 |
SELU |
SoftSign |
0,96925 |
|
|
21 |
SELU |
SoftPlus |
0,9655 |
|
|
22 |
SELU |
HardTanh |
0,9485 |
|
|
23 |
SELU |
HardSigmoid |
0,969 |
|
|
24 |
SELU |
Sigmoid |
0,977875 |
|
|
25 |
SoftSign |
ReLU |
0,80075 |
|
|
26 |
SoftSign |
ELU |
0,7945 |
|
|
27 |
SoftSign |
SELU |
0,786625 |
|
|
28 |
SoftSign |
SoftSign |
0,791125 |
|
|
29 |
SoftSign |
SoftPlus |
0,819875 |
|
|
30 |
SoftSign |
HardTanh |
0,790625 |
|
|
31 |
SoftSign |
HardSigmoid |
0,804375 |
|
|
32 |
SoftSign |
Sigmoid |
0,793875 |
|
|
33 |
SoftPlus |
ReLU |
0,932625 |
|
|
34 |
SoftPlus |
ELU |
0,95925 |
|
|
35 |
SoftPlus |
SELU |
0,9695 |
|
|
36 |
SoftPlus |
SoftSign |
0,981125 |
|
|
37 |
SoftPlus |
SoftPlus |
0,967 |
|
|
38 |
SoftPlus |
HardTanh |
0,96075 |
|
|
39 |
SoftPlus |
HardSigmoid |
0,968125 |
|
|
40 |
SoftPlus |
Sigmoid |
0,97925 |
|
|
41 |
HardTanh |
ReLU |
0,730625 |
|
|
42 |
HardTanh |
ELU |
0,757125 |
|
|
43 |
HardTanh |
SELU |
0,74775 |
|
|
44 |
HardTanh |
SoftSign |
0,763875 |
|
|
45 |
HardTanh |
SoftPlus |
0,770625 |
|
|
46 |
HardTanh |
HardTanh |
0,745125 |
|
|
47 |
HardTanh |
HardSigmoid |
0,756 |
|
|
48 |
HardTanh |
Sigmoid |
0,757 |
|
|
49 |
HardSigmoid |
ReLU |
0,806375 |
|
|
50 |
HardSigmoid |
ELU |
0,81625 |
|
|
51 |
HardSigmoid |
SELU |
0,802875 |
|
|
52 |
HardSigmoid |
SoftSign |
0,8095 |
|
|
53 |
HardSigmoid |
SoftPlus |
0,80875 |
|
|
54 |
HardSigmoid |
HardTanh |
0,813625 |
|
|
55 |
HardSigmoid |
HardSigmoid |
0,817375 |
|
|
56 |
HardSigmoid |
Sigmoid |
0,813875 |
|
|
57 |
Sigmoid |
ReLU |
0,8595 |
|
|
58 |
Sigmoid |
ELU |
0,86375 |
|
|
59 |
Sigmoid |
SELU |
0,85475 |
|
|
60 |
Sigmoid |
SoftSign |
0,85725 |
|
|
61 |
Sigmoid |
SoftPlus |
0,85 |
|
|
62 |
Sigmoid |
HardTanh |
0,866875 |
|
|
63 |
Sigmoid |
HardSigmoid |
0,86 |
|
|
64 |
Sigmoid |
Sigmoid |
0,858 |