3.3.4 Удаление признаков с неизвестными значениями
Если в каждом элементе выборки значения фактора неизвестно, то такой фактор удаляется. В рассматриваемом примере в результате анализа выборки факторы с неизвестными значениями не обнаружены.
3.3.5 Удаление факторов с постоянными значениями
В рассматриваемом примере в результате анализа факторы с постоянными значениями не обнаружены.
3.3.6 Устранение одинаковых элементов выборки
Выборка должна быть множеством различных между собой элементов. Поэтому в ней не должно встречаться хотя бы двух одинаковых элементов, для которых совпадают вектора значений факторов и значения целевых показателей. В некоторых случаях бывает целесообразно сохранять информацию о частоте, с которой каждый элемент встречается в исходной выборке:
,
где. x* - вектор значений факторов,
y - целевой показатель,
- пространство значений признаков,
p - частота с которой (x*,y) присутствовала в исходной выборке.
В результате анализа выборки, были обнаружены одинаковые элементы (строки таблицы 12 с номерами: 51-56, 58-61, 65-69, 74-79, 81-100). Данные строки выделены в таблице 12 красным цветом. Удалимиз выборки повторяющиеся значения. Итоговая выборка представлена в таблице 13.
Таким образом, было произведено устранение одинаковых элементов выборки.
Таблица 13. Начало
|
X1 |
X2 |
X3 |
X4 |
X5 |
X6 |
X7 |
X8 |
X9 |
Y |
||
|
1 |
0223 |
0617 |
0240 |
0117 |
8750 |
0000 |
0012 |
0074 |
0006 |
1 |
|
|
2 |
0211 |
0590 |
0241 |
0084 |
7274 |
0253 |
0020 |
0307 |
0004 |
1 |
|
|
3 |
0206 |
0594 |
0237 |
0045 |
2180 |
0254 |
0029 |
0683 |
0011 |
1 |
|
|
4 |
0229 |
0572 |
0244 |
0075 |
6375 |
0254 |
0024 |
0505 |
0007 |
1 |
|
|
5 |
0220 |
0823 |
0196 |
0104 |
9072 |
0254 |
0027 |
0452 |
0008 |
1 |
|
|
6 |
0197 |
1045 |
0229 |
0119 |
12249 |
0255 |
0022 |
0291 |
0004 |
1 |
|
|
7 |
0149 |
1063 |
0134 |
0131 |
11668 |
0255 |
0020 |
0343 |
0001 |
1 |
|
|
8 |
0189 |
0763 |
0186 |
0131 |
15596 |
0255 |
0013 |
0141 |
0001 |
1 |
|
|
9 |
0206 |
0658 |
0244 |
0148 |
12709 |
0255 |
0007 |
0081 |
0001 |
1 |
|
|
10 |
0215 |
0699 |
0244 |
0120 |
13956 |
0000 |
0012 |
0152 |
0003 |
1 |
|
|
11 |
0220 |
0938 |
0251 |
0119 |
7418 |
0255 |
0015 |
0077 |
0007 |
1 |
|
|
12 |
0217 |
0940 |
0195 |
0141 |
12071 |
0255 |
0019 |
0309 |
0004 |
1 |
|
|
13 |
0192 |
1950 |
0146 |
0136 |
11295 |
0255 |
0031 |
0683 |
0011 |
1 |
|
|
14 |
0169 |
1691 |
0187 |
0088 |
4306 |
0052 |
0022 |
0503 |
0007 |
1 |
|
|
15 |
0227 |
0685 |
0252 |
0160 |
10798 |
0255 |
0028 |
0455 |
0008 |
1 |
|
|
16 |
0242 |
0577 |
0255 |
0157 |
11346 |
0255 |
0022 |
0292 |
0007 |
1 |
|
|
17 |
0245 |
0385 |
0254 |
0174 |
10600 |
0255 |
0022 |
0343 |
0003 |
1 |
|
|
18 |
0237 |
0837 |
0254 |
0148 |
14182 |
0255 |
0014 |
0143 |
0003 |
1 |
|
|
19 |
0219 |
1036 |
0254 |
0144 |
13469 |
0255 |
0008 |
0081 |
0001 |
1 |
|
|
20 |
0207 |
1358 |
0165 |
0113 |
15051 |
0000 |
0012 |
0152 |
0003 |
1 |
|
|
21 |
0211 |
0397 |
0204 |
0088 |
5112 |
0031 |
0008 |
0062 |
0002 |
1 |
|
|
22 |
0228 |
0561 |
0244 |
0065 |
2385 |
0026 |
0013 |
0155 |
0006 |
1 |
|
|
23 |
0212 |
0845 |
0246 |
0039 |
0460 |
0050 |
0019 |
0347 |
0002 |
1 |
|
|
24 |
0209 |
0205 |
0203 |
0112 |
11941 |
0255 |
0019 |
0158 |
0004 |
1 |
|
|
25 |
0190 |
0286 |
0169 |
0136 |
12571 |
0255 |
0007 |
0066 |
0004 |
1 |
|
|
26 |
0233 |
0646 |
0249 |
0123 |
12986 |
0255 |
0009 |
0115 |
0001 |
1 |
|
|
27 |
0220 |
0560 |
0204 |
0089 |
6203 |
0255 |
0015 |
0095 |
0025 |
1 |
|
|
28 |
0241 |
0543 |
0247 |
0029 |
1939 |
0056 |
0004 |
0019 |
0002 |
1 |
|
|
29 |
0220 |
0910 |
0246 |
0030 |
4263 |
0245 |
0013 |
0085 |
0006 |
1 |
|
|
30 |
0216 |
0995 |
0244 |
0058 |
2028 |
0000 |
0002 |
0006 |
0002 |
1 |
|
|
31 |
0233 |
0342 |
0253 |
0093 |
2151 |
0049 |
0021 |
0117 |
0029 |
1 |
|
|
32 |
0239 |
0308 |
0233 |
0072 |
2746 |
0061 |
0019 |
0153 |
0007 |
1 |
|
|
33 |
0240 |
0526 |
0254 |
0036 |
1921 |
0000 |
0005 |
0086 |
0001 |
1 |
|
|
34 |
0222 |
0725 |
0202 |
0036 |
2239 |
0000 |
0020 |
0097 |
0018 |
1 |
|
|
35 |
0235 |
0583 |
0254 |
0033 |
1326 |
0000 |
0014 |
0048 |
0013 |
1 |
|
|
36 |
0247 |
0515 |
0254 |
0115 |
13847 |
0000 |
0018 |
0100 |
0017 |
1 |
|
|
37 |
0248 |
0164 |
0255 |
0127 |
13417 |
0000 |
0018 |
0153 |
0023 |
1 |
|
|
38 |
0241 |
0407 |
0236 |
0133 |
11271 |
0255 |
0022 |
0105 |
0025 |
1 |
|
|
39 |
0231 |
0624 |
0219 |
0106 |
8579 |
0254 |
0021 |
0114 |
0033 |
1 |
|
|
40 |
0214 |
0613 |
0209 |
0082 |
4568 |
0254 |
0009 |
0040 |
0008 |
1 |
|
|
41 |
0104 |
3359 |
0084 |
0124 |
13484 |
0255 |
0065 |
6425 |
0011 |
1 |
|
|
42 |
0103 |
3053 |
0085 |
0078 |
13456 |
0000 |
0062 |
5998 |
0004 |
1 |
|
|
43 |
0080 |
0151 |
0080 |
0110 |
15185 |
0254 |
0010 |
0825 |
0004 |
1 |
|
|
44 |
0216 |
2036 |
0253 |
0130 |
15089 |
0255 |
0051 |
5091 |
0005 |
1 |
|
|
45 |
0213 |
1844 |
0252 |
0036 |
4419 |
0000 |
0065 |
5866 |
0002 |
1 |
|
|
46 |
0154 |
1282 |
0139 |
0121 |
13735 |
0255 |
0060 |
5108 |
0007 |
1 |
|
|
47 |
0197 |
1827 |
0249 |
0073 |
9953 |
0255 |
0023 |
1041 |
0001 |
1 |
Таблица 13. Окончание
|
X1 |
X2 |
X3 |
X4 |
X5 |
X6 |
X7 |
X8 |
X9 |
Y |
||
|
48 |
0177 |
0804 |
0163 |
0117 |
15355 |
0254 |
0022 |
0712 |
0007 |
1 |
|
|
49 |
0166 |
0311 |
0165 |
0132 |
14657 |
0254 |
0028 |
0986 |
0002 |
1 |
|
|
50 |
0179 |
0675 |
0173 |
0099 |
14992 |
0254 |
0022 |
0922 |
0002 |
1 |
|
|
51 |
0243 |
0101 |
0243 |
0000 |
0000 |
0000 |
0006 |
0002 |
0006 |
0 |
|
|
52 |
0244 |
0000 |
0244 |
0002 |
0020 |
0000 |
0001 |
0003 |
0002 |
0 |
|
|
53 |
0245 |
0000 |
0245 |
0000 |
0002 |
0000 |
0000 |
0001 |
0000 |
0 |
|
|
54 |
0232 |
0110 |
0234 |
0002 |
0018 |
0000 |
0002 |
0003 |
0004 |
0 |
|
|
55 |
0254 |
0360 |
0255 |
0002 |
0025 |
0000 |
0001 |
0001 |
0001 |
0 |
|
|
56 |
0255 |
0000 |
0255 |
0002 |
0010 |
0000 |
0001 |
0001 |
0002 |
0 |
|
|
57 |
0255 |
0000 |
0255 |
0000 |
0000 |
0000 |
0001 |
0000 |
0000 |
0 |
|
|
58 |
0250 |
0501 |
0251 |
0004 |
0049 |
0000 |
0000 |
0001 |
0000 |
0 |
|
|
59 |
0255 |
0000 |
0255 |
0002 |
0013 |
0000 |
0000 |
0000 |
0000 |
0 |
|
|
60 |
0255 |
0000 |
0255 |
0002 |
0023 |
0000 |
0000 |
0000 |
0000 |
0 |
|
|
61 |
0255 |
0000 |
0255 |
0002 |
0025 |
0000 |
0000 |
0000 |
0000 |
0 |
|
|
62 |
0255 |
0000 |
0255 |
0000 |
0000 |
0000 |
0000 |
0000 |
0000 |
0 |
|
|
63 |
0255 |
0000 |
0255 |
0003 |
0039 |
0000 |
0000 |
0000 |
0000 |
0 |
|
|
64 |
0250 |
0441 |
0248 |
0000 |
0000 |
0000 |
0000 |
0000 |
0000 |
0 |
3.3.7 Контроль значений признаков и восстановление ошибочных данных
Для контроля данных найдем:
1. Минимальные и максимальные значения каждого признака в выборке.
2. Оценки математического ожидания значений признаков.
3. Оценку среднего квадратичного отклонения.
4. Стандартные ошибка среднего.
5. Отношение стандартной ошибки среднего к среднему значению.
Результаты представлены в таблице14.
Таблица 14. Значения признаков
|
X1 |
X2 |
X3 |
X4 |
X5 |
X6 |
X7 |
X8 |
X9 |
||
|
Мин |
0080 |
0000 |
0080 |
0000 |
0000 |
0000 |
0000 |
0000 |
0000 |
|
|
Макс |
0255 |
3359 |
0255 |
0174 |
15596 |
0255 |
0065 |
6425 |
0033 |
|
|
Сред |
0216 |
0710 |
0222 |
0080 |
7232 |
0132 |
0017 |
0643 |
0006 |
|
|
Откл |
37,35 |
669,48 |
45,551 |
53,775 |
5765,7 |
123,8879 |
15,716 |
1512,7 |
7,36114 |
|
|
СОШ |
4,669 |
83,685 |
5,6939 |
6,72188 |
720,71 |
15,48599 |
1,96461 |
189,08 |
0,92014 |
|
|
ОСО |
0,021 |
0,1178 |
0,0257 |
0,0844 |
0,099 |
0,117 |
0,116 |
0,293 |
0,1517 |
Для решения вопроса о «выскакивающих» (ошибочных) значениях необходимо найти диапазон значений фактора [aj, bj] (j=1,M+K), в котором должно находиться 95% значений фактора выборки:
Далее необходимо найти процент значений рассматриваемого фактора непопадающих в этот диапазон. Если таких значений меньше 5%, то считается, что «выскакивающих» значений нет. В противном случае необходимо удалить одно из «выскакивающих» значений (значение наиболее удаленное от оценки среднего) и вновь воспользоваться этой же методикой.
В таблице 15 приведен процент попадающих в диапазон значений фактора [aj, bj].
Таблица 15. Диапазон значений
|
Х1 |
Х2 |
Х3 |
X4 |
X6 |
X6 |
X7 |
X8 |
X9 |
|
|
95,3125 |
95,3125 |
95,3125 |
100 |
100 |
100 |
95,3125 |
95,3125 |
95,3125 |
3.3.8 Нормирование значений признаков
Нормирование значений- процесс преобразования значений, при котором не изменяется размерность выборки. Нормировать значения факторов необходимо для приведения значений факторов к одному сегменту вариаций значений. Нормализованная выборка приведена в таблице 16.
Таблица 16. Нормализованная выборка
|
X1 |
X2 |
X3 |
X4 |
X5 |
X6 |
X7 |
X8 |
X9 |
Y |
||
|
1 |
0,817 |
0,184 |
0,914 |
0,672 |
0,561 |
0,000 |
0,185 |
0,012 |
0,182 |
1 |
|
|
2 |
0,749 |
0,176 |
0,920 |
0,483 |
0,466 |
0,992 |
0,308 |
0,048 |
0,121 |
1 |
|
|
3 |
0,720 |
0,177 |
0,897 |
0,259 |
0,140 |
0,996 |
0,446 |
0,106 |
0,333 |
1 |
|
|
4 |
0,851 |
0,170 |
0,937 |
0,431 |
0,409 |
0,996 |
0,369 |
0,079 |
0,212 |
1 |
|
|
5 |
0,800 |
0,245 |
0,663 |
0,598 |
0,582 |
0,996 |
0,415 |
0,070 |
0,242 |
1 |
|
|
6 |
0,669 |
0,311 |
0,851 |
0,684 |
0,785 |
1,000 |
0,338 |
0,045 |
0,121 |
1 |
|
|
7 |
0,394 |
0,316 |
0,309 |
0,753 |
0,748 |
1,000 |
0,308 |
0,053 |
0,030 |
1 |
|
|
8 |
0,623 |
0,227 |
0,606 |
0,753 |
1,000 |
1,000 |
0,200 |
0,022 |
0,030 |
1 |
|
|
9 |
0,720 |
0,196 |
0,937 |
0,851 |
0,815 |
1,000 |
0,108 |
0,013 |
0,030 |
1 |
|
|
10 |
0,771 |
0,208 |
0,937 |
0,690 |
0,895 |
0,000 |
0,185 |
0,024 |
0,091 |
1 |
|
|
11 |
0,800 |
0,279 |
0,977 |
0,684 |
0,476 |
1,000 |
0,231 |
0,012 |
0,212 |
1 |
|
|
12 |
0,783 |
0,280 |
0,657 |
0,810 |
0,774 |
1,000 |
0,292 |
0,048 |
0,121 |
1 |
|
|
13 |
0,640 |
0,581 |
0,377 |
0,782 |
0,724 |
1,000 |
0,477 |
0,106 |
0,333 |
1 |
|
|
14 |
0,509 |
0,503 |
0,611 |
0,506 |
0,276 |
0,204 |
0,338 |
0,078 |
0,212 |
1 |
|
|
15 |
0,840 |
0,204 |
0,983 |
0,920 |
0,692 |
1,000 |
0,431 |
0,071 |
0,242 |
1 |
|
|
16 |
0,926 |
0,172 |
1,000 |
0,902 |
0,727 |
1,000 |
0,338 |
0,045 |
0,212 |
1 |
|
|
17 |
0,943 |
0,115 |
0,994 |
1,000 |
0,680 |
1,000 |
0,338 |
0,053 |
0,091 |
1 |
|
|
18 |
0,897 |
0,249 |
0,994 |
0,851 |
0,909 |
1,000 |
0,215 |
0,022 |
0,091 |
1 |
|
|
19 |
0,794 |
0,308 |
0,994 |
0,828 |
0,864 |
1,000 |
0,123 |
0,013 |
0,030 |
1 |
|
|
20 |
0,726 |
0,404 |
0,486 |
0,649 |
0,965 |
0,000 |
0,185 |
0,024 |
0,091 |
1 |
|
|
21 |
0,749 |
0,118 |
0,709 |
0,506 |
0,328 |
0,122 |
0,123 |
0,010 |
0,061 |
1 |
|
|
22 |
0,846 |
0,167 |
0,937 |
0,374 |
0,153 |
0,102 |
0,200 |
0,024 |
0,182 |
1 |
|
|
23 |
0,754 |
0,252 |
0,949 |
0,224 |
0,029 |
0,196 |
0,292 |
0,054 |
0,061 |
1 |
|
|
24 |
0,737 |
0,061 |
0,703 |
0,644 |
0,766 |
1,000 |
0,292 |
0,025 |
0,121 |
1 |
|
|
25 |
0,629 |
0,085 |
0,509 |
0,782 |
0,806 |
1,000 |
0,108 |
0,010 |
0,121 |
1 |
|
|
26 |
0,874 |
0,192 |
0,966 |
0,707 |
0,833 |
1,000 |
0,138 |
0,018 |
0,030 |
1 |
|
|
27 |
0,800 |
0,167 |
0,709 |
0,511 |
0,398 |
1,000 |
0,231 |
0,015 |
0,758 |
1 |
|
|
28 |
0,920 |
0,162 |
0,954 |
0,167 |
0,124 |
0,220 |
0,062 |
0,003 |
0,061 |
1 |
|
|
29 |
0,800 |
0,271 |
0,949 |
0,172 |
0,273 |
0,961 |
0,200 |
0,013 |
0,182 |
1 |
|
|
30 |
0,777 |
0,296 |
0,937 |
0,333 |
0,130 |
0,000 |
0,031 |
0,001 |
0,061 |
1 |
|
|
31 |
0,874 |
0,102 |
0,989 |
0,534 |
0,138 |
0,192 |
0,323 |
0,018 |
0,879 |
1 |
|
|
32 |
0,909 |
0,092 |
0,874 |
0,414 |
0,176 |
0,239 |
0,292 |
0,024 |
0,212 |
1 |
|
|
33 |
0,914 |
0,157 |
0,994 |
0,207 |
0,123 |
0,000 |
0,077 |
0,013 |
0,030 |
1 |
|
|
34 |
0,811 |
0,216 |
0,697 |
0,207 |
0,144 |
0,000 |
0,308 |
0,015 |
0,545 |
1 |
|
|
35 |
0,886 |
0,174 |
0,994 |
0,190 |
0,085 |
0,000 |
0,215 |
0,007 |
0,394 |
1 |
|
|
36 |
0,954 |
0,153 |
0,994 |
0,661 |
0,888 |
0,000 |
0,277 |
0,016 |
0,515 |
1 |
|
|
37 |
0,960 |
0,049 |
1,000 |
0,730 |
0,860 |
0,000 |
0,277 |
0,024 |
0,697 |
1 |
|
|
38 |
0,920 |
0,121 |
0,891 |
0,764 |
0,723 |
1,000 |
0,338 |
0,016 |
0,758 |
1 |
|
|
39 |
0,863 |
0,186 |
0,794 |
0,609 |
0,550 |
0,996 |
0,323 |
0,018 |
1,000 |
1 |
|
|
40 |
0,766 |
0,182 |
0,737 |
0,471 |
0,293 |
0,996 |
0,138 |
0,006 |
0,242 |
1 |
|
|
41 |
0,137 |
1,000 |
0,023 |
0,713 |
0,865 |
1,000 |
1,000 |
1,000 |
0,333 |
1 |
|
|
42 |
0,131 |
0,909 |
0,029 |
0,448 |
0,863 |
0,000 |
0,954 |
0,934 |
0,121 |
1 |
|
|
43 |
0,000 |
0,045 |
0,000 |
0,632 |
0,974 |
0,996 |
0,154 |
0,128 |
0,121 |
1 |
|
|
44 |
0,777 |
0,606 |
0,989 |
0,747 |
0,967 |
1,000 |
0,785 |
0,792 |
0,152 |
1 |
|
|
45 |
0,760 |
0,549 |
0,983 |
0,207 |
0,283 |
0,000 |
1,000 |
0,913 |
0,061 |
1 |
|
|
46 |
0,423 |
0,382 |
0,337 |
0,695 |
0,881 |
1,000 |
0,923 |
0,795 |
0,212 |
1 |
|
|
47 |
0,669 |
0,544 |
0,966 |
0,420 |
0,638 |
1,000 |
0,354 |
0,162 |
0,030 |
1 |
Таблица 16. Нормализованная выборка.Окончание
|
X1 |
X2 |
X3 |
X4 |
X5 |
X6 |
X7 |
X8 |
X9 |
Y |
||
|
48 |
0,554 |
0,239 |
0,474 |
0,672 |
0,985 |
0,996 |
0,338 |
0,111 |
0,212 |
1 |
|
|
49 |
0,491 |
0,093 |
0,486 |
0,759 |
0,940 |
0,996 |
0,431 |
0,153 |
0,061 |
1 |
|
|
50 |
0,566 |
0,201 |
0,531 |
0,569 |
0,961 |
0,996 |
0,338 |
0,144 |
0,061 |
1 |
|
|
51 |
0,931 |
0,030 |
0,931 |
0,000 |
0,000 |
0,000 |
0,092 |
0,000 |
0,182 |
0 |
|
|
52 |
0,937 |
0,000 |
0,937 |
0,011 |
0,001 |
0,000 |
0,015 |
0,000 |
0,061 |
0 |
|
|
53 |
0,943 |
0,000 |
0,943 |
0,000 |
0,000 |
0,000 |
0,000 |
0,000 |
0,000 |
0 |
|
|
54 |
0,869 |
0,033 |
0,880 |
0,011 |
0,001 |
0,000 |
0,031 |
0,000 |
0,121 |
0 |
|
|
55 |
0,994 |
0,107 |
1,000 |
0,011 |
0,002 |
0,000 |
0,015 |
0,000 |
0,030 |
0 |
|
|
56 |
1,000 |
0,000 |
1,000 |
0,011 |
0,001 |
0,000 |
0,015 |
0,000 |
0,061 |
0 |
|
|
57 |
1,000 |
0,000 |
1,000 |
0,000 |
0,000 |
0,000 |
0,015 |
0,000 |
0,000 |
0 |
|
|
58 |
0,971 |
0,149 |
0,977 |
0,023 |
0,003 |
0,000 |
0,000 |
0,000 |
0,000 |
0 |
|
|
59 |
1,000 |
0,000 |
1,000 |
0,011 |
0,001 |
0,000 |
0,000 |
0,000 |
0,000 |
0 |
|
|
60 |
1,000 |
0,000 |
1,000 |
0,011 |
0,001 |
0,000 |
0,000 |
0,000 |
0,000 |
0 |
|
|
61 |
1,000 |
0,000 |
1,000 |
0,011 |
0,002 |
0,000 |
0,000 |
0,000 |
0,000 |
0 |
|
|
62 |
1,000 |
0,000 |
1,000 |
0,000 |
0,000 |
0,000 |
0,000 |
0,000 |
0,000 |
0 |
|
|
63 |
1,000 |
0,000 |
1,000 |
0,017 |
0,003 |
0,000 |
0,000 |
0,000 |
0,000 |
0 |
|
|
64 |
0,971 |
0,131 |
0,960 |
0,000 |
0,000 |
0,000 |
0,000 |
0,000 |
0,000 |
0 |