Курсовая работа: Интеллектуальная информационная система

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам

3.3.4 Удаление признаков с неизвестными значениями

Если в каждом элементе выборки значения фактора неизвестно, то такой фактор удаляется. В рассматриваемом примере в результате анализа выборки факторы с неизвестными значениями не обнаружены.

3.3.5 Удаление факторов с постоянными значениями

В рассматриваемом примере в результате анализа факторы с постоянными значениями не обнаружены.

3.3.6 Устранение одинаковых элементов выборки

Выборка должна быть множеством различных между собой элементов. Поэтому в ней не должно встречаться хотя бы двух одинаковых элементов, для которых совпадают вектора значений факторов и значения целевых показателей. В некоторых случаях бывает целесообразно сохранять информацию о частоте, с которой каждый элемент встречается в исходной выборке:

,

где. x* - вектор значений факторов,

y - целевой показатель,

- пространство значений признаков,

p - частота с которой (x*,y) присутствовала в исходной выборке.

В результате анализа выборки, были обнаружены одинаковые элементы (строки таблицы 12 с номерами: 51-56, 58-61, 65-69, 74-79, 81-100). Данные строки выделены в таблице 12 красным цветом. Удалимиз выборки повторяющиеся значения. Итоговая выборка представлена в таблице 13.

Таким образом, было произведено устранение одинаковых элементов выборки.

Таблица 13. Начало

X1

X2

X3

X4

X5

X6

X7

X8

X9

Y

1

0223

0617

0240

0117

8750

0000

0012

0074

0006

1

2

0211

0590

0241

0084

7274

0253

0020

0307

0004

1

3

0206

0594

0237

0045

2180

0254

0029

0683

0011

1

4

0229

0572

0244

0075

6375

0254

0024

0505

0007

1

5

0220

0823

0196

0104

9072

0254

0027

0452

0008

1

6

0197

1045

0229

0119

12249

0255

0022

0291

0004

1

7

0149

1063

0134

0131

11668

0255

0020

0343

0001

1

8

0189

0763

0186

0131

15596

0255

0013

0141

0001

1

9

0206

0658

0244

0148

12709

0255

0007

0081

0001

1

10

0215

0699

0244

0120

13956

0000

0012

0152

0003

1

11

0220

0938

0251

0119

7418

0255

0015

0077

0007

1

12

0217

0940

0195

0141

12071

0255

0019

0309

0004

1

13

0192

1950

0146

0136

11295

0255

0031

0683

0011

1

14

0169

1691

0187

0088

4306

0052

0022

0503

0007

1

15

0227

0685

0252

0160

10798

0255

0028

0455

0008

1

16

0242

0577

0255

0157

11346

0255

0022

0292

0007

1

17

0245

0385

0254

0174

10600

0255

0022

0343

0003

1

18

0237

0837

0254

0148

14182

0255

0014

0143

0003

1

19

0219

1036

0254

0144

13469

0255

0008

0081

0001

1

20

0207

1358

0165

0113

15051

0000

0012

0152

0003

1

21

0211

0397

0204

0088

5112

0031

0008

0062

0002

1

22

0228

0561

0244

0065

2385

0026

0013

0155

0006

1

23

0212

0845

0246

0039

0460

0050

0019

0347

0002

1

24

0209

0205

0203

0112

11941

0255

0019

0158

0004

1

25

0190

0286

0169

0136

12571

0255

0007

0066

0004

1

26

0233

0646

0249

0123

12986

0255

0009

0115

0001

1

27

0220

0560

0204

0089

6203

0255

0015

0095

0025

1

28

0241

0543

0247

0029

1939

0056

0004

0019

0002

1

29

0220

0910

0246

0030

4263

0245

0013

0085

0006

1

30

0216

0995

0244

0058

2028

0000

0002

0006

0002

1

31

0233

0342

0253

0093

2151

0049

0021

0117

0029

1

32

0239

0308

0233

0072

2746

0061

0019

0153

0007

1

33

0240

0526

0254

0036

1921

0000

0005

0086

0001

1

34

0222

0725

0202

0036

2239

0000

0020

0097

0018

1

35

0235

0583

0254

0033

1326

0000

0014

0048

0013

1

36

0247

0515

0254

0115

13847

0000

0018

0100

0017

1

37

0248

0164

0255

0127

13417

0000

0018

0153

0023

1

38

0241

0407

0236

0133

11271

0255

0022

0105

0025

1

39

0231

0624

0219

0106

8579

0254

0021

0114

0033

1

40

0214

0613

0209

0082

4568

0254

0009

0040

0008

1

41

0104

3359

0084

0124

13484

0255

0065

6425

0011

1

42

0103

3053

0085

0078

13456

0000

0062

5998

0004

1

43

0080

0151

0080

0110

15185

0254

0010

0825

0004

1

44

0216

2036

0253

0130

15089

0255

0051

5091

0005

1

45

0213

1844

0252

0036

4419

0000

0065

5866

0002

1

46

0154

1282

0139

0121

13735

0255

0060

5108

0007

1

47

0197

1827

0249

0073

9953

0255

0023

1041

0001

1

Таблица 13. Окончание

X1

X2

X3

X4

X5

X6

X7

X8

X9

Y

48

0177

0804

0163

0117

15355

0254

0022

0712

0007

1

49

0166

0311

0165

0132

14657

0254

0028

0986

0002

1

50

0179

0675

0173

0099

14992

0254

0022

0922

0002

1

51

0243

0101

0243

0000

0000

0000

0006

0002

0006

0

52

0244

0000

0244

0002

0020

0000

0001

0003

0002

0

53

0245

0000

0245

0000

0002

0000

0000

0001

0000

0

54

0232

0110

0234

0002

0018

0000

0002

0003

0004

0

55

0254

0360

0255

0002

0025

0000

0001

0001

0001

0

56

0255

0000

0255

0002

0010

0000

0001

0001

0002

0

57

0255

0000

0255

0000

0000

0000

0001

0000

0000

0

58

0250

0501

0251

0004

0049

0000

0000

0001

0000

0

59

0255

0000

0255

0002

0013

0000

0000

0000

0000

0

60

0255

0000

0255

0002

0023

0000

0000

0000

0000

0

61

0255

0000

0255

0002

0025

0000

0000

0000

0000

0

62

0255

0000

0255

0000

0000

0000

0000

0000

0000

0

63

0255

0000

0255

0003

0039

0000

0000

0000

0000

0

64

0250

0441

0248

0000

0000

0000

0000

0000

0000

0

3.3.7 Контроль значений признаков и восстановление ошибочных данных

Для контроля данных найдем:

1. Минимальные и максимальные значения каждого признака в выборке.

2. Оценки математического ожидания значений признаков.

3. Оценку среднего квадратичного отклонения.

4. Стандартные ошибка среднего.

5. Отношение стандартной ошибки среднего к среднему значению.

Результаты представлены в таблице14.

Таблица 14. Значения признаков

X1

X2

X3

X4

X5

X6

X7

X8

X9

Мин

0080

0000

0080

0000

0000

0000

0000

0000

0000

Макс

0255

3359

0255

0174

15596

0255

0065

6425

0033

Сред

0216

0710

0222

0080

7232

0132

0017

0643

0006

Откл

37,35

669,48

45,551

53,775

5765,7

123,8879

15,716

1512,7

7,36114

СОШ

4,669

83,685

5,6939

6,72188

720,71

15,48599

1,96461

189,08

0,92014

ОСО

0,021

0,1178

0,0257

0,0844

0,099

0,117

0,116

0,293

0,1517

Для решения вопроса о «выскакивающих» (ошибочных) значениях необходимо найти диапазон значений фактора [aj, bj] (j=1,M+K), в котором должно находиться 95% значений фактора выборки:

Далее необходимо найти процент значений рассматриваемого фактора непопадающих в этот диапазон. Если таких значений меньше 5%, то считается, что «выскакивающих» значений нет. В противном случае необходимо удалить одно из «выскакивающих» значений (значение наиболее удаленное от оценки среднего) и вновь воспользоваться этой же методикой.

В таблице 15 приведен процент попадающих в диапазон значений фактора [aj, bj].

Таблица 15. Диапазон значений

Х1

Х2

Х3

X4

X6

X6

X7

X8

X9

95,3125

95,3125

95,3125

100

100

100

95,3125

95,3125

95,3125

3.3.8 Нормирование значений признаков

Нормирование значений- процесс преобразования значений, при котором не изменяется размерность выборки. Нормировать значения факторов необходимо для приведения значений факторов к одному сегменту вариаций значений. Нормализованная выборка приведена в таблице 16.

Таблица 16. Нормализованная выборка

X1

X2

X3

X4

X5

X6

X7

X8

X9

Y

1

0,817

0,184

0,914

0,672

0,561

0,000

0,185

0,012

0,182

1

2

0,749

0,176

0,920

0,483

0,466

0,992

0,308

0,048

0,121

1

3

0,720

0,177

0,897

0,259

0,140

0,996

0,446

0,106

0,333

1

4

0,851

0,170

0,937

0,431

0,409

0,996

0,369

0,079

0,212

1

5

0,800

0,245

0,663

0,598

0,582

0,996

0,415

0,070

0,242

1

6

0,669

0,311

0,851

0,684

0,785

1,000

0,338

0,045

0,121

1

7

0,394

0,316

0,309

0,753

0,748

1,000

0,308

0,053

0,030

1

8

0,623

0,227

0,606

0,753

1,000

1,000

0,200

0,022

0,030

1

9

0,720

0,196

0,937

0,851

0,815

1,000

0,108

0,013

0,030

1

10

0,771

0,208

0,937

0,690

0,895

0,000

0,185

0,024

0,091

1

11

0,800

0,279

0,977

0,684

0,476

1,000

0,231

0,012

0,212

1

12

0,783

0,280

0,657

0,810

0,774

1,000

0,292

0,048

0,121

1

13

0,640

0,581

0,377

0,782

0,724

1,000

0,477

0,106

0,333

1

14

0,509

0,503

0,611

0,506

0,276

0,204

0,338

0,078

0,212

1

15

0,840

0,204

0,983

0,920

0,692

1,000

0,431

0,071

0,242

1

16

0,926

0,172

1,000

0,902

0,727

1,000

0,338

0,045

0,212

1

17

0,943

0,115

0,994

1,000

0,680

1,000

0,338

0,053

0,091

1

18

0,897

0,249

0,994

0,851

0,909

1,000

0,215

0,022

0,091

1

19

0,794

0,308

0,994

0,828

0,864

1,000

0,123

0,013

0,030

1

20

0,726

0,404

0,486

0,649

0,965

0,000

0,185

0,024

0,091

1

21

0,749

0,118

0,709

0,506

0,328

0,122

0,123

0,010

0,061

1

22

0,846

0,167

0,937

0,374

0,153

0,102

0,200

0,024

0,182

1

23

0,754

0,252

0,949

0,224

0,029

0,196

0,292

0,054

0,061

1

24

0,737

0,061

0,703

0,644

0,766

1,000

0,292

0,025

0,121

1

25

0,629

0,085

0,509

0,782

0,806

1,000

0,108

0,010

0,121

1

26

0,874

0,192

0,966

0,707

0,833

1,000

0,138

0,018

0,030

1

27

0,800

0,167

0,709

0,511

0,398

1,000

0,231

0,015

0,758

1

28

0,920

0,162

0,954

0,167

0,124

0,220

0,062

0,003

0,061

1

29

0,800

0,271

0,949

0,172

0,273

0,961

0,200

0,013

0,182

1

30

0,777

0,296

0,937

0,333

0,130

0,000

0,031

0,001

0,061

1

31

0,874

0,102

0,989

0,534

0,138

0,192

0,323

0,018

0,879

1

32

0,909

0,092

0,874

0,414

0,176

0,239

0,292

0,024

0,212

1

33

0,914

0,157

0,994

0,207

0,123

0,000

0,077

0,013

0,030

1

34

0,811

0,216

0,697

0,207

0,144

0,000

0,308

0,015

0,545

1

35

0,886

0,174

0,994

0,190

0,085

0,000

0,215

0,007

0,394

1

36

0,954

0,153

0,994

0,661

0,888

0,000

0,277

0,016

0,515

1

37

0,960

0,049

1,000

0,730

0,860

0,000

0,277

0,024

0,697

1

38

0,920

0,121

0,891

0,764

0,723

1,000

0,338

0,016

0,758

1

39

0,863

0,186

0,794

0,609

0,550

0,996

0,323

0,018

1,000

1

40

0,766

0,182

0,737

0,471

0,293

0,996

0,138

0,006

0,242

1

41

0,137

1,000

0,023

0,713

0,865

1,000

1,000

1,000

0,333

1

42

0,131

0,909

0,029

0,448

0,863

0,000

0,954

0,934

0,121

1

43

0,000

0,045

0,000

0,632

0,974

0,996

0,154

0,128

0,121

1

44

0,777

0,606

0,989

0,747

0,967

1,000

0,785

0,792

0,152

1

45

0,760

0,549

0,983

0,207

0,283

0,000

1,000

0,913

0,061

1

46

0,423

0,382

0,337

0,695

0,881

1,000

0,923

0,795

0,212

1

47

0,669

0,544

0,966

0,420

0,638

1,000

0,354

0,162

0,030

1

Таблица 16. Нормализованная выборка.Окончание

X1

X2

X3

X4

X5

X6

X7

X8

X9

Y

48

0,554

0,239

0,474

0,672

0,985

0,996

0,338

0,111

0,212

1

49

0,491

0,093

0,486

0,759

0,940

0,996

0,431

0,153

0,061

1

50

0,566

0,201

0,531

0,569

0,961

0,996

0,338

0,144

0,061

1

51

0,931

0,030

0,931

0,000

0,000

0,000

0,092

0,000

0,182

0

52

0,937

0,000

0,937

0,011

0,001

0,000

0,015

0,000

0,061

0

53

0,943

0,000

0,943

0,000

0,000

0,000

0,000

0,000

0,000

0

54

0,869

0,033

0,880

0,011

0,001

0,000

0,031

0,000

0,121

0

55

0,994

0,107

1,000

0,011

0,002

0,000

0,015

0,000

0,030

0

56

1,000

0,000

1,000

0,011

0,001

0,000

0,015

0,000

0,061

0

57

1,000

0,000

1,000

0,000

0,000

0,000

0,015

0,000

0,000

0

58

0,971

0,149

0,977

0,023

0,003

0,000

0,000

0,000

0,000

0

59

1,000

0,000

1,000

0,011

0,001

0,000

0,000

0,000

0,000

0

60

1,000

0,000

1,000

0,011

0,001

0,000

0,000

0,000

0,000

0

61

1,000

0,000

1,000

0,011

0,002

0,000

0,000

0,000

0,000

0

62

1,000

0,000

1,000

0,000

0,000

0,000

0,000

0,000

0,000

0

63

1,000

0,000

1,000

0,017

0,003

0,000

0,000

0,000

0,000

0

64

0,971

0,131

0,960

0,000

0,000

0,000

0,000

0,000

0,000

0

Источник: https://otherreferats.allbest.ru/download/1093237/