Методичка: СА_01 Экспертные методы
Лабораторная работа Экспертные модели
Цель работы: практическое изучение методов экспертного оценивания сложных систем.
1Теоретические сведения
1.1Понятие экспертизы
Группа методов экспертных (латинское expert -‘опытный’) оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне.
Совокупность опрашиваемых участников процесса называется референтной или экспертной группой, а для оцениваемых объектов принято использовать термин факторы.
Принятие решений с помощью экспертов включает следующие типовые этапы:
1.2Представление результатов экспертизы
Результатом экспертизы является так называемая совокупность групповых предпочтений, к изображению которой имеются два альтернативных подхода (как и к изображению индивидуальных предпочтений):
-
ординальное (порядковое) предпочтение — здесь объекты упорядочиваются по рангу или месту в общем ряду совокупности. Ранг — это число i= 1, ..., n, где n — общая численность факторов;
-
кардинальное (числовое) представление. Здесь каждому фактору ставится в соответствие вес или число wi, вся группа оцениваемых факторов описывается вектором
,
обычно
Рассмотрим данные методы сбора для общей ситуации: наличия п объектов а1, а2,... an (или факторов Ф1, Ф2, ..., Фn) и т экспертов Э1, ..., Э2, ..., Эm.
В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом.
Наиболее
предпочтительному объекту присваивается
ранг, равный единице, второму по
предпочтительности - ранг, равный двум,
и т.д. Для эквивалентных объектов
удобно с точки зрения технологии
последующей обработки экспертных
оценок назначать одинаковые ранги,
равные среднеарифметическому значению
рангов, присваиваемых Одинаковым
объектам. Такие ранги называют
связанными
рангами.
Например, в случае, если неразличимыми
являются факторы Ф
3
,
Ф
4
, Ф
5,
то каждому из них присваивается ранг
(3+4+5) / 3 = 4. Связанные ранги могут
оказаться дробными числами. Удобство
использования связанных рангов
заключается в том, что сумма рангов n
объектов равна сумме натуральных
чисел от единицы до n.
Существенно,
что сумма всех рангов для данного
эксперта
должна
быть постоянной и равняться 1 + 2
+ ...
+ n
=
.
В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Каждый эксперт записывает свой результат в формат матрицы, например, для пяти факторов
|
|
Ф1 |
Ф2 |
Ф3 |
Ф4 |
Ф5 |
|
Ф1 |
1 |
2 |
2 |
2 |
0 |
|
Ф2 |
0 |
1 |
1 |
1 |
0 |
|
Ф3 |
0 |
0 |
1 |
1 |
0 |
|
Ф4 |
0 |
0 |
1 |
1 |
0 |
|
Ф5 |
2 |
2 |
2 |
2 |
1 |
где каждый элемент
1.3Обработка результатов экспертизы
Основным результатом обработки результатов экспертизы является вектор весов факторов:
который строится в два этапа.
-
Построение системы векторов или матрицы Х = (хij)
Это матрица индивидуальных весов, где j-й столбец описывает веса, приписанные j-м экспертом j=1...m, по всем n факторам, причем
для j=1,…m
-
Построение групповых весов (при использовании метода ранжирования обычно получают также групповые ранги).
Если мнения экспертов представлены в виде матриц парных сравнений, матрица нормированных весов Х на базе последовательности матриц В: {В', ..., Вj, ..., Вm}. Вначале определяется сумма в каждой строке матрицы В, дающая вектор-столбец β:
β
где — сумма элементов по i-й строке;
=
(bik
—элемент
матрицы В
= Вj).
Затем осуществляется нормирование элементов вектора, приводящее к весам:
причем
В случае, если используется метод ранжирования, матрица строится в два этапа:
-
Строится матрица преобразованных рангов
элементы которой Rij вычисляются по следующему правилу:
-
Строится матрица нормированных весов Х= (хij), где
поскольку
для
j=1,2,…m
1.4 Построение центроида
Центроид (групповое мнение) находится где-то внутри области, ограниченной крайними мнениями», а фактическое его местонахождение зависит от выбора меры или критерия расстояния между векторами х1 ... хm.
Классической мерой близости является квадрат отклонения. Поэтому наиболее распространенный метод построения центроида есть нахождение вектора-столбца w, такого, что
Известно, что это выполняется тогда и только тогда, когда
т. е. является средним арифметическим оценок варианта ai экспертами Э1, ..., Эj, ..., Эm.
При использовании метода ранжирования в качестве результата часто приводят групповые ранги.
1.5Анализ результатов
На этапе анализа пытаются оценить, можно ли доверять полученным результатам. А именно, насколько плотно расположенными друг к другу оказались мнения экспертов.
Традиционной мерой оценки плотности области мнений для случая голосования методом ранжирования является коэффициент конкордации Кендалла (W).
Коэффициент конкордации W изменяется от 1 до приблизительно нуля, при этом он равен 1, если все ранжировки комонотонны, т. е. совпадают, и наоборот, равен нулю, если они образуют все возможные перестановки, т. е. они все контрамонотонны (это в точности возможно только при п=т).
Строится W следующим образом.
Вначале в каждой строке матрицы рангов R={Rj) вычисляется сумма элементов (рангов):
По матрице R в целом вычисляется среднее значение R;.
Далее определяется сумма s квадратов отклонений значений в строке матрицы R от
Коэффициент конкордации W вычисляется на основе выражения:
Для случая наличия связанных рангов W приобретает более сложный вид, поэтому данное выражение дает только приближенное значение.
2Содержание работы
Вариант работы определяется порядковым номером в списке группы.
Работа выполняется с помощью табличного редактора Microsoft Excel.
2.1Парные оценки
Для данных экспертизы, представленных в виде матриц парных оценок, требуется:
-
Построить групповое мнение (центроид)
-
Определить коэффициент конкордации
Перечень вариантов приведен в разделе 5.1.
2.2Ранжирование
Для данных экспертизы, представленных в виде матрицы рангов, требуется:
-
Построить групповое мнение (центроид)
-
Определить коэффициент конкордации
Перечень вариантов приведен в разделе .
3Отчет по работе
Отчет по работе должен включать исходные данные и результаты.
-
Расчеты и результаты для заданий по пп. 2.1, 2.2 должны быть размещены на отдельных листах с именами 2.1, 2.2 соответственно.
-
Исходные и промежуточные данные по каждому эксперту (п. 2.1) должны располагаться по левой стороне листа друг под другом в последовательности:
А - матрица парных сравнений
Б - матрица сумм элементов строк
В - вектор-столбец нормированных весов
Г - вектор-столбцов рангов
- контрольная сумма элементов столбца.
-
Результаты
Групповое мнение:
А - матрица весов,
Б - вектор-столбец группового мнения (веса),
В - вектор-столбец группового мнения (ранги),
- контрольная сумма элементов столбца.
Коэффициент конкордации:
А - матрица рангов,
Б - суммы элементов строк А,
В – сумма квадратов разностей элементов Б и среднего по матрице А,
Г – коэффициент конкордации,
- контрольная сумма элементов столбца.
Точность вычислений и результата – два десятичных знака.
4Контрольные вопросы
-
Что такое экспертиза?
-
Из каких основных шагов состоит процесс проведения экспертного оценивания?
-
Экспертное оценивание относится к качественным или количественным методам оценивания?
-
Какие методы сбора данных экспертизы являются наиболее употребительными?
-
Какие сложности могут возникать при использовании сбора данных на основе метода парных оценок?
-
Каким образом определяется групповое мнение на основании собранных данных экспертизы?
-
Как определяется и как рассчитывается коэффициент конкордации?
5Варианты
5.1Парные сравнения
-
Вар
Номера матриц
Э1
Э2
Э3
Э4
Э5
1
11
13
14
15
31
2
11
12
13
14
14
3
11
14
16
17
18
4
16
17
19
20
22
5
20
21
22
23
24
6
24
25
26
27
29
7
12
13
14
15
18
8
14
28
29
30
31
9
17
32
33
34
37
10
14
17
32
35
37
11
15
20
32
14
36
12
15
22
36
37
16
13
17
18
20
21
23
14
19
20
21
22
25
15
22
27
32
34
36
16
16
21
31
35
22
17
29
23
24
25
28
18
11
20
23
24
28
19
16
19
21
23
25
20
18
19
24
25
26
21
25
27
30
32
34
22
26
28
29
33
35
23
11
12
17
18
20
24
13
14
15
18
20
Матрицы парных сравнений
-
1
1
2
2
2
2
0
1
0
2
2
0
2
1
2
2
0
0
0
1
2
0
0
0
0
1
2
1
2
2
2
2
0
1
2
2
2
0
0
1
0
2
0
0
2
1
2
0
0
0
0
1
3
1
0
1
1
2
2
1
2
2
2
1
0
1
1
2
1
0
1
1
2
0
0
0
0
1
4
1
0
2
2
2
2
1
2
2
0
0
0
1
1
2
0
0
1
1
0
0
2
0
2
1
5
1
1
0
2
2
1
1
0
2
0
2
2
1
1
2
0
0
1
1
0
0
2
0
2
1
6
1
1
2
2
2
1
1
2
2
1
0
0
1
2
2
0
0
0
1
0
0
1
0
2
1
7
1
0
2
2
2
2
1
2
2
1
0
0
1
0
2
0
0
2
1
2
0
1
0
0
1
8
1
0
2
2
2
2
1
2
2
1
0
0
1
2
2
0
0
0
1
2
0
1
0
0
1
9
1
0
1
1
2
2
1
2
2
1
1
0
1
2
2
1
0
0
1
0
0
1
0
2
1
-
11
1
2
0
2
2
2
0
1
0
2
2
2
2
2
1
2
2
2
0
0
0
1
0
2
0
0
0
2
1
2
0
0
0
0
0
1
12
1
1
1
2
0
2
1
1
2
2
1
2
1
0
1
1
0
2
0
0
1
1
0
0
2
1
2
2
1
2
0
0
0
2
0
1
13
1
1
1
2
1
1
1
1
2
2
2
1
1
0
1
0
0
0
0
0
2
1
0
1
1
0
2
2
1
1
1
1
2
1
1
1
14
1
1
1
2
2
1
1
1
2
2
2
1
1
0
1
1
0
2
0
0
1
1
0
2
0
0
2
2
1
2
1
1
0
0
0
1
15
1
1
1
2
2
2
1
1
2
2
2
2
1
0
1
1
0
2
0
0
1
1
2
2
0
0
2
0
1
2
0
0
0
0
0
1
16
1
1
0
2
2
2
1
1
1
2
2
2
2
1
1
2
2
2
0
0
0
1
2
0
0
0
0
0
1
0
0
0
0
2
2
1
17
1
1
0
2
1
2
1
1
1
2
1
1
2
1
1
2
0
2
0
0
0
1
2
1
1
1
2
0
1
2
0
1
0
1
0
1
18
1
1
1
2
2
1
1
1
2
2
2
1
1
0
1
1
0
2
0
0
1
1
0
1
0
0
2
2
1
2
1
1
0
1
0
1
19
1
0
0
2
0
2
2
1
0
2
0
1
2
2
1
1
2
2
0
0
1
1
0
2
2
2
0
2
1
2
0
1
0
0
0
1
20
1
0
2
2
1
2
2
1
0
2
0
1
0
2
1
2
0
2
0
0
0
1
0
0
1
2
2
2
1
2
0
1
0
2
0
1
21
1
0
2
0
1
2
2
1
0
2
0
1
0
2
1
2
2
2
2
0
0
1
0
1
1
2
0
2
1
2
0
1
0
1
0
1
22
1
1
0
2
2
2
1
1
1
2
2
2
2
1
1
2
2
2
0
0
0
1
0
0
0
0
0
2
1
0
0
0
0
2
2
1
23
1
2
0
2
1
2
0
1
1
2
0
2
2
1
1
2
0
2
0
0
0
1
0
2
1
2
2
2
1
2
0
0
0
0
0
1
24
1
0
2
0
1
2
2
1
0
2
0
1
0
2
1
2
0
2
2
0
0
1
0
1
1
2
2
2
1
2
0
1
0
1
0
1
25
1
1
0
2
2
2
1
1
0
2
0
1
2
2
1
2
2
2
0
0
0
1
0
0
0
2
0
2
1
2
0
1
0
2
0
1
26
1
1
1
2
1
2
1
1
0
2
0
1
1
2
1
2
0
2
0
0
0
1
0
2
1
2
2
2
1
2
0
1
0
0
0
1
27
1
1
0
2
1
2
1
1
0
2
0
1
2
2
1
2
0
2
0
0
0
1
0
1
1
2
2
2
1
2
0
1
0
1
0
1
28
1
0
2
2
1
1
2
1
1
2
1
1
0
1
1
0
0
0
0
0
2
1
0
1
1
1
2
2
1
2
1
1
2
1
0
1
29
1
2
2
2
0
1
0
1
2
2
1
1
0
0
1
2
1
2
0
0
0
1
0
1
2
1
1
2
1
2
1
1
0
1
0
1
30
1
0
2
2
0
1
2
1
2
2
2
1
0
0
1
1
1
2
0
0
1
1
0
1
2
0
1
2
1
0
1
1
0
1
2
1
31
1
1
1
2
2
1
1
1
2
2
2
1
1
0
1
1
0
2
0
0
1
1
2
2
0
0
2
0
1
2
1
1
0
0
0
1
32
1
2
0
2
2
2
0
1
0
2
2
2
2
2
1
2
2
2
0
0
0
1
0
0
0
0
0
2
1
2
0
0
0
2
0
1
33
1
2
0
1
1
1
0
1
0
2
2
1
2
2
1
2
2
1
1
0
0
1
0
2
1
0
0
2
1
0
1
1
1
0
2
1
34
1
1
1
2
2
1
1
1
2
2
2
1
1
0
1
2
0
2
0
0
0
1
1
2
0
0
2
1
1
2
1
1
0
0
0
1
35
1
1
0
2
2
2
1
1
1
2
2
2
2
1
1
2
2
2
0
0
0
1
1
0
0
0
0
1
1
0
0
0
0
2
2
1
36
1
1
2
2
2
2
1
1
0
2
1
2
0
2
1
2
0
2
0
0
0
1
1
2
0
1
2
1
1
2
0
0
0
0
0
1
37
1
2
0
2
2
2
0
1
0
2
2
2
2
2
1
2
2
1
0
0
0
1
1
1
0
0
0
1
1
1
0
0
1
1
1
1
5.2Ранжирование
Матрицы рангов
-
1
Э1
Э2
Э3
Э4
Э5
Ф1
3,0
2,0
2,0
2,0
2,0
Ф2
1,0
1,0
1,0
1,0
4,0
Ф3
6,0
4,0
4,5
4,0
3,0
Ф4
5,0
5,0
3,0
6,0
6,0
Ф5
3,0
3,0
4,5
3,0
1,0
Ф6
3,0
6,0
6,0
5,0
5,0
2
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
3,0
2,0
2,0
2,0
Ф2
3,0
1,0
1,0
1,0
1,0
Ф3
1,0
6,0
4,0
4,5
4,5
Ф4
5,0
5,0
5,0
3,0
3,0
Ф5
4,0
3,0
3,0
4,5
4,5
Ф6
6,0
3,0
6,0
6,0
6,0
3
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
3,0
3,0
2,0
2,0
Ф2
3,0
2,0
1,0
1,0
1,0
Ф3
1,0
4,0
6,0
4,0
4,0
Ф4
5,0
6,0
5,0
5,0
5,0
Ф5
4,0
1,0
3,0
3,0
3,0
Ф6
6,0
5,0
3,0
6,0
6,0
4
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
2,0
3,0
3,0
2,0
Ф2
3,0
1,0
2,0
3,0
1,0
Ф3
1,0
4,0
1,0
1,0
4,0
Ф4
5,0
5,0
5,0
5,0
6,0
Ф5
4,0
3,0
6,0
3,0
3,0
Ф6
6,0
6,0
4,0
6,0
5,0
5
Э1
Э2
Э3
Э4
Э5
Ф1
3,0
3,0
4,0
2,0
3,0
Ф2
2,0
3,0
3,0
4,0
2,0
Ф3
1,0
1,0
1,0
3,0
1,0
Ф4
5,0
5,0
5,0
6,0
6,0
Ф5
6,0
3,0
2,0
1,0
5,0
Ф6
4,0
6,0
6,0
5,0
4,0
6
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
3,5
3,0
2,5
3,5
Ф2
4,0
3,5
2,0
4,0
3,5
Ф3
3,0
1,0
1,0
2,5
2,0
Ф4
6,0
5,0
6,0
5,0
5,0
Ф5
1,0
2,0
5,0
1,0
1,0
Ф6
5,0
6,0
4,0
6,0
6,0
7
Э1
Э2
Э3
Э4
Э5
Ф1
3,5
2,0
2,5
3,0
2,0
Ф2
3,5
4,0
4,0
4,0
3,0
Ф3
2,0
1,0
2,5
2,0
4,0
Ф4
5,0
6,0
5,0
6,0
6,0
Ф5
1,0
3,0
1,0
1,0
1,0
Ф6
6,0
5,0
6,0
5,0
5,0
8
Э1
Э2
Э3
Э4
Э5
Ф1
3,0
3,0
2,0
2,0
2,0
Ф2
2,0
1,0
1,0
1,0
1,0
Ф3
4,0
6,0
4,0
4,5
4,0
Ф4
6,0
5,0
5,0
3,0
6,0
Ф5
1,0
3,0
3,0
4,5
3,0
Ф6
5,0
3,0
6,0
6,0
5,0
9
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
3,0
2,0
3,0
2,0
Ф2
1,0
2,0
3,0
1,0
1,0
Ф3
4,0
6,0
4,0
5,0
4,5
Ф4
5,0
5,0
6,0
6,0
3,0
Ф5
3,0
1,0
1,0
3,0
4,5
Ф6
6,0
4,0
5,0
3,0
6,0
10
Э1
Э2
Э3
Э4
Э5
Ф1
3,0
2,0
3,0
2
2,0
Ф2
3,0
3,0
3,0
1
3,0
Ф3
1,0
1,0
1,0
3,5
1,0
Ф4
5,0
6,0
5,5
5
5,5
Ф5
3,0
4,0
5,5
3,5
5,5
Ф6
6,0
5,0
3,0
6
4,0
11
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
3,0
2,0
3,0
2,0
Ф2
1,0
3,0
3,0
2,0
3,0
Ф3
4,0
1,0
1,0
1,0
1,0
Ф4
5,0
5,0
6,0
5,5
5,5
Ф5
3,0
3,0
4,0
5,5
5,5
Ф6
6,0
6,0
5,0
4,0
4,0
12
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
2,0
2,0
2,0
1,0
Ф2
1,0
4,0
3,0
1,0
3,0
Ф3
4,5
3,0
1,0
4,0
3,0
Ф4
3,0
6,0
6,0
5,0
5,0
Ф5
4,5
1,0
4,0
3,0
3,0
Ф6
6,0
5,0
5,0
6,0
6,0
13
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
3,0
1,0
2,0
3,0
Ф2
1,0
2,0
3,0
3,0
2,0
Ф3
4,5
1,0
3,0
1,0
1,0
Ф4
3,0
6,0
5,0
5,5
5,0
Ф5
4,5
5,0
3,0
5,5
6,0
Ф6
6,0
4,0
6,0
4,0
4,0
14
Э1
Э2
Э3
Э4
Э5
Ф1
3,0
2,0
2,0
3,5
2,5
Ф2
3,0
1,0
4,0
3,5
4,0
Ф3
1,0
4,0
3,0
1,0
2,5
Ф4
5,0
6,0
6,0
5,0
5,0
Ф5
3,0
3,0
1,0
2,0
1,0
Ф6
6,0
5,0
5,0
6,0
6,0
15
Э1
Э2
Э3
Э4
Э5
Ф1
4,0
2,0
3,5
3,0
2,0
Ф2
3,0
4,0
3,5
2,0
4,0
Ф3
1,0
3,0
1,0
1,0
1,0
Ф4
5,0
6,0
5,0
6,0
6,0
Ф5
2,0
1,0
2,0
5,0
3,0
Ф6
6,0
5,0
6,0
4,0
5,0
16
Э1
Э2
Э3
Э4
Э5
Ф1
3,0
3,0
2,0
2,0
1,0
Ф2
2,0
4,0
3,0
1,0
3,0
Ф3
1,0
2,0
1,0
3,5
3,0
Ф4
6,0
6,0
6,0
5,0
5,0
Ф5
5,0
1,0
4,0
3,5
3,0
Ф6
4,0
5,0
5,0
6,0
6,0
17
Э1
Э2
Э3
Э4
Э5
Ф1
3,0
3,5
2,0
3,0
3,0
Ф2
2,0
3,5
1,0
2,0
2,0
Ф3
1,0
1,0
4,5
1,0
1,0
Ф4
5,0
5,0
3,0
4,5
6,0
Ф5
6,0
2,0
4,5
4,5
5,0
Ф6
4,0
6,0
6,0
6,0
4,0
18
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
2,5
3,5
2,0
3,0
Ф2
3,0
4,0
3,5
4,0
2,0
Ф3
4,0
2,5
2,0
1,0
6,0
Ф4
6,0
5,0
5,0
6,0
5,0
Ф5
1,0
1,0
1,0
3,0
1,0
Ф6
5,0
6,0
6,0
5,0
4,0
19
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
2,0
2,5
3,5
3,0
Ф2
3,0
4,0
4,0
3,5
2,0
Ф3
1,0
3,0
2,5
2,0
6,0
Ф4
5,0
6,0
5,0
5,0
5,0
Ф5
4,0
1,0
1,0
1,0
1,0
Ф6
6,0
5,0
6,0
6,0
4,0
20
Э1
Э2
Э3
Э4
Э5
Ф1
3,0
4,0
3,5
2,5
2,0
Ф2
2,0
3,0
3,5
4,0
4,0
Ф3
1,0
1,0
1,0
2,5
1,0
Ф4
5,0
5,0
5,0
5,0
6,0
Ф5
6,0
2,0
2,0
1,0
3,0
Ф6
4,0
6,0
6,0
6,0
5,0
21
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
4,0
3,5
2,0
2,5
Ф2
1,0
3,0
3,5
4,0
4,0
Ф3
4,0
1,0
2,0
1,0
2,5
Ф4
6,0
5,0
5,0
6,0
5,0
Ф5
3,0
2,0
1,0
3,0
1,0
Ф6
5,0
6,0
6,0
5,0
6,0
22
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
3,0
3,0
2,0
2,0
Ф2
4,0
4,0
1,0
3,0
1,0
Ф3
1,0
2,0
5,0
1,0
3,5
Ф4
6,0
6,0
6,0
6,0
5,0
Ф5
3,0
1,0
3,0
4,0
3,5
Ф6
5,0
5,0
3,0
5,0
6,0
23
Э1
Э2
Э3
Э4
Э5
Ф1
2,5
3,0
2,0
3,0
3,0
Ф2
4,0
2,0
3,0
3,0
2,0
Ф3
2,5
6,0
4,0
1,0
1,0
Ф4
5,0
5,0
6,0
5,5
5,5
Ф5
1,0
1,0
1,0
5,5
5,5
Ф6
6,0
4,0
5,0
3,0
4,0
24
Э1
Э2
Э3
Э4
Э5
Ф1
2,0
3,0
3,0
2,0
2,0
Ф2
3,0
2,0
3,0
1,0
4,0
Ф3
1,0
4,0
1,0
4,0
3,0
Ф4
5,0
6,0
5,0
6,0
6,0
Ф5
4,0
1,0
3,0
3,0
1,0
Ф6
6,0
5,0
6,0
5,0
5,0