Файл: Название метода происходит от латинского.doc

Экспертиза

Цель работы: практическое изучение методов экспертного оценивания.

1Теоретические сведения

Название метода происходит от латинского expertus (опытный). Метод основан на предположениях о том, что 1) суммарный объем знаний группы специалистов превосходит объем знаний одного специалиста, и 2) число вариантов решения задачи, которые способна порождать и оценивать группа специалистов превосходит число вариантов, которые способен порождать и оценивать один специалист.

В процессе экспертизы выделяются несколько основных этапов (Рис.1).



Рис.1 Основные этапы процедуры экспертного оценивания

Совокупность опрашиваемых участников процесса называется референтной, или экспертной группой, а для оцениваемых объектов принято использовать термин факторы.

Результат проведения экспертизы есть совокупность предпочтений, для представления которых используются различные методы.

Методы представления данных экспертизы

Одним из методов представления мнения экспертов является метод ранжирования, согласно которому наиболее предпочтительному фактору присваивается ранг, равный единице, второму по предпочтительности – ранг, равный двум, и т.д.

Для одинаковых по значимости факторов используются связанные ранги, значение которых находится по правилу среднего арифметического рангов равноценных факторов, которые должны были бы назначаться факторам в условиях их различимости. Например, если эксперт считает факторы Ф₃, Ф ₄ , Ф ₅ неразличимыми, то каждому из них присваивается ранг (3+4+5) / 3 = 4.

При таком способе сумма рангов всех n факторов для каждого эксперта должна быть одинаковой и равной 1 + 2 + ... + n = .

Поясним на примере сущность решаемых в процессе проведения экспертизы задач. Будем полагать, что необходимо оценить значимость для компании включения в состав выпускаемых ею продуктов пяти новых единиц, для чего привлекаются четыре эксперта.

Результатом опроса экспертов по данной проблеме является матрица

---

R=R_ij, i=1,...,n, j= l,...,m, n– число факторов (продуктов), m – число экспертов:



Как видим, сумма рангов по каждому столбцу равна .

В третьем и четвертом столбцах присутствуют связанные ранги: третий эксперт считает равноценными первый, третий и четвертый продукты, поэтому значения связанных рангов равны

R = (2 + 3 + 4)/3 = 3;

четвертый эксперт не различает первый и второй продукты, поэтому здесь
R =(l+2)/2=l,5.

В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, представление их по методу па­р­ного сравнения есть более простая задача. При сравнении пары объектов возмож­но либо отношение строгого по­ряд­ка, либо отношение эквива­лентности. Каждый эк­сперт записывает свой результат в формат матрицы. Например, для пяти факторов матрица может быть такой



Каждый элемент матрицы определяется следующим образом:





Обработка данных экспертизы

Для обработки мнений экспертов при использовании метода ранжирования сначала строится матрица преобразованных рангов

В данном примере , откуда:



и вслед за ней - матрица нормированных весов

.

В данном примере , поэтому:

---

Для обработки мнений экспертов при использовании метода парных сравнений сначала строятся векторы столбцы нормированных весов для каждой матрицы (каждого эксперта), для чего находятся суммы элементов по каждой строке матрицы



которые нормируются делением на их сумму (в примере она равна 25):



Столбцы нормированных весов составляются в матрицу.

Построение группового мнения

Наиболее распространенный метод построения группового мнения состоит в нахождении вектора-столбца весов оцениваемых факторов w:



такого, что



Иначе говоря, веса факторов выбираются так, чтобы минимизировать сумму расстояний от центроида до весов, назначенных экспертами. Известно, что это выполняется тогда и только тогда, когда , т. е., каждое есть среднее арифметическое оценок экспертов.

В данном случае:











и вектор-столбец нормированных весов:



Если дополнительно представить групповое мнение в виде вектора-столбца рангов оцениваемых факторов, то с учетом того, что более предпочтительному фактору присвоен больший вес

---

, получаем:



Анализ результатов экспертизы

После получения группового мнения необходимо оценить, насколько можно доверять полученному результату. Очевидно, что степень доверия к нему будет тем выше, чем выше плотность оценок факторов, данных экспертами. Например, для одного и того же результата (группового мнения) варианты рассеяния мнений экспертов могут быть такими, как показано на Рис.2.



Рис.2 Возможные варианты экспертного оценивания.

Одной из широко распространенных мер оценки плотности мнений для метода ранжирования является коэффициент конкордации Кендалла. Коэффициент Wизменяется от 1 до приблизительно нуля, при этом он равен 1, если ранги всех факторов, присвоенные экспертами, совпадают, и наоборот, равен нулю, если они образуют все возможные перестановки (в случае п=т).

Для нахождения Wдля каждой строки матрицы рангов R={R_j} вычисляется сумма ее элементов :



после чего вычисляется среднее значение сумм по матрице R в целом:



Далее определяется сумма s квадратов отклонений значений в строке матрицы R от :



Коэффициент W вычисляется на основе выражения:



Значения W большие 0,6-0,7 свидетельствуют о достаточно высокой плотности мнений экспертов, т.е., для данного случая качество проведенной экспертизы можно считать приемлемым.

---

2Содержание работы

Вариант работы определяется порядковым номером в списке группы.

Работа выполняется с помощью табличного редактора Microsoft Excel.

2.1Парные оценки

Для данных экспертизы, представленных в виде матриц парных оценок, требуется:

1. 
   Построить групповое мнение (центроид)
   
2. 
   Определить коэффициент конкордации
   

Перечень вариантов приведен в разделе 5.1.

2.2Ранжирование

Для данных экспертизы, представленных в виде матрицы рангов, требуется:

1. 
   Построить групповое мнение (центроид)
   
2. 
   Определить коэффициент конкордации
   

Перечень вариантов приведен в разделе .

3Отчет по работе

Отчет по работе должен включать исходные данные и результаты.

1. 
   Расчеты и результаты для заданий по пп. 2.1, 2.2 должны быть размещены на от­де­ль­ных листах с именами 2.1, 2.2 соответственно.
   
2. 
   Исходные и промежуточные данные по каждому эксперту (п. 2.1) должны распо­ла­га­ться по левой сто­роне листа друг под другом в последовательности:
   

А - матрица парных сравнений

Б – матрица сумм элементов строк

В – вектор-столбец нормированных весов

Г – вектор-столбцов рангов

 – контрольная сумма элементов столбца.

3. 
   Результаты
   

Групповое мнение:



А – матрица весов,

Б – вектор-столбец группового мнения (веса),

В – вектор-столбец группового мнения (ранги),

 – контрольная сумма элементов столбца.

Коэффициент конкордации:



А – матрица рангов,

Б – суммы элементов строк А,

В – сумма квадратов разностей элементов Б и среднего по матрице А,

Г – коэффициент конкордации,

 – контрольная сумма элементов столбца.

Точность вычислений и результата – два десятичных знака.

4Контрольные вопросы

1. 
   Что такое экспертиза?
   
2. 
   Из каких основных шагов состоит процесс проведения экспертного оценивания?
   
3. 
   Экспертное оценивание относится к качественным или количественным методам оценивания?
   
4. 
   Какие методы сбора данных экспертизы являются наиболее употребительными?
   
5. 
   Какие сложности могут возникать при использовании сбора данных на основе метода парных оценок?
   
6. 
   Каким образом определяется групповое мнение на основании собранных данных экспертизы?
   
7. 
   Как определяется и как рассчитывается коэффициент конкордации?
   

---