Файл: Бешелев, С. Д. Экспертные оценки.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 23.10.2024

Просмотров: 63

Скачиваний: 0

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

заказ правящих кругов, буря^уазные ученые зачастую организуют и направляют опросы таким образом, чтобы получить желательные и явно нереальные резуль­ таты.

Влияние характера и направленности процедуры опроса на получаемые результаты следует учитывать при организации экспертиз и разработке опросных листов (анкет), с помощью которых осуществляется сбор необхо­ димой информации.

Анкета в экспертных методах — это определенным, образом организованный набор вопросов, ответы на кото- < рые рассматриваются как информация о степени уверен-1 v

ности

эксперта

в

вероятности

свершения

события или \

в относительной важности оцениваемого свойства.

\

Необходимость четкой и осмысленной формулировки

 

всевозможных анкет и вопросников, получивших

широкое

 

распространение в последние годы, стало особенно важ­

 

ной сегодня, когда анкетирование применяется в социо­

 

логии, психологии, прогнозировании и находит все боль­

 

шее распространение в управлении научно-техническим

 

прогрессом и экономикой. Поскольку экспертные методы

 

также в значительной степени основаны на применении

 

анкетирования,

орханизации . этой__дроцедуры

следует

 

уделять

большое, внимание.

 

 

 

 

Наиболее широко используемый тип опроса требует'

высказывания мнения с учетом определенной количествен­

 

ной оценки для каждого из возможных ответов. Эксперта

 

спрашивают, действительно ли он согласен с заранее

 

подготовленным ответом, или же предлагают ему отме­

 

тить свое мнение на шкале, состоящей из нескольких

 

пунктов. Используются также и анкеты с так называемыми

 

открытыми вопросами, где эксперт выражает свое соб­

 

ственное мнение по любому из них и оценивает его, на­

 

пример, по шкале в диапазоне от 0 до 10 баллов.

 

По своему характеру вопросы, вШ1б^ёмыеПв"ан1{еты,

 

могут

быть разделены на следующие типы:

 

 

1)

вопрос, ответ

на который

заключаетсяТв~выборе

/

одного из нескольких точно сформулированных

мнений.

Каждому из мнений может быть

приписан

определенный

 

балл;

 

 

 

 

 

 

 

 

~—2) вопрос о поведении эксперта в конкретной ситуа­

 

ции. Ответы фиксируют наличие или отсутствие опреде­

 

ленного

действия;

 

 

 

 

 

111


3)вопрос, требующий оценить численное значение или вероятность какой-либо величины;

4)вопрос, цель которого замаскирована относительно измеряемой качественной переменной. Измерение за­

ключается в системе оценок, производимых аналитиками в зависимости от ответов, данных экспертами.

Опрос может проводиться заочно, когда личный кон­ такт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется при личной беседе с экспертом. . Преимуществами заочного опроса является его относительная простота и дешевизна; однако здесь возможны случаи неправильного заполнения анкет. При личной беседе этот недостаток исключается, но тре­ буются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может созна­ тельно или бессознательно влиять на ответы эксперта.

При заполнении анкет определенную роль играет порядок постановки вопросов и их фразеологическая формулировка. Вопросы не должны допускать двойного толкования или стремления заставить эксперта выразить свое мнение в области, где он недостаточно компетентен. Мера конкретизации вопросов должна учитывать реаль­ ную возможность эксперта дать правильный ответ. Излишняя конкретизация создает иллюзию точности, тогда как в самом деле она подготавливает почву для по­ лучения заведомо неверных ответов. ^Установлено, что

.сначала лучше тр_ебовать ответ на наиболее сложные и общие вопросы, а затем постепенно переходить к более пр_рстым ичастным. При этом не следует формулировать вопросы так, чтобы обеспечить ответы, гарантирующие «единодушие» экспертов.

Набор вопросов в анкете должен нметь логическую связь, однако эксперт может менять некоторые из них, если они не учитывают все важные, с его точки зрения, критерии. Кроме ясности и точности вопросов требуется, чтобы каждый из них «работал» на выяснение всей про­ блемы в целом.

В ряде методик экспертных оценок предусматривается проведение нескольких туров опроса. Это позволяет экспертам «взвесить» свои суждения с учетом ответов и доводов коллег и дополнительной информации, которая не была учтена в предыдущем туре. Выяснение причин, пусть даже недостаточно обоснованных, но послуживших

112

базой для суждений, приводит иногда к пересмотру от­ дельных оценок.

Для установления скрытых причин возникновения того или иного суждения в некоторых случаях в анкеты включается ряд дополнительных вопросов, которые по­ ясняют доводы, позволяющие экспертам давать опреде­ ленные оценки ответам на основные вопросы.

Для анализа обоснованности ответов можно предло­ жить эксперту специальную таблицу, в которой он дол­ жен отметить источники аргументации, послужившие основанием для ответа и оценки. Отметка делается в одной из трех граф в зависимости от степени влияния (высокая, средняя, низкая) каждого источника на мнение эксперта.

Пример

такой

таблицы

приводится

ниже 8 .

 

 

 

 

 

 

 

Таблица 12

 

 

 

Самооценка степени влияния источника аргументации

 

 

 

 

Степень влияния источника

 

 

 

 

на мнение эксперта

 

Источник

аргументации

высокая

средняя

низкая

 

 

 

 

Проведенный

теоретический

*

 

 

 

 

 

 

 

 

Производственный

опыт . .

*

 

 

Обобщение

работ

отечествен-

 

*

 

Обобщеппе

работ

зарубеж-

 

 

 

 

 

 

 

 

 

 

 

*

Личное знакомство с состоя­

 

 

 

нием дел за рубежом . .

 

*

*

 

 

 

 

 

 

Заполненная экспертом таблица в данном случае

означает, что на его мнение по соответствующему

вопросу

в высокой степени повлияли проведенный им ранее тео­ ретический анализ и личный производственный опыт, в средней степени — обобщение работ отечественных авто­ ров, а также личная интуиция и в малой степени — обоб­ щение работ зарубежных авторов и его личное знакомство

с состоянием дел за рубежом. Все эти оценки могут

быть

' Г. М. Доброп. Прогнозирование науки и техники. М. 1968 ,стр. 131.

 

8 С. Д. Бешвлев, Ф. Г. Гурвич

113


переведены аналитиками в количественную форму путем присвоения каждой из них определенного балла.

Ответы экспертов, получаемые в результате опроса,

изучаются аналитиками

в двух

основных аспектах:

1)

анализируется подход к

решению

проблемы;

2)

полученные ответы

переводятся в

количественную

форму.

Внимательный анализ аргументов, выдвинутых экспер­ тами, позволяет избежать двух постоянно грозящих аналитикам крайностей: излишнего доверия к индивиду­ альным суждениям авторитетов, с одной стороны, и слепого следования за обезличенным статистическим боль­ шинством — с другой.

В зависимости от специфики рассматриваемой области подход к суждениям должен изменяться. Так, при ана­ лизе н^р^пектив развития фундаментальных наук наи­ больший вес бy_g^^^шJ;Z^я^^RY^ЦP^Ш~-• суждения кдупных^ученых, и, наоборот, при^аналпзе программ разработок и раз_витая__прои_зво.дства особое внимание сле­ дует уделять - преобладающим взглядам_специалистов и администраторов.

Одним пз интересных подходов к опросу и обобщению оценок, данных экспертами, является метод Дельфы, получивший свое название от города Дельфы и дельфий­ ских мудрецов, о которых мы упоминали вначале. Цель метода — составление тщательно скорректированной про­ граммы последовательных индивидуальных опросов, на­ правленной на уменьшение группового влияния, воз­ никающего при совместной работе специалистов °.

Основные принципы, положенные в основу метода Дельфы, заключаются в обеспечении анонимности опроса путем исключения непосредственного взаимодействия экспертов; при этом управляемая обратная связь уста­ навливается в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса. Обратная связь, регулируемая аналити­ ками, позволяет выявить преобладающие суждения спе­ циалистов и сблизить их точки зрения на проблему. Вместе с тем метод не имеет целью достижение полного единства мнений, так как учитывается, что, несмотря

» т . Gordon, О. Helmer. Report on a Long-Range Forecasting Study. Re­ port P-2982. The RAND Corp., Sept. 1964.

114


на сближение точек зрения, различие будет существовать и в конце опроса.

Полагают, что благодаря письменной форме опроса экспертов снижается влияние таких факторов, как вну­ шение или приспособление к мнению большинства.'

Опрос производится в несколько туров. Во время каждого тура эксперты должны сообщить свое мнение и дать оценку ряда величин, например указать сроки свершения некоторых событий (изобретений, открытий, технических достижений), которые должны, по их мне­ нию, осуществиться в течение прогнозируемого периода.

После очередного тура опроса производится обработка информации, полученной от экспертов. При этом за пока­ затель группового мнения принимается медиана, а за показатель согласованности мнений — диапазон кварти­ лей, которые хорошо характеризуют совокупность полу­ ченной информации.

Предположим, что от экспертов • получено какое-либо число оценок исследуемой величины, например 11. Прежде всего эти оценки нужно расположить в порядке их убы­ вания. Затем необходимо найти медиану. В нашем при­ мере с 11 оценками она будет совпадать, как показано на рис. 8, с оценкой Na. Далее нужно установить значения верхнего и нижнего квартилей Q1 и Q2. Медиана и квар­ тили на оси ряда образуют четыре интервала, среди кото­

рых два средних (QXM

и Q2M)

считаются

наиболее пред­

почтительными.'

 

 

 

 

 

 

 

 

Л'|

Л 2

N3

Hi Ns

Л'6

Л'7

Ns

Л'94-10Л-„

 

1

1

1

L _ J

I

I

I I I I i

 

 

 

Pi

 

m

 

 

P 2

 

 

 

 

Pne. 8. Медианы п квартили

Экспертов, чьи оценки не лежат внутри диапазона

квартилей

(?2 ), просят обосновать причины

расхожде­

ния суждений и сообщить свое мнение по поводу совер­ шенства постановки вопросов. С их обоснованиями и вы­ водами, не указывая от кого они получены, знакомят остальных экспертов.

Подобная процедура позволяет специалистам изменить в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить

8* 115


плп которыми пренебрегли в первом туре опроса. Бла­ годаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.

После получения оценок второго тура вновь произво­ дится процедура их упорядочения и снова рассчитываются медиана п квартили. По результатам расчетов аналитики подготавливают документ, в котором указываются (ано­ нимно) основные причины изменений оценок, происшедших во втором туре. В третьем и четвертом турах все повто­ ряется в той же последовательности, а медиана ответов последнего тура принимается за обобщенное мнение.

Метод Дельфы позволяет получить более надежные оценки группового мнения, чем в случае простого их усреднения. К недостаткам метода следует отнести то, что взаимовлияние экспертов здесь полностью не исклю­ чено, так же как не исключено и влияние «общественного» мнения на каждого из экспертов. Кроме того, существует

значительная

зависимость оценок, данных

экспертами,

от точности

формулирования вопросов

и аргументации.

С помощью метода Дельфы производилась

самооценка

экспертов для того, чтобы определить их

осведомленность,

компетентность в анализируемой области и сформировать группы из «сходных» по этим факторам специалистов. Такая процедура позволила установить, что при аноним­ ном опросе происходит частичная потеря информации, которая может быть восстановлена лишь при личной встрече аналитпков с экспертами.

В заключение следует отметить, что проблемы надеж­ ного опроса экспертов пока еще полностью не решены. Основные направления, по которым должна идти работа по совершенствованию методологии опроса, заключаются в разработке различных методов самооценки экспертов, обеспечивающих улучшение системы их "отбора, в иссле­ довании зависимости мнений экспертов от различных форм обратной связи и в разработке приемов формулирования дополнительных вопросов для систематического выявле­ ния скрытых причин, воздействующих на мнение эксперта. "Наличие многочисленных факторов, которые могут оказать влияние на отклонение оценок, заставляет уделять про­ блеме надежности экспертиз особое внимание. Повышение достоверности экспертных методов является непременным условием применения их в планировании и управлении на­ родным хозяйством.