Файл: Бешелев, С. Д. Экспертные оценки.pdf

1 Р. Акоф, М. Сасиени. Основы исследования операций. М., 1971, стр. 40.

100

не будет основана лишь на математических построениях. «Окончательный выбор. . . осуществляется и будет осу­ ществляться на основе суждений ученых и специалистов. Другого пути нет и никогда не будет. Вопрос заключается лишь в том, основаны ли эти суждения на разноречивых и несистематизированных данных, неясных и неустано­ вленных результатах или на базе адекватной сопостави­ мой информации и ясно очерченных результатах» 2 .

Оценки, используемые в экспертизах, можно разделить на две группы: абсолютные и относительные. Абсолют­ ные оценки в своих формулировках имеют такие термины, как «хороший» или «плохой». Этим оценкам могут быть приписаны смысловые формы «да» или «нет» и числовые

в основе которых лежат методы сравнения определенного набора объектов (альтернатив) по определенному пра­ вилу или критерию.

Хотя для представления оценок применяются числа, математические' операции, которые можно производить с помощью этих чисел, зависят от характера шкалы, используемой для оценки. Следует четко понимать раз­ личие между мерой и оценкой. Для оценок характерно наличие дополнительного источника ошибок, которого нет при непосредственных измерениях. Любая оценка возникает в результате стремления выразить в виде числа какое-то свойство исследуемого объекта. Естественно, что если бы истинное значение этого, свойства было бы известно, не требовалось бы иметь его оценку. С другой стороны, знание достоверности оценок в момент их опре­ деления требует знания «истинного значения» исследуе­ мого свойства. Кроме того, оценка всегда субъективна и, как мы уже отмечали, зависит от' особенностей и целей субъекта, ее производящего.

Современные методы использования экспертов обес­ печивают более полное взаимодействие специалистов раз­ ных профилей, улучшение их подбора и согласования их оценок.

Большое значение при этом придается процедуре, слу­ жащей для уменьшения психологического влияния причин.

7A . Enthoven. Choosing Strategies and Selecting Weapon System. U , S. Na­ val Institute Proceedings, 1964, vol . 90, N 1, p. 154.

101

снижающих эффективность экспертных решений, таких, как возникающие при совместной работе в комиссиях взаимное убеждение, влияние авторитетов и т. п. Пря­ мые дебаты обычно заменяются программами согласова­ ния индивидуальных мнений, учитывающими логические связи имеющейся статистической информации с оценками, полученными от экспертов. Исследуя причины возникно­ вения мнений, согласовывая и суммируя отдельные оценки, пытаются стимулировать экспертов учесть обстоятель­ ства, которые могли быть не приняты во внимание при первоначальном рассмотрении проблем.

Важным .этапом подготовки программ экспертной оценки является формирование группы^ специалистованалитиков, в обязанности которой входит:

— подбор специалистов, участвующих в экспертизе;

—составление специальных опросных листов (анкет);

—разработка способа и процедуры опроса экспертов;

—проведение опроса;

ной информации с целью подготовки оценок, необходимых для принятия решения.

Работа по подбору специалистов, участвующих в экс­ пертизе, обычно начинается с определения научных, тех­ нических и административных проблем, решение которых влияет на осуществление данной задачи. Затем состав­ ляется список компетентных в этих областях лиц, ко­ торый служит основой для выбора экспертов.

Установив число потенциально возможных кандида­ тов в эксперты, нужно решить вопрос о численности экспертной группы. Разумеется, здесь нельзя точно рас­ считать оптимум, однако ясно, что при малом числе экспертов на групповую оценку оказывает излишнее влияние оценка каждого из экспертов. В то же время при очень большом числе экспертов труднее выявить их согласованное мнение и может снизиться достоверность групповой оценки вследствие уменьшения роли «ерети­ ческих» мнений, отличающихся от мнения большинства, но далеко не всегда оказывающихся неправильными. Во всяком случае, количество экспертов зависит и от возможности обеспечения «равноправия» ученых и спе­ циалистов различных направлений, и от уровня их ком­ петентности.

102

Главное требование, предъявляемое к каждому эксперту, естественно, его компетентность в исследуемой области. Кроме того, нужно, чтобы он был также эруди­ рован в смежных областях, т. е. имел достаточно широкий кругозор. Иногда кандидатов в эксперты делят на уни­ версалистов и специалистов, но и в том, и в другом случае кандидаты в эксперты должны обладать аналитическим и трезвым умом,. хорошо чувствовать тенденции раз­ вития.

Можно, конечно, представить себе и «идеального» эксперта, основные качества которого:

. — креативность — способность решать творческие за­ дачи, метод решения которых полностью или частично неизвестен;

—эв^стичнрсть — способность видеть или создавать неочевидные проблемы;

—интуиция —• способность делать заключения об ис­

следуемом объекте без осознания пути движения мысли

кэтому заключению;

—предикаторность — способность предсказывать или предчувствовать будущие состояния исследуемого объекта;

с различных точек зрения и т. д.

Однако подобрать группу равноценных экспертов, обладающих всеми этими способностями, чрезвычайно трудно, да и методы оценки их пока еще несовершенны. Поэтому обычно в качестве критериев отбора экспертов пытаются использовать некоторые простые статистичес­

которых кандидаты в эксперты должны показать свою эрудицию и аналитические способности. Ответ на каждый из поставленных вопросов дается в короткое время (по­ рядка десяти минут); кроме того, делается «самооценка» своих, знаний в области заданного вопроса в виде числа. Подобные анкеты позволяют судить как о действительных знаниях эксперта, так и о его способности критически оценить собственные возможности.

Другим способом отбора наиболее компетентных экс­ пертов являются расчеты достоверности и точности их

103

ч оценок. Обосновывая возможность использования экс­ пертных методов, один из видных специалистов в этой области Олаф Хелмер отмечал: «Мы получаем информа­ цию о происходящих событиях при помощи разных при­ боров, иногда неточных, причем не отказываемся от этой информации, учитывая лишь степень ее точности и до­ стоверности; специалистов-экспертов тоже можно рас­ сматривать как своего рода «прибор», дающий информа­ цию о вероятности тех или иных предстоящих событий или гипотез, объясняющих происходящие события. Отка­ зываться от такой информации не следует. Следует лишь постараться определить степень точности и достоверности этой информации, подобно тому как это делается для других измерительных приборов» 3 .

Рассматривая эксперта как своеобразный «прибор», определяют достоверность (надежность) и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надежности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впослед­ ствии оказавшимся верными, т.е. подтвердившимися. Расчет ведется по формуле

рл7 »

Е= 1Г>

где N0 — число случаев, в которых эксперт, встретившись с несколькими альтернативными гипотезами, приписал наибольшую вероятность той, которая подтвердилась; N — общее число случаев, когда эксперт производил оценку.

Однако учитывая, что эксперт обычно работает в кол­ лективе, вводится понятие об его относительной надеж­ ности. Относительная надежность рассчитывается по • формуле

где В. — степень надежности («абсолютная») данного экс­ перта; Rm — средняя степень надежности, исчисленная для некоторой группы экспертов.

s О. Helmer. The Systematic Use оГ Expert Judgement on Operation Research. Proceeding ol 3-th IFORS Conference. Oslo, 1963.

104

Очевидно, что чем меньше абсолютная надежность эксперта, тем меньшую «ценность» он представляет. При­ чем если абсолютная степень надежности меньше или равна единице, то желательно, чтобы относительная на­ дежность была больше или равна единице.

Для событий маловероятных (с вероятностью их на­ ступления, близкой к нулю) или для событий, весьма вероятных (с вероятностью, близкой к единице), степень надежности эксперта, естественно, будет более высокой, чем для событий (гипотез) с вероятностью, близкой к 0,5.

Для того чтобы учесть это, рассчитывается степень точности эксперта. Под степенью точности эксперта при вынесении им суяхдения о значении вероятности для некоторого события понимается степень соответствия его «персональной» оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку.

Понятия надежности и точности, по оценке О. Хелмера, базируются на предположении, что существуеткласс задач, для которых эксперт подходит либо не под­ ходит. Однако репутация, осведомленности может воз­ никнуть не только на основании действительных, внут­ ренне присущих эксперту свойств, но и в результате слу­ чайного принятия в прошлом правильных решений, даже если вероятность таких решений была не больше «чистой» случайности, как, например, 0,5 для падения монеты той или иной стороной 4 .

Именно поэтому помимо расчетов надежности и точ­ ности экспертов необходимо уделять особое внимание ра­ боте по их подготовке.

Следует предоставить эксперту максимально возмож­ ное количество объективных данных, имеющих отношение к анализируемой проблеме, и стараться повысить ква­ лификацию экспертов посредством специального обуче­ ния и тренировок. Кроме того, эксперт должен быть до­ статочно хврощо информирован об источниках возникно­

С целью обеспечения независимости оценок следует устра-

'«Математические методы в современной буршуавной социологии». Под ред. Г. В. Осипова, М., 1966, стр. 216.

105