Файл: Судовые системы автоматического контроля (системный подход к проектированию)..pdf

ординарных случаев. Вместе с тем, анализ сведений о каждой кон­

кретной системе или объекте, близких к разрабатываемым по функ­ циональному назначению, дает много ценной качественной и коли­ чественной информации, которую необходимо учитывать. Точно определить достоверность полученных оценок на этапе проектиро­ вания невозможно. Это относится к априорным оценкам, полученным

любыми методами.

Особый интерес представляют вопросы оценки и повышения до­

стоверности информации, получаемой эвристическими методами. При

использовании этих методов появляются дополнительные источники

возможных погрешностей, которые можно разделить на следующие

группы.

1. Случайные ошибки у. Это типичные ошибки любых измерений

при ограниченном числе опытов. В основе метода экспертных оце­ нок лежит предположение о том, что информация, полученная от

лишь ограниченного числа экспертов, то случайные отклонения оце­ нок, даваемых каждым экспертом, приводят к случайному отклоне­ нию у их усредненной оценки от истинной.

2.Систематические ошибки е. На оценки разных экспертов могут оказать влияние некоторые общие факторы, вызывая коррелирован­ ные ошибки. Обычно такие ошибки наблюдаются у представителей одной организации, одного научно-технического направления

(школы) и больше всего сказываются при оценках показателей, не

имеющих общепринятых единиц измерения.

3.Психологические ошибки ф. Специфические при использовании

эвристических методов они вызываются как чисто психологическими

факторами, так и недостатком квалификации эксперта. Правильность

оценки зависит от желания эксперта дать добросовестную оценку

(в этом существенное отличие метода экспертной оценки от прибор­ ных методов измерения) и от его способности различать интенсив­ ности проявления оцениваемого качества (разрешающей способ­ ности), в связи с чем возможны различного рода ошибки. Так, могут быть завышены оценки систем, которые разрабатывались специали­ стами и организациями, имеющими высокую репутацию у эксперта, и,

наоборот, занижены у разработок организаций с низкой репута­

цией. Возможно стремление эксперта не давать крайних оценок

(ошибка центральной тенденции) или давать одинаковые оценки ло­

гически связанными (логическая ошибка) и др. Причиной ошибок может быть нечеткая формулировка вопроса, неоднозначность упо­ требляемых терминов, недостаточно эффективная система оценок и многие другие факторы.

Средней ошибкой оценки при использовании эвристических мето­ дов является случайная величина

б = М [у] ± М [е] ± М [ф],

где М [у], М [е] и М [ф] — математические ожидания случайной,

систематической и психологической ошибок соответственно.

40

Для случайной ошибки у принципиально можно построить функ­

цию распределения и, следовательно, получить любые численные

оценки. В частности, задавшись величиной доверительного интер­

вала А, можно определить вероятность Р (А) того, что неизвестное достоверное значение показателя (при N —> оо) находится внутри этого интервала. Можно и по заданной доверительной вероят­ ности Р (А) найти величину интервала А, в котором с вероят­

ностью Р (А) находится истинное значение показателя. В математи­ ческой статистике имеются хорошо разработанные методы решения

этих задач [19, 34].

Систематические и психологические ошибки на стадии проектиро­

вания определить обычно не удается, что вносит элемент неопределен­

ности в получаемый результат. Эту неопределенность можно только

уменьшить соответствующими подбором и организацией опроса экс­

пертов. Однако именно вопросы подбора и процедуры опроса экс­ пертов в настоящее время остаются мало разработанными.

Одной из основных исходных посылок метода экспертных оценок

является предположение, что опрашиваемая группа экспертов доста­

точно представительна по количеству экспертов и обладает необходи­

мой квалификацией и компетентностью для правильных ответов на

задаваемые вопросы, а условия опроса в наибольшей степени содей­

ствуют получению достоверных оценок. Поэтому при формировании

группы экспертов необходимо в первую очередь определить ее общую численность и выделить основные направления и специализации, ко­ торые должны быть представлены в этой группе.

Численность группы экспертов должна быть достаточной для того, чтобы оценка каждого эксперта не влияла в значительной сте­ пени на групповую оценку. В то же время при слишком большой

группе оценка каждого эксперта в отдельности почти не влияет на оценку группы, причем увеличение численности группы экспертов

далеко не всегда повышает достоверность оценки. Объясняется это

тем, что большая численность группы экспертов возможна при вклю­

чении в ее состав специалистов недостаточной квалификации, не

обладающих значительным опытом, что может привести даже к сни­ жению достоверности оценок. С ростом численности группы возра­ стают трудности обработки результатов опроса. Поэтому существуют некоторые значения минимального и максимального {Nmln и Nтах) числа экспертов.

Минимальное число экспертов Mmln должно определяться числом

оцениваемых параметров, т. е. требованием представительности

группы экспертов для принятия решений по множеству из т собы­ тий, т. е.

N mln ss am,

где коэффициент а = 0,7-г-1. Кроме того, следует учесть, что в со­ став экспертов обычно должны входить специалисты по разработке,

изготовлению и эксплуатации системы, причем эти специалисты должны представлять различные организации и направления. Обычно

41

следует стремиться к тому, чтобы число экспертов каждого направле­

ния было одинаковым.

При определении минимального числа опрашиваемых экспертов можно в ряде случаев считать, что вероятность правильного ответа на поставленные вопросы Р (N) возрастает по показательному за­

кону при увеличении числа экспертов N, т. е.

Р (N) = 1 — (1 — р)ы,

где р — вероятность правильного ответа одного эксперта, одинако­

вая для всех опрашиваемых экспертов.

Если задаться вероятностью правильного ответа всей группы экспертов Р3, то из выражения

При использовании этого выражения найденное значение округ­ ляется до ближайшего большего целого числа. В табл. 1.3 приве­

дены значения функции Р3 = 1 — (1 — p)N. С помощью таблицы в строке с принятым р для заданного Р3 определяется искомое число

экспертов N.

При решении экспертами нескольких задач, например, при ран­

жировании показателей, подход к определению необходимого числа

экспертов несколько изменяется, хотя и остается возможность ис­ пользования выражения (1.5.1) и, следовательно, табл. 1.3. Дей­

ствительно, пусть рассматривается К задач (например, сравнение К пар показателей), а средняя вероятность правильного решения

одной из множества К задач одним экспертом равна р. Если задать

среднюю долю правильно решенных задач s = М , где М — число

При использовании выражений (1.5.1) и (1.5.2) необходимо учи­ тывать, что по ним определяется число экспертов, из которых хотя бы один решит задачу (или задачи) с заданной вероятностью.

Трудность состоит в том, что неизвестно, кто же этот «умный» экс­ перт. Поэтому необходимо проводить оценку согласованности мне­

ний экспертов и значимости полученного коэффициента согласия. Только при высокой степени согласованности мнений экспертов

можно считать, что их коллективное решение с вероятностью, близ­

кой к^Р3, является правильным. Методы оценки согласованности мнений экспертов рассмотрены в § 2.5.

Для определения максимального числа экспертов Nmax следует

учесть общее число специалистов, потенциально способных высту-

42

пить в роли эксперта, важность системы, методы обработки полу­

чаемой от экспертов информации. Обычно стремятся, чтобы числен­

ность группы экспертов не превышала 10— 15 человек. Уровень ква­

лификации экспертов должен быть одинаков и близок к квалифика­

ции лица, ответственного за окончательное принятие решения. При

подборе экспертов необходимо добиваться того, чтобы они могли

давать более объективные оценки, т. е. исключить возможность их влияния на групповую оценку в желательном или нежелательном для себя направлении. Поэтому следует исключить из рассмотрения экспертами вопросы, в решении которых они непосредственно заинтересованы. В то же время желательно стимулировать формиро­ вание экспертами объективной оценки. При этом необходимо учи­

тывать причины возможных ошибок в оценках, рассмотренные

выше.

Предпринимаются попытки разработать методы оценки и учета квалификации эксперта. Мерой квалификации может служить от­

клонение оценки эксперта от средней оценки группы (см. § 1.4).

Кроме того, можно использовать набор специальных тестовых за­

дач [63], составленных так, чтобы между результатами решения этих

и реальных задач существовала бы тесная зависимость.

Как показывает опыт применения экспертных оценок, например,

метода «Делфи» [31, 51], степень уверенности, с которой эксперт

43