Файл: Судовые системы автоматического контроля (системный подход к проектированию)..pdf

Для оценки полезности тех показателей системы, которые не имеют физических единиц измерения, часто применяют оценки в баллах. Это относится к эргатическим, эстетическим и некоторым другим. показателям. При использовании балльных шкал необхо­ димо учитывать ряд их особенностей, вызывающих иногда серьезные затруднения и приводящих к ошибкам.

Балльная шкала для измерения полезности не является форма­

лизованной, т. е. для нее отсутствуют четко определенные точки

отсчета (опорные интенсивности), отстоящие друг от друга на еди­ ницу измерения. Возможно применение двух типов балльных шкал:

порядковой и интервальной [77]. В самом общем виде эти шкалы

можно охарактеризовать следующим образом. Если между любыми

парами значений показателей установлены отношения порядка,

например, «лучше-хуже», т. е. для одного из них фиксируется боль­

шая степень выраженности признака, по которому их сравнивают,

то числа, приписываемые этим значениям, образуют порядковую

шкалу. Типичным примером порядковой шкалы является шкала школьных отметок, шкала Бофорта и т. п. Если для любых двух

чисел на порядковой шкале известно расстояние между ними, то она

превращается в интервальную шкалу, которая характеризуется по­

стоянной единицей измерения. Примером интервальной шкалы слу­

жат шкалы Цельсия, Фаренгейта, Кельвина для измерения темпе­

ратуры и т. п.

Из приведенных характеристик шкал следует, что полезность

значений показателей САК обычно можно оценить по балльной порядковой шкале.

Для каждого показателя существует своя шкала оценок полез­ ности. При ее построении следует учесть, что шкала с небольшим числом разрядов позволяет получать довольно грубые оценки.

Вместе с тем слишком большое количество интервалов на шкале может привести к тому, что специалист не сможет осуществить такое тонкое различие. Обычно используют шкалы с нечетным числом

оценок: 5, 7, 9 и 11. Необходимо отметить, однако, что в многочислен­

ных опытах, связанных с психрометрическими измерениями, уста­ новлено малое влияние числа делений шкалы на результаты изме­ рений [77].

Важнейшей особенностью балльной порядковой шкалы является то, что на ней не определено равенство интервалов. Например, если характеристика А оценена в 1 балл, характеристика В в 3 балла,

а характеристика С — в 5 баллов, то отсюда совсем не следует, что С

настолько же лучше В, насколько В лучше А. Вследствие этого баллы порядковой шкалы нельзя суммировать и умножать между собой. Отсюда вытекает очень важное обстоятельство: если необходимо получить среднее значение одной характеристики по результатам ее оценок несколькими экспертами, то для этого нельзя использовать

среднее арифметическое значение их оценок. В качестве средней

оценки можно применить величину, вычисление которой основано на математических операциях, разрешенных на порядковой шкале —

медиану (Me). В качестве меры рассеяния в силу тех же причин

68

следует использовать не дисперсию оценок, а полуинтерквартиальный размах Q их распределения.

Прежде чем рассмотреть вопросы вычисления этих величин, поясним методику определения балльных оценок. Вся шкала делится на ряд интервалов (как уже говорилось, число оценок лучше брать нечетным), упорядоченных по степени полезности. Каждый интервал

может быть обозначен числом (баллом) или иметь словесное наимено­

вание типа «плохо», «хорошо», «отлично» и т. п., причем полезно

сочетать числовое обозначение со словесным наименованием. Для

рассматриваемых задач можно воспользоваться следующими пятью оценками: «плохо» —■ 1 балл, «удовлетворительно» — 2 балла, «хо­

рошо» — 3 балла, «очень хорошо» — 4 балла, «отлично» —• 5 баллов.

Между экспертами, проводящими оценку, должно быть достигнуто

единство взглядов на содержание указанных оценок.

При оценке полезности значения показателя эксперт должен

отнести значение показателя каждого варианта системы к одной

из оценок шкалы. Результаты таких оценок могут быть представ­

лены матрицей, имеющей I строк (I — число вариантов) и w столбцов

(w —• число оценок шкалы). На пересечении г-й строки и /-го столбца

указывается число экспертов, отнесших t-й параметр к /-й оценке. Как уже говорилось, в качестве средней оценки при применении

порядковой балльной шкалы используется медиана распределения

оценок, отмечающая точку на шкале возможных оценок, ниже кото­

является полуинтерквартиальный размах Q. Эта величина характе­ ризует не отклонение от какой-либо определенной средней, как

где Qx — первая квартиль, т. е. точка на шкале, ниже которой лежит 25% всех оценок; Qs — третья квартиль, т. е. точка, ниже которой лежит 75% всех оценок.

Учитывая, что

п

69

Величина Q может быть интерпретирована в данном случае как мера согласия экспертов в их оценках. Действительно, при полном

совпадении оценок экспертов пх = л 2 и значение Q будет минималь­

ным (Q = 0,25). Если же эксперты дают оценки на случайном уровне,

т. е. в значительной степени произвольно, то при большом п число

оценок в каждом интервале шкалы будет стремиться к величине — ,

а значение Q — к 0,25w, где w — число оценок шкалы. Чем ближе Q

к0,25, тем более согласованы результаты.

Ра с с м о т р и м п р и м е р . Восемь экспертов оценивали по балльной шкале возможную утомляемость операторов в двух вари­ антах судовой САК. Были приняты следующие категории оценок:

«очень сильная» — 1 балл, «сильная» —■ 2 балла, «вполне допусти­

мая» — 3 балла, «нормальная» — 4 балла, «малая» — 5 баллов. Полученные оценки представлены в таблице:

н— — 5 3 —

Вычислим по (2.4.5) средние оценки (медианы) для обоих ва­ риантов:

M e, = 3 + ^ = 0 . = 4,33,

Меп=3+М_^° =3,8.

Полуинтерквартиальный размах составляет: для первого варианта

Qi = 0,25 § = 0,66,

и для второго варианта

<2„ = 0 ,2 5 -§ = 0,4.

Следовательно, согласие в оценках можно считать хорошим.

Если необходимо, чтобы балльные оценки менялись в пределах от 0 до 1, то при пяти категориях оценки можно использовать следу­ ющие баллы: 0,2; 0,4; 0,6; 0,8 и 1,0.

70

S' 2.5

МЕТОДЫ УПОРЯДОЧЕНИЯ ПОКАЗАТЕЛЕЙ САК

Изложенные в § 2.3 методы комплексной оценки вариантов САК требуют упорядочения показателей (частных критериев) по степени их влияния на эффективность системы.

Объективной оценкой влияния i-ro показателя САК на общую

эффективность системы можно считать значение частной производ­

ной от критерия эффективности по этому показателю

Однако применение данного метода ограничивается двумя об­

стоятельствами. Во-первых, аналитическое выражение для критерия

эффективности Е — f (X), связывающее основные показатели САК, как правило, неизвестно. Во-вторых, показатели САК являются

взаимозависимыми. Поэтому для упорядочения показателей обычно

ш ироко применяются методы, основанные на использовании мнения

квалифицированных специалистов (экспертов) по разработке, изго­

товлению и эксплуатации САК и подобных им систем. Такие методы

получили название методов экспертных оценок.

Упорядочение показателей по какому-либо признаку, не име­

ющему физических единиц измерения, как уже отмечалось, назы­

вается ранжированием. При экспертных оценках для ранжирования

показателей САК возможны различные методы получения инфор­ мации от экспертов, оценки согласованности их мнений и значимости

результатов. Применение того или иного метода зависит от числа показателей т , числа экспертов п и квалификации экспертов.

Рассмотрим сначала случай, когда два эксперта ранжируют

показатели системы, причем каждый из них может квалифицированно судить о всех показателях.

Пусть эксперты ранжировали показатели следующим образом:

Показателем согласованности мнений экспертов о ранжировании является коэффициент ранговой корреляции [19, 106]. Он опреде­

ляется как

тт

X S ачьч

(2.5.1)

71