ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 23.10.2024
Просмотров: 63
Скачиваний: 0
заказ правящих кругов, буря^уазные ученые зачастую организуют и направляют опросы таким образом, чтобы получить желательные и явно нереальные резуль таты.
Влияние характера и направленности процедуры опроса на получаемые результаты следует учитывать при организации экспертиз и разработке опросных листов (анкет), с помощью которых осуществляется сбор необхо димой информации.
Анкета в экспертных методах — это определенным, образом организованный набор вопросов, ответы на кото- < рые рассматриваются как информация о степени уверен-1 v
ности |
эксперта |
в |
вероятности |
свершения |
события или \ |
|||
в относительной важности оцениваемого свойства. |
\ |
|||||||
Необходимость четкой и осмысленной формулировки |
|
|||||||
всевозможных анкет и вопросников, получивших |
широкое |
|
||||||
распространение в последние годы, стало особенно важ |
|
|||||||
ной сегодня, когда анкетирование применяется в социо |
|
|||||||
логии, психологии, прогнозировании и находит все боль |
|
|||||||
шее распространение в управлении научно-техническим |
|
|||||||
прогрессом и экономикой. Поскольку экспертные методы |
|
|||||||
также в значительной степени основаны на применении |
|
|||||||
анкетирования, |
орханизации . этой__дроцедуры |
следует |
|
|||||
уделять |
большое, внимание. |
|
|
|
|
|||
Наиболее широко используемый тип опроса требует' |
||||||||
высказывания мнения с учетом определенной количествен |
|
|||||||
ной оценки для каждого из возможных ответов. Эксперта |
|
|||||||
спрашивают, действительно ли он согласен с заранее |
|
|||||||
подготовленным ответом, или же предлагают ему отме |
|
|||||||
тить свое мнение на шкале, состоящей из нескольких |
|
|||||||
пунктов. Используются также и анкеты с так называемыми |
|
|||||||
открытыми вопросами, где эксперт выражает свое соб |
|
|||||||
ственное мнение по любому из них и оценивает его, на |
|
|||||||
пример, по шкале в диапазоне от 0 до 10 баллов. |
|
|||||||
По своему характеру вопросы, вШ1б^ёмыеПв"ан1{еты, |
|
|||||||
могут |
быть разделены на следующие типы: |
|
|
|||||
1) |
вопрос, ответ |
на который |
заключаетсяТв~выборе |
/ |
||||
одного из нескольких точно сформулированных |
мнений. |
|||||||
Каждому из мнений может быть |
приписан |
определенный |
|
|||||
балл; |
|
|
|
|
|
|
|
|
~—2) вопрос о поведении эксперта в конкретной ситуа |
|
|||||||
ции. Ответы фиксируют наличие или отсутствие опреде |
|
|||||||
ленного |
действия; |
|
|
|
|
|
111
3)вопрос, требующий оценить численное значение или вероятность какой-либо величины;
4)вопрос, цель которого замаскирована относительно измеряемой качественной переменной. Измерение за
ключается в системе оценок, производимых аналитиками в зависимости от ответов, данных экспертами.
Опрос может проводиться заочно, когда личный кон такт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется при личной беседе с экспертом. . Преимуществами заочного опроса является его относительная простота и дешевизна; однако здесь возможны случаи неправильного заполнения анкет. При личной беседе этот недостаток исключается, но тре буются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может созна тельно или бессознательно влиять на ответы эксперта.
При заполнении анкет определенную роль играет порядок постановки вопросов и их фразеологическая формулировка. Вопросы не должны допускать двойного толкования или стремления заставить эксперта выразить свое мнение в области, где он недостаточно компетентен. Мера конкретизации вопросов должна учитывать реаль ную возможность эксперта дать правильный ответ. Излишняя конкретизация создает иллюзию точности, тогда как в самом деле она подготавливает почву для по лучения заведомо неверных ответов. ^Установлено, что
.сначала лучше тр_ебовать ответ на наиболее сложные и общие вопросы, а затем постепенно переходить к более пр_рстым ичастным. При этом не следует формулировать вопросы так, чтобы обеспечить ответы, гарантирующие «единодушие» экспертов.
Набор вопросов в анкете должен нметь логическую связь, однако эксперт может менять некоторые из них, если они не учитывают все важные, с его точки зрения, критерии. Кроме ясности и точности вопросов требуется, чтобы каждый из них «работал» на выяснение всей про блемы в целом.
В ряде методик экспертных оценок предусматривается проведение нескольких туров опроса. Это позволяет экспертам «взвесить» свои суждения с учетом ответов и доводов коллег и дополнительной информации, которая не была учтена в предыдущем туре. Выяснение причин, пусть даже недостаточно обоснованных, но послуживших
112
базой для суждений, приводит иногда к пересмотру от дельных оценок.
Для установления скрытых причин возникновения того или иного суждения в некоторых случаях в анкеты включается ряд дополнительных вопросов, которые по ясняют доводы, позволяющие экспертам давать опреде ленные оценки ответам на основные вопросы.
Для анализа обоснованности ответов можно предло жить эксперту специальную таблицу, в которой он дол жен отметить источники аргументации, послужившие основанием для ответа и оценки. Отметка делается в одной из трех граф в зависимости от степени влияния (высокая, средняя, низкая) каждого источника на мнение эксперта.
Пример |
такой |
таблицы |
приводится |
ниже 8 . |
|
|
|
|
|
|
|
|
Таблица 12 |
|
|
|
Самооценка степени влияния источника аргументации |
|||
|
|
|
|
Степень влияния источника |
||
|
|
|
|
на мнение эксперта |
|
|
Источник |
аргументации |
высокая |
средняя |
низкая |
||
|
|
|
|
|||
Проведенный |
теоретический |
* |
|
|
||
|
|
|
|
|
|
|
Производственный |
опыт . . |
* |
|
|
||
Обобщение |
работ |
отечествен- |
|
* |
|
|
Обобщеппе |
работ |
зарубеж- |
|
|
||
|
|
|
||||
|
|
|
|
|
|
* |
Личное знакомство с состоя |
|
|
|
|||
нием дел за рубежом . . |
|
* |
* |
|||
|
|
|
|
|
|
|
Заполненная экспертом таблица в данном случае |
||||||
означает, что на его мнение по соответствующему |
вопросу |
в высокой степени повлияли проведенный им ранее тео ретический анализ и личный производственный опыт, в средней степени — обобщение работ отечественных авто ров, а также личная интуиция и в малой степени — обоб щение работ зарубежных авторов и его личное знакомство
с состоянием дел за рубежом. Все эти оценки могут |
быть |
' Г. М. Доброп. Прогнозирование науки и техники. М. 1968 ,стр. 131. |
|
8 С. Д. Бешвлев, Ф. Г. Гурвич |
113 |
переведены аналитиками в количественную форму путем присвоения каждой из них определенного балла.
Ответы экспертов, получаемые в результате опроса,
изучаются аналитиками |
в двух |
основных аспектах: |
||
1) |
анализируется подход к |
решению |
проблемы; |
|
2) |
полученные ответы |
переводятся в |
количественную |
форму.
Внимательный анализ аргументов, выдвинутых экспер тами, позволяет избежать двух постоянно грозящих аналитикам крайностей: излишнего доверия к индивиду альным суждениям авторитетов, с одной стороны, и слепого следования за обезличенным статистическим боль шинством — с другой.
В зависимости от специфики рассматриваемой области подход к суждениям должен изменяться. Так, при ана лизе н^р^пектив развития фундаментальных наук наи больший вес бy_g^^^шJ;Z^я^^RY^ЦP^Ш~-• суждения кдупных^ученых, и, наоборот, при^аналпзе программ разработок и раз_витая__прои_зво.дства особое внимание сле дует уделять - преобладающим взглядам_специалистов и администраторов.
Одним пз интересных подходов к опросу и обобщению оценок, данных экспертами, является метод Дельфы, получивший свое название от города Дельфы и дельфий ских мудрецов, о которых мы упоминали вначале. Цель метода — составление тщательно скорректированной про граммы последовательных индивидуальных опросов, на правленной на уменьшение группового влияния, воз никающего при совместной работе специалистов °.
Основные принципы, положенные в основу метода Дельфы, заключаются в обеспечении анонимности опроса путем исключения непосредственного взаимодействия экспертов; при этом управляемая обратная связь уста навливается в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса. Обратная связь, регулируемая аналити ками, позволяет выявить преобладающие суждения спе циалистов и сблизить их точки зрения на проблему. Вместе с тем метод не имеет целью достижение полного единства мнений, так как учитывается, что, несмотря
» т . Gordon, О. Helmer. Report on a Long-Range Forecasting Study. Re port P-2982. The RAND Corp., Sept. 1964.
114
на сближение точек зрения, различие будет существовать и в конце опроса.
Полагают, что благодаря письменной форме опроса экспертов снижается влияние таких факторов, как вну шение или приспособление к мнению большинства.'
Опрос производится в несколько туров. Во время каждого тура эксперты должны сообщить свое мнение и дать оценку ряда величин, например указать сроки свершения некоторых событий (изобретений, открытий, технических достижений), которые должны, по их мне нию, осуществиться в течение прогнозируемого периода.
После очередного тура опроса производится обработка информации, полученной от экспертов. При этом за пока затель группового мнения принимается медиана, а за показатель согласованности мнений — диапазон кварти лей, которые хорошо характеризуют совокупность полу ченной информации.
Предположим, что от экспертов • получено какое-либо число оценок исследуемой величины, например 11. Прежде всего эти оценки нужно расположить в порядке их убы вания. Затем необходимо найти медиану. В нашем при мере с 11 оценками она будет совпадать, как показано на рис. 8, с оценкой Na. Далее нужно установить значения верхнего и нижнего квартилей Q1 и Q2. Медиана и квар тили на оси ряда образуют четыре интервала, среди кото
рых два средних (QXM |
и Q2M) |
считаются |
наиболее пред |
|||||
почтительными.' |
|
|
|
|
|
|
|
|
|
Л'| |
Л 2 |
N3 |
Hi Ns |
Л'6 |
Л'7 |
Ns |
Л'94-10Л-„ |
|
1 |
1 |
1 |
L _ J |
I |
I |
I I I I i |
|
|
|
|
Pi |
|
m |
|
|
P 2 |
|
|
|
|
Pne. 8. Медианы п квартили |
||||
Экспертов, чьи оценки не лежат внутри диапазона |
||||||||
квартилей |
(?2 ), просят обосновать причины |
расхожде |
ния суждений и сообщить свое мнение по поводу совер шенства постановки вопросов. С их обоснованиями и вы водами, не указывая от кого они получены, знакомят остальных экспертов.
Подобная процедура позволяет специалистам изменить в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить
8* 115
плп которыми пренебрегли в первом туре опроса. Бла годаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.
После получения оценок второго тура вновь произво дится процедура их упорядочения и снова рассчитываются медиана п квартили. По результатам расчетов аналитики подготавливают документ, в котором указываются (ано нимно) основные причины изменений оценок, происшедших во втором туре. В третьем и четвертом турах все повто ряется в той же последовательности, а медиана ответов последнего тура принимается за обобщенное мнение.
Метод Дельфы позволяет получить более надежные оценки группового мнения, чем в случае простого их усреднения. К недостаткам метода следует отнести то, что взаимовлияние экспертов здесь полностью не исклю чено, так же как не исключено и влияние «общественного» мнения на каждого из экспертов. Кроме того, существует
значительная |
зависимость оценок, данных |
экспертами, |
|
от точности |
формулирования вопросов |
и аргументации. |
|
С помощью метода Дельфы производилась |
самооценка |
||
экспертов для того, чтобы определить их |
осведомленность, |
компетентность в анализируемой области и сформировать группы из «сходных» по этим факторам специалистов. Такая процедура позволила установить, что при аноним ном опросе происходит частичная потеря информации, которая может быть восстановлена лишь при личной встрече аналитпков с экспертами.
В заключение следует отметить, что проблемы надеж ного опроса экспертов пока еще полностью не решены. Основные направления, по которым должна идти работа по совершенствованию методологии опроса, заключаются в разработке различных методов самооценки экспертов, обеспечивающих улучшение системы их "отбора, в иссле довании зависимости мнений экспертов от различных форм обратной связи и в разработке приемов формулирования дополнительных вопросов для систематического выявле ния скрытых причин, воздействующих на мнение эксперта. "Наличие многочисленных факторов, которые могут оказать влияние на отклонение оценок, заставляет уделять про блеме надежности экспертиз особое внимание. Повышение достоверности экспертных методов является непременным условием применения их в планировании и управлении на родным хозяйством.