Файл: Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 11.04.2024

Просмотров: 134

Скачиваний: 0

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

Таблица 5.1

Основные характеристики экспериментального исследования

Обтем выборки Испытуемые

Уровень квалификации

Число 11 Ш П

Степень сложности

Среднее время, затрачи­ ваемое на решение задачи

Испытуемые

66 Студенты последнего курса и аспи­

ранты 78% испытуемых изучили по мень­

шей мере один курс программирова­ ния

Задачи

Одна задача, представленная вос­ произведенной на вычислительной машине моделью строительной про­ мышленности

Средняя; задача имеет множество допустимых решений

15—20 чел-ч

Характеристики

систем

с открытым

и закрытым

доступом

Система

с открытым до­

 

СРВ

Массачусетского

технологи­

ступом

 

 

ческого института на основе вычис­

 

 

 

лительной

машины

типа

I B M 7094

Система

пакетной

обра­

 

СПО

Массачусетского

технологи­

ботки

 

 

ческого института на основе вычис­

Использованный

язык

лительной

машины

типа

I B M 7094

 

В режимах

разделения времени

 

 

 

и

пакетной обработки использовал­

Время обращения

пакета

ся

язык

моделирования DYNAMO

 

Переменное:

6 ч днем,

10 ч ночью

Возможность обращения

 

Каждый

студент ежедневно

имеет

к СРВ

 

 

право на сеанс работы за пультом

 

 

 

продолжительностью

не

более

1 ч

 

Порядок проведения

эксперимента

 

 

 

План эксперимента —

Статистический анализ

Управление порядком проведения эксперимента

Мотивационное регулиро­ вание

Процедуры регистрации

Сопоставление результатов рабо­ ты двух однородных групп испытуе­ мых

Сравнение

деятельности

двух

групп с

помощью набора

непара­

метрических

статистических

харак­

теристик

 

 

 

Введение

в анкету соответствую­

щих вопросов, установление опреде­ ленного срока окончания решения задачи

Отметки

Машинная регистрация, заполне­ ние студентами протоколов экспери­ мента и анкет


Исследования работы человека с вычислительной системой 125

Экспериментальная задача допускала множество ре­ шений в том смысле, что модифицированное решающее правило или более близкое к оптимальному значение параметра позволяло получить больший доход. Студент заканчивал работу над задачей тогда, когда чувствовал, что им достигнут вполне удовлетворительный уровень прибыли или уже израсходовано отведенное на решение время. Эта задача отличалась тем методологическим преимуществом, что позволяла оценивать, насколько успешны действия испытуемого на протяжении всего эксперимента. В этом отношении исследование до сих пор остается единственным, обладающим таким полез7 ным качеством.

В табл. 5.1 указано, что задача относится к катего­ рии «средней сложности». Во-первых, для того чтобы студенты могли добиться полного безошибочного про­ хождения программы и получить прибыль в размере 1000 долл. (отраслевая норма), они должны предвари­ тельно овладеть языком моделирования DYNAMO и изу­

чить

модель «Динамика

отрасли промышленности».

Если

они не в состоянии

это сделать, то их прибыль

будет равна нулю. Из 66 испытуемых, входивших в со­ став исходной выборки, 21 испытуемый не справился с предложенной для решения задачей. Кроме того, сту­ денты должны научиться модифицировать решающее правило и соответствующие параметры и использовать это умение таким образом, чтобы получаемая прибыль превышала среднюю отраслевую норму. Трем студентам так и не удалось добиться прибыли больше 1000 долл. Остальные 42 испытуемых получили более высокую при­ быль, однако распределение оценок их доходов характе­ ризуется положительной асимметрией (наблюдается тенденция к группировке оценок в области низких зна­ чений). Таким образом, окончательные результаты сви­ детельствуют о том, что модель была средней сложности для большинства, очень сложной для некоторых и лег­ кой лишь для очень немногих участников эксперимента.

Как видно из табл. 5.1, при работе в открытом и закрытом режимах использовались одни и те же вычис­ лительная машина, язык моделирования и модель. При среднем' времени обращения в режиме пакетной обра,-

126 Глава 5

ботки 6 ч студент имел возможность осуществлять в этом режиме два прогона программы в день при условии, что первую работу он подавал рано утром, а вторую — позд­ но вечером. При желании с целью проверки альтернатив­ ных вариантов решения он мог вводить в один пакет несколько программ.

Студентов отбирали, исходя из их опыта, подготовки и отношений, выяснявшихся по ответам на вопросы ан­ кеты. После этого испытуемых произвольно разделяли на две экспериментальные группы. В первоначальном исследовании основной план эксперимента предусматри­ вал непосредственное сравнение непараметрических распределений различных оценок, характеризовавших эффективность деятельности обеих групп в режимах па­ кетной обработки и разделения времени.

Студентам было сообщено, что отметки будут вы­ ставляться в соответствии с максимальным размером прибыли, достигнутой ими при работе с моделью, а так­ же на основании письменного отчета о решении пред­ ложенной задачи, который они должны представить по окончании эксперимента. Обе отметки, считавшиеся рав­ ноценными, играли роль фактора, стимулирующего дея­ тельность испытуемых. В письменных инструкциях было совершенно ясно, сказано, что ответы на вопросы анке­ ты и продолжительность полного решения задачи не повлияют на отметки. Однако студенты имели ограни­ ченный срок работы — к концу десятого дня они должны были дать полное решение задачи. В то время как с точ­ ки зрения максимального размера прибыли допустимым действительно было множество решений, максимальная продолжительность выполнения задания фиксировалась. Таким образом, в этом смысле экспериментальная зада­ ча фактически не была ни тестом с вопросами возра­

стающей трудности, ни задачей с множеством

вариантов

решений.

 

 

 

 

5.3.

Анализ экспериментальных данных

 

 

Основная

цель обсуждаемого

исследования — сбор

и

объединение всех

непроанализированных

результа­

тов

анкетного

опроса

и данных по

эффективности дея-


Исследования работы человека с вычислительной системой 127

тельности, полученных в исходном исследовании, а так­ же определение признаков, отличающих поведение поль­ зователей в открытом и закрытом режимах доступа к вычислительной системе, на основании этих данных с по­ мощью процедуры многомерного анализа. План анализа данных включает пять этапов.

1.Определение для каждой экспериментальной груп­ пы и комбинированной выборки таких описательных ста­ тистик, как плотности распределения, средние значения, среднеквадратичные отклонения и парная корреляция. Этот предварительный этап позволяет установить сте­ пень индивидуальных различий и подготовить почву для их дальнейшего анализа.

2.Анализ различий в средних значениях и дисперсии оценок в группах, работавших в открытом и закрытом режимах; отделение групповых различий от индивиду­ альных различий; установление предварительных харак­ теристик типичных форм поведения пользователя в про­ цессе решения задач для двух групп, работающих в про­ тивоположных условиях.

3.Анализ парных корреляционных связей между различными оценками эффективности деятельности поль­ зователя (по полной выборке), позволяющий изучить

эмпирические зависимости. Изучение аналогичных элег ментов поведения пользователей двух групп, наблюдае­ мых в процессе решения задач в обоих режимах. Подго­

товка основы для последующего факторного анализа. 4. Применение факторного анализа отдельно к дан-

.ным, характеризующим каждую группу, и к данным, представляющим объединенную группу. Установление наличия или отсутствия генерального фактора, опреде­ ляющего процесс решения задач. Исследование группо­ вых факторов, соответствующих обоим режимам.

5. Применение процедур многомерного анализа к от­ дельным подмножествам полного множества эксперимен­ тальных данных, сформированным на основании резуль­ татов предыдущих этапов анализа.

Этот план подчеркивает определяющую роль методи­ ки исследования. Особенность приведенного анализа за­ ключается в итеративном использовании эклектической процедуры исследования и оценки гипотез, выведенных

128

Глава 5

из первоначальных гипотез, а также гипотез, возникших на основании результатов, полученных в ходе анализа. Подобный разносторонний подход к испытанию и оцен­ ке гипотез представляется подходящим для этой новой области решения задач в системе человек — вычисли­ тельная машина, о которой известно так мало.

Таким образом, рассмотрев возможность проведения статистического анализа данных в темпе их получения, мы отказались от нее в пользу анализа, отделенного от процесса регистрации данных. Соответствующиестати­ стические средства позволяют в темпе процесса осуще-, ствлять контроль данных, определять описательные ста­ тистики и выполнять различные процедуры двумерного анализа, однако для реализации более сложных мето­ дов, например дисперсионного, факторного или регрес­ сионного анализа, они непригодны. Вместо того чтобы дважды проводить статистический анализ (отдельно для массива данных, полученных в открытом режиме, и для массива данных, полученных в закрытом режиме), мы воспользовались системой статистических программ фир­ мы «Систем девелопмент корп.» для закрытого режима, содержащей все необходимые процедуры обработки. (Описание системы статистической обработки, созданной фирмой «Систем девелопмент корп.», можно найти в работе [32J1.)

5.4. Оценки деятельности пользователей

Массив экспериментальных данных, представляющих результаты исследования Сакмана и Голда [46], сведен

вматрицу, содержащую 53 оценки, характеризующие эффективность деятельности 66 испытуемых, из которых состояла исходная выборка. 53 переменные, приведенные

втабл. 5.2, представляют различные типы оценок, ис­ пользованных в указанной работе. Все оценки в таб­ лице сведены в четыре группы: результаты анкетного

опроса, проведенного до начала экспериментального йс-

1

Мы .весьма обязаны Р. Маккорнаку

за

консультации и по­

мощь

в статистической обработке, оказанные

им

в ходе выполнения

этой

работы.

 

 


Исследования работы человека с вычислительной системой 129

следования; результаты анкетного опроса, проведенного после завершения экспериментального исследования; отметки, выставленные испытуемым за выполнение экс­ периментального задания, и различные оценки эффек­ тивности работы системы человек — вычислительная ма-. шина.

Результаты предварительного анкетного опроса (пп. 1—6 табл. 5.2) содержат переменные, характери­ зующие экспериментальную ситуацию: характеристики опыта испытуемых и их отношения к разделению време­ ни и пакетной обработке в начале эксперимента. В ре­ зультаты вторичного опроса повторно включены резуль­ таты предварительного опроса (пп. 13—18) с тем, чтобы можно было оценить изменения переменных, характе­ ризующих экспериментальную ситуацию и отношение пользователя, а также целый ряд других оценок, связан­ ных с поведением в процессе решения задач, причем особое внимание уделяется распределению времени и уси­ лий студентов. В качестве значений этой группы оценок (пп. 7—35) фигурируют: ответы типа «да»/«нет», вы­ ставляемые по стандартной девятибалльной шкале оцен­ ки, определяющие отношение; выраженные в процентах оценки, характеризующие функциональное распределение отведенного на решение задачи времени; число затрачен-, ных человеко-часов и точные даты решения отдельных подзадач. Все эти разнообразные показатели предусмот­ рены для того, чтобы можно было иметь хоть какую-то возможность расшифровывать источники сообщаемого пользователями отношения к конкурирующим вычисли­ тельным системам, уловить стиль решения задач и оце­ нить различия, проявляющиеся в поведении испытуемых при работе в открытом и закрытом режимах.

Третья

группа

переменных, представленных в

табл. 5.2

(пп. 36—40), относится к отметкам, выставляе­

мым преподавателями

студентам за поданные ими пись­

менные отчеты о выполнении экспериментальной задачи. Приведены четыре отметки, которыми оцениваются раз­ личные аспекты письменной работы студентов; преду­ смотрена также пятая отметка, представляющая собэй сумму четырех предыдущих. Четвертая, и последняя, группа переменных содержит ряд объективных оценок

9 - » 1 «