Файл: Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ.pdf

новление этих проблемных областей помогает направить активность исследователей в русло экспериментов, по­ священных изучению реальных, а не воображаемых трудностей, с которыми сталкиваются пользователи. Со­ вместное использование анкетного обследования и экс­ периментов, поставленных на основании их результатов, позволяет получить «уравновешенную» методику, преду­ сматривающую использование каждого метода в каче­

и оценка отношений и мотивации пользователя при лю­ бых обстоятельствах должны входить в качестве состав­ ной части в комплексное экспериментальное исследо­ вание деятельности пользователя.

Глава 3

Э К С П Е Р И М Е Н Т А Л Ь Н Ы Е И С С Л Е Д О В А Н И Я ДЕЯТЕЛЬНОСТИ ПРОГРАММИСТОВ

3.1. Введение

В начале 60-х годов, когда опытные образцы систем с разделением времени только еще создавались и потре­ бители лишь приступали к их использованию и когда впервые были сделаны попытки собрать статистические данные, характеризующие деятельность пользователя, и распространять соответствующие анкеты, между при­ верженцами систем с пакетной обработкой (СПО) и си­ стем с разделением времени (СРВ) возникали совершен­ но анекдотические споры. Итак, стала вполне очевидной необходимость в экспериментальном исследовании срав­ нительной эффективности двух типов вычислительных систем.

В период 1966—1969 гг. в литературе появились со­ общения о- восьми экспериментальных работах, каждая из которых была посвящена сравнению каких-то кон­ кретных форм обработки данных в открытом и закры­ том режимах с точки зрения эффективности взаимодей­ ствия человека с вычислительной машиной. Эти предва­ рительные исследования впервые обеспечили надежную

и принимающей все новые формы конкуренции между ними [1, 12, 19, 20, 45,. 46, 50, 58]. В настоящей главе обсуждаются два экспериментальных исследования дея­ тельности программистов (фирма «Систем девелопмент корп.»). Во второй части монографии подробно описы­ ваются экспериментальные работы, проведенные Голдом

Описание экспериментальных исследований, которые кратко рассмотрены в этой главе, можно найти в статье Гранта и Сакмана [20] и в отчете Эриксона [12]. Эти

работы были выполнены фирмой «Систем девелопмент корп.» по заказу Управления перспективного планиро­ вания научно-исследовательских работ Министерства обороны США. Одна из них посвящена сопоставлению процесса отладки программ при открытой и закрытой системах доступа к вычислительной машине; объектом исследования являлась группа из 12 опытных програм­ мистов в среднем с семилетним стажем. Во второй рабо­ те группа из 9 программистов-стажеров была использо­ вана для сравнения процессов отладки программ, про­ исходящих в режиме взаимодействия человека с маши­ ной и при отсутствии непосредственной связи с ней. Ниже последовательно рассматриваются основные мо­ менты обеих работ, причем первое исследование будет фигурировать под названием «опытный программист»,

авторое — «программист-стажер».

Вобоих экспериментальных исследованиях была ис­ пользована СРВ фирмы «Систем девелопмент корп.»,

работавшая в нормальном режиме открытого доступа и в смоделированном закрытом режиме (режиме работы без взаимодействия). СРВ представляет собой систему универсального назначения (см. доклад Шварца и др. [53]), во многих отношениях сходную с системой, соз­ данной по проекту MAC в МТИ (см. отчет Шерра [51]). Шварц [53] охарактеризовал этот класс систем с раз­ делением времени, выделив четыре свойства, важных с точки зрения пользователя: «мгновенную» реакцию, независимость действий каждого пользователя, возмож­ ность практически одновременной работы нескольких пользователей и универсальность.

В системе СРВ использована вычислительная маши­ на IBM типа A:N/FSQ-32. Приведем общее описание по­ рядка использования системы. Программы пользовате­ ля хранятся на магнитной ленте или во внешнем нако­ пителе на магнитном диске. Когда пользователь присту­ пает к работе со своей программой, он обращается к одному из пультов, оборудованных телетайпами. Пуль­ ты снабжены также устройствами, обеспечивающими непосредственный ввод/вывод информации в машину Q-32. Через телетайп пользователь вводит в машину команду, предусматривающую загрузку и перевод в ра*

Рлава 3

В рассматриваемой работе в качестве плана экспери­ мента выбран латинский квадрат1 размером 2X2. Про­ цедура, предусматривающая повторение эксперимента, выглядит следующим образом. В эксперименте участво­ вали две группы испытуемых по шесть человек в каж­ дой; объектом исследования являлась отладка програм­ мы при открытом и закрытом режимах доступа к вы­ числительной машине. Составлялись и отлаживались программы для решения задач двух типов — алгебраиче­ ской и лабиринтной. Повторение экспериментов было организовано таким образом, что каждый испытуемый, являясь контрольным по отношению к самому себе, ре­ шал одну задачу в режиме открытого, а другую — в ре­ жиме закрытого доступа. Обратите внимание, что в приведенном выше плане эксперимента программы, предназначенные для решения каждой из двух предло­ женных задач, присутствуют в каждой строке и каждом, столбце один и только один раз, так что план удовлет­ воряет требованиям латинского квадрата размером 2x2 . Испытуемые включались в каждую из групп слу­ чайным образом, а порядки выбора задачи и режима работы были уравновешены.

Статистический анализ результатов эксперименталь­ ного исследования, выполненного по плану такого типа, предусматривает использование дисперсионного анали­ за для определения значимости различий между сред­ ними, соответствующими открытому и закрытому режи­ мам, а также решению алгебраической и лабиринтной задач. Для обоих оценочных критериев — количества человеко-часов, затраченных программистами на отлад­

при изучении расположения данного вида в качестве его элементов

тинский квадрат» в данном случае состоит в том, что каждая процедура дисперсионного анализа основывает­ ся на результатах 24 измерений. Подобная схема экс­ перимента обеспечивает максимальность объема выбор­ ки и высокую эффективность в статистическом смысле анализа результатов — свойство, особенно полезное при участии в исследовании небольшого числа испытуемых.

3.2.2 Методика

При организации и проведении этого эксперимен­ тального исследования возник целый ряд проблем. Мно­ гие из них характерны для экспериментов на действую­ щей вычислительной системе, другие объясняются отсут­ ствием прецедентов экспериментальной деятельности в этой области. Основные проблемы описываются ниже.

Открытый и закрытый доступ. Организация работы в режиме открытого доступа не вызывала осложнений. Программистам, отлаживавшим программы в режиме взаимодействия с вычислительной машиной, было пред­ ложено использовать СРВ, как они это делают обычно. Обеспечение закрытого режима оказалось более слож­ ной задачей. Во-первых, для этого режима требовалось обеспечить унифицированное и поддающееся регулиро­ ванию время оборота. Во-вторых, время оборота должно быть не очень продолжительным, чтобы испытуемые не отвлекались надолго от выполнения своих обычных обя­ занностей и эксперимент мог быть завершен в прием­ лемое время. С другой стороны, время оборота должно быть достаточно велико, чтобы вводимое запаздывание оказалось существенным. В качестве компромиссного решения было выбрано время оборота 2 ч — существен­ но меньшее, чем в большинстве систем с закрытым до­ ступом, но в то же время достаточное для того, чтобы большинство программистов-испытуемых высказывало недовольство продолжительностью запаздывания.

ложив программистам передавать свои задачи членам экспериментальной группы, которые должны были реализовывать соответствующую программу. Рабочее задание,