Файл: Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ.pdf

критериями при сопоставлении открытого и закрытого

ной, в которой для анализа деятельности испытуемого применялся факторный анализ.

Экспериментальная процедура предусматривала предварительную группировку испытуемых на основании результатов анкетного опроса. В трех эксперименталь­ ных исследованиях, выполненных по плану типа «латин­ ский квадрат», производили расслоение выборок (напри­ мер, квалифицированные программисты, особо успеваю­ щие студенты и стажеры), а предъявление испытуемым различных экспериментальных ситуаций было рандомизировано и проводилось в соответствии с планом экс­ перимента. Мотивационное регулирование по существу ограничивалось выставлением отметок студентам и рас­ пределением заданий при участии в работе квалифици­ рованных программистов. Личное соперничество, воз­ можно, побуждало большинство испытуемых проявлять большее упорство при работе с предложенными зада­ чами и не высказывать свои соображения о стратегии и тактике решения задач, по крайней мере в экспери­ ментах с малыми выборками. Подобные мотивационные ограничения менее ощутимы в работе Смит, отличаю­ щейся выборкой большого объема.

Процедуры регистрации обычно включают машинную регистрацию машинного времени, регистрацию испытуе­ мыми числа человеко-часов, затраченных на выполне­ ние экспериментальных задач, анкеты, предназначенные для отбора и сопоставления испытуемых, а также для сбора наблюдений и оценок, связанных с установлени­ ем преимуществ вычислительной системы определенного типа и с самооценкой испытуемых. Во всех трех иссле­ дованиях квалификация программистов проверялась с помощью анкетных тестов. Щацофф, Цзяо и Уайиг при­ влекали к работе студентов, получивших отметку А за выполнение «теста оценки способностей в области обра­ ботки данных», практикуемого фирмой IBM (IBM. data processing aptitude test). В двух экспериментальных ра­ ботах, выполненных фирмой «Систем девелопмент

корп.», к испытуемым применялся «основной тест квали­ фикации программиста» (ВРКТ). Машинная регистра­ ция, очевидно, более объективна, чем другие процедуры, в то время как регистрация, осуществляемая самими ис­ пытуемыми, подвержена намеренным и непреднамерен­ ным искажениям. В четырех работах с малыми выбор­ ками было проще'наблюдать за деятельностью испытуе­ мых, контролировать результаты их саморегистрации и тактично устранять возникающие несоответствия. В ис­ следованиях с большими выборками контроль экспери­ ментаторами деятельности отдельных испытуемых был менее непосредственным. Как правило, ошибки или сме­ щения, которые могут появиться в результате самореги­ страции испытуемых, подробно не обсуждаются.

Последняя методологическая проблема связана с оценками, используемыми в эксперименте. Во всех рабо­ тах используются две основные оценки эффективности деятельности испытуемых — число человеко-часов и ма­ шинное время, затрачиваемое на выполнение экспери­ ментального задания. Оценка машинного времени пред­ ставляет собой наиболее явный критерий. Оценка числа человеко-часов существует в разных модификациях, и ее составляющие квалифицируются не всегда одинаково. Например, в двух работах, выполненных фирмой «Си­ стем девелопмент корп.», и в исследовании Адаме и Кохена время составления программы рассматривается отдельно от времени ее отладки. В остальных работах используется общая оценка затрат времени (в человекочасах) на выполнение экспериментального задания, ко­ торая различными способами разделяется на составляю­ щие. Сравнение получаемых оценок затрудняется тем, что в разных условиях они определяются по-разному.

В трех исследованиях, предусматривающих использо­ вание планов эксперимента типа «латинский квадрат», некоторое внимание уделялось анализу индивидуальных различий в деятельности пользователей. Хотя изучение индивидуальных различий и не ставилось вначале основ­ ной целью исследований, применение дисперсионного анализа к экспериментальным данным, полученным в каждой работе, позволило выявить многие различия, оп­ ределяемые человеческой природой объекта исследования,

ности пользователя использовались окончательный раз­ мер программы и время ее прохождения. Удивительно, что эти объективные, легко регистрируемые и естествен­ ные оценки эффективности программирования отсутст­ вуют в двух других исследованиях. Было бы очень по­

ные в работе Шацоффа и др. [50], включают сравни­ тельные оценки стоимости открытой и закрытой систем, в которых учитываются как человеческий, так и машин­ ный факторы. Эти оценки расходов были получены на основе экспериментального измерения затрат времени пользователей и машинного времени, которые затем бы­ ли использованы в качестве эмпирических параметров при построении простейших стоимостных моделей.

В двух исследованиях фирмы «Систем девелопмент корп.» была предпринята попытка выяснить взаимосвязь между результатами анкетных тестов и эффективностью выполнения экспериментальных заданий, для чего при

скольку объемы выборок были малыми, а корреляцион­ ные связи между успешным выполнением анкетных тес­ тов и практическим решением задач обычно оказывают­ ся умеренными или слабыми, к таким тестам в лучшем случае можно относиться как к очень предварительной рекогносцировке.

Итак, каковы же основные методологические харак­ теристики, достоинства и упущения этих шести экспери­ ментальных исследований с точки зрения выбора испы­ туемых, задач, оснащения вычислительной системы, экс­ периментальной процедуры и оценок эффективности деятельности испытуемых? Испытуемыми в основном были студенты и программисты-стажеры, и только в од­ ном исследовании участвовал персонал, достаточно ква­ лифицированный в области обработки данных. В экс­ периментах использовался обширный набор заданий,

включающий много типов задач и процедур обработки данных, успешное выполнение которых требовало мно-; гочасовой работы, однако задания определенного типа, одинаково характерные как для режима пакетной обра­ ботки, так и для режима разделения времени, отсутст­ вовали. Трудно оценить, насколько в принципе показа­ тельны эти задачи для процесса обработки данных и хорошо ли они приспособлены для объективного срав­ нения открытого и закрытого режимов использования вычислительных систем. Одна из самых неприятных проблем возникает из-за необходимости обеспечивать сопоставимость систем с разделением времени и с па­ кетной обработкой; много проблем создает подбор под­ ходящей вычислительной машины и эквивалентных языков. И наконец, такая переменная, как время обра­ щения, имеющее для режима пакетной обработки решаю­ щее значение, обычно не подвергалась систематическому контролю.

Экспериментальные процедуры характеризуются са­ мыми различными уровнями сложности, причем их кри­ тические проблемы по большей части связаны с наблю­ дением и регистрацией деятельности пользователей. Раз­ нообразие оценок эффективности деятельности, исполь­ зованных уже на этом раннем этапе исследований, не может не произвести впечатления, так как охватывает

деятельности испытуемого и работы программ, регист­

самых разнообразных задач пользователей более мощ­ ные экспериментальные методики, ориентированные на непосредственную регистрацию в темпе изучаемого про­ цесса, например регенеративный метод регистрации деятельности пользователей. Этот метод обеспечивает полную фиксацию в реальном времени всего процесса взаимодействия пользователя с вычислительной маши­ ной и тем самым дает возможность «проигрывать» этот процесс заново в процессе анализа (см. работу [44]).

4.3. Проблемы, связанные с интерпретацией результатов

Что же среди результатов четырех предварительных исследований представляет собой достоверную законо­ мерность, какие факты не поддаются однозначной интер­ претации и в чем состоят пробелы и недостатки? Были рассмотрены шесть типов оценок эффективности дея­ тельности, содержащихся в экспериментальных данных: время, затрачиваемое испытуемым, машинное время, за­ траты на вычислительную систему, система предпочте­ ния пользователя, индивидуальные различия и специ­ альные оценки.

Результаты четырех из шести исследований свиде­ тельствуют о том, что разделение времени (или его мо­ дельный эквивалент) позволяет пользователю затрачи­ вать на разработку программ и решение задач меньше времени, чем в режиме пакетной обработки (или его модельном эквиваленте). В работах Шацоффа, Цзяо и Уайига [50], а также Адаме и Кохена [1] обнаружи­ вается противоположная тенденция. В первой из них об­ щее время выполнения экспериментального задания ока­ зывается более коротким при использовании режима раз­ деления времени. С другой стороны, в работе Эриксона [13] было установлено наибольшее относительное преимущество режима разделения времени в отношении эффективности деятельности (почти 2 : 1 по затрате чело­ веко-часов для программистов-стажеров). В этом иссле­ довании предусматривалось использование в обоих ре­ жимах языка, снабженного развитой системой интерпре­ тации и ориентированного на режим взаимодействия пользователя с вычислительной системой, что обеспечи­ вало определенное преимущество режиму разделения времени. Учитывая оба экстремальных результата, можт но считать, что при использовании разделения времени

программ и решение задач. Степень этого повышения эф­