Файл: Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ.pdf

214 Глава 8

альные различия за счет своей величины затемняли раз­ личия между вычислительными системами. Отношение наибольшего числа прогонов программы к наименьшему по всей выборке составляло 59:2, т. е. примерно 30: 1.

Результаты по классным оценкам в среднем оказа­ лись почти одинаковыми для групп, работающих в усло­ виях открытого и закрытого доступа к системе. Однако различия между отделениями и преподавателями для классных оценок оказались существенными. Они были связаны частично с различными преподавателями, а ча­ стично с «расслоением» студентов при распределении их по отделениям в соответствии со средним уровнем по всему училищу. Подобный фактор может проявиться, если не меньше двух отделений одновременно должны слушать один и тот же курс. Например, если один и тот же курс в одно и то же время слушают два отделения, то с целью повышения эффективности обучения курсан­ ты разбиваются на две одинаковые по численности груп­ пы в соответствии со средним общим уровнем так, чтобы в каждом отделении был более однородный по уровню состав. В ходе исследования более подготовлен­ ное отделение получило значительно более высокую оценку, чем другое отделение. В результате распреде­ ление студентов по режимам работы на вычислительной машине для основного эксперимента было переработано таким образом, чтобы в условиях и открытого и закры­ того доступа обеспечивался одинаковый процент ото­ бранных и неотобранных студентов всех уровней знаний. Такой контроль применим только к «постоянной» схеме эксперимента, так как он связан со сравнением отделе­ ний менаду собой. Схема «качелей» сама включает конт­ роль внутри отделения, подгруппы которого подобраны по общему среднему уровню.

Форма распределений частот оценок по заданиям бы­ ла близка к прямоугольной. Максимальная оценка за синтаксически и логически правильную программу была равна 300. Примерно одна.треть всей выборки получила оценки от 200 до 300, одна треть — от 100 до 200 и одна треть от 0 до 100 соответственно за правильное или по­ чти правильное, частичное и неправильное решения. Это означает, что примерно одна треть выборки с заданием

не справилась. Результаты относятся как к обычным оценкам, получаемым курсантами, так и к скорректиро­ ванным оценкам, в которых учитывается взыскание за задержку сдачи задания преподавателю. (За каждый день задержки студентов наказывали снижением оценки на 20%; задерживать отчеты разрешалось максимум на три дня).

Распределение оценок отражает дополнительный не­ контролируемый фактор, который входит в интерпрета­ цию результатов как описываемого, так и основного экс­ перимента и связан с характером экспериментального задания. Все студенты не доводили свои задачи до од­ ной и той же стадии их выполнения (синтаксически и логически правильного решения), поэтому такие показа­ тели, как человеко-часы, нельзя было точно сопоставить. Одинаковое число человеко-часов для одних студентов указывало время до полного успешного решения задачи, для других — только время до частичного решения, а са­ мые слабые за это время вообще еще не успевали при­ ступить к работе. Трудность интерпретации заключается в сочетании человеко-часов с оценкой, получаемой за задачу.

Явный недостаток контроля в доведении задач до разных стадий их выполнения не означает, что экспери­ мент не имеет смысла. Это свидетельствует лишь о том, что задание отчасти не имело фиксированной конечной ситуации, по крайней мере в том смысле, что для боль­ шинства студентов увеличение затраченного на решение времени привело к повышению оценок. С другой сторо­ ны, задание имело фиксированную конечную ситуацию, или было замкнутым, для курсантов, которые добились успешного решения и получили наивысшие оценки. Та­ ким образом, имеет место сложный континуум от одной конечной ситуации, где сравнительно ограниченная зада­ ча легко решается большинством, до другой, в которой задача оказывается очень трудной и практически не

в зависимости от уровня сложности попадают в различ­ ные точки континуума.

216 глава 8

При оценке отношения к режимам работы в группах летчиков обнаружились результаты, отличающиеся от тех, которые были опубликованы в более ранних рабо­ тах, посвященных изучению открытого и закрытого до­ ступа при обработке информации. Основное отличие со­ стоит в том, что режим разделения времени не одер­ жал верха над пакетной обработкой. Оценки по различ­ ным показателям сравнения этих двух режимов оказа­ лись средними, причем в обоих случаях они располага­ лись вблизи середины шкалы. Изменения средних раз­ личий по анкетам до и послеэксперимента, как правило, не были статистически значимыми. Это явилось следст­ вием того, что курсанты приступали к эксперименту ча­ ще всего с нейтральных позиций относительно своих прежних навыков и предпочитали оценивать разделение

Преимущества пакетной обработки заключались в том, что это более привычный режим работы, а эксплуа­ тация СПО лучше налажена. Кроме того, АЛГОЛ обла­ дал преимуществом более мощного и знакомого языка программирования. Преимущества пакетной обработки компенсировались такими преимуществами разделения времени, как открытый доступ и связь человека с маши­ ной; результат для этой выборки выпадал по жребию. Например, всей группой было отдано предпочтение па­ кетной обработке при решении сложных задач, в отно­ шении возможности индивидуального творчества и при­ менительно к более опытным пользователям. Такие от­ зывы, очевидно, несколько ухудшаются связью пакетной обработки с АЛГОЛом. С другой стороны, всей группе летчиков больше понравился режим разделения време­ ни применительно к начинающим, для самообучения и для отладки программ. Эти отзывы в равной мере ухуд­ шаются связью режима разделения времени с языком BASIC Наблюдалась заметная тенденция к улучше­ нию опенок по мере накопления опыта работы на протя­ жении всего времени между периодом до начала экспе­ римента и после эксперимента. В согласии с более ран­ ней работой Сакмана и Голда [47], представляется оче-

видным, что по мере освоения вычислительных систем возникает скорее положительное, чем отрицательное от­ ношение к конкретному режиму. Оценки режима разде­ ления времени после эксперимента возросли несколько больше, чем оценки режима пакетной обработки. План основного эксперимента позволил определить, сохраня­ ются ли эти и связанные с ними другие тенденции в те­ чение почти всего семестра при выполнении четырех по­ следовательных заданий, и провести продольную, в про­ тивовес поперечной, проверку этих гипотез.

.Из ответов на свободные пункты анкеты задания сложилась достаточно полная картина теста. По обще­ му мнению, это была трудная задача, характеризующая­ ся почти всеобщей недооценкой времени и усилий, необ­ ходимых для ее решения; бесчисленными ограничения­ ми, обусловленными слабым обслуживанием вычисли­ тельных систем (особенно разделения времени); труд­ ностями обращения с языками программирования и преобладающей тенденцией студентов как-нибудь дове­ сти задачу до правильного решения.

Хотя отзывы оказались преимущественно отрицатель­ ными, общая картина не кажется безнадежной. Тех, кто успешно справился с задачей, поразила способность вы­ числительной машины сжать очень большую моделируе­ мую выборку (30 ООО) до короткого выполнения про­ граммы; на многих произвели благоприятное впечатле­ ние простота языка BASIC и легкость отладки про­ граммы в условиях открытого доступа; многие узнали цену тщательной подготовке перед выходом на машину. Были даны многочисленные рекомендации — от широ­ ких философских рассуждений до форматов, учитываю­ щих особенности пользователей, направленные на улуч­ шение эксплуатации вычислительных машин к увеличе­ ние ценности курса вычислительной техники.

Были сделаны интересные наблюдения, связанные с характером проблемы инсайта, временем и местом его проявления. В частности, наиболее «критические» мо­ менты чаще проявлялись не во время общения с маши­ ной, а в моменты полного одиночества; интуитивные сдвиги были тесно связаны с ответами преподавателя на вопросы студента. Оценка того, какой тип интуиции наи-

Глава 8

более важен, существенно, менялась в зависимости от уровня знаний студентов: слабые студенты отводили ин­ туиции основную роль в общем понимании задачи, тог­ да как сильные полагались на интуицию в чисто техни­ ческих вопросах при составлении программ.

В заключение можно сказать, что предварительное исследование послужило средством достижения основ­ ных целей обучения, а также обеспечило благополуч­ ное завершение основного эксперимента. Эксперимен­ тальные методики и формы представления данных были пересмотрены и сделаны более эффективными. Были выделены и включены в план некоторые существенные параметры контроля за экспериментом. На основании предварительных данных был сделан ряд полезных но­ вых предположений, которые могут быть проверены в ос­ новном эксперименте. Хотя все эти вопросы были рас­ смотрены лишь вкратце, нельзя не отметить, сколь ве­ лико значение предварительного исследования для ус­ пешного планирования и проведения многопланового эксперимента.

Глава 9

О Т К Р Ы Т ЫЙ И З А К Р Ы Т Ы Й Р Е Ж И М Ы РАБОТЫ

В настоящей главе рассматривается первый этап ис­ следования, связанный с изучением различий между ре­ жимами резделения времени и пакетной обработки. Вви­ ду значительного объема результатов приводятся лишь основные данные, касающиеся в первую очередь объеди­ ненной выборки. За результатами следует их интерпре­ тация, составляющая последний раздел этой главы. Сле­ дующая глава посвящена решению задач, в частности, с точки зрения индивидуальных различий.

9.1. Результаты работы в открытом и закрытом режимах

Результаты работы в режимах разделения времени и пакетной обработки, полученные по анкетам до и после эксперимента, приводятся прежде всего с целью выде­ лить показатели контроля и отношения к режимам. За­ тем даются основные результаты рабочих журналов и заключений по отделениям, отражающие важнейшие ха­ рактеристики работы курсантов. Наконец, представлены

до и после эксперимента. В первой колонке перечисля­ ется 31 пункт аикеты .(Полная анкета, включающая все пункты и шкалы оценок, приводится в приложении.) Первая группа колонок содержит результаты, получен­ ные до эксперимента, для каждого из трех курсов и для объединенной выборки. Среднее значение, среднеквадра­ тичное отклонение и объем выборки обозначены соот­ ветственно буквами М, S и N . Соответствующие резуль-