Файл: Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 11.04.2024
Просмотров: 126
Скачиваний: 0
Интерпретация результатов |
181 |
Таблица 7.1
Оценки аналогичных ошибок в системе человек — машина, совер шенных испытуемыми в режимах пакетной обработки и разделения времени
|
|
|
|
|
|
|
Среднее |
Средне |
|
|
|
|
Переменная |
|
|
|
квадратич Низшая Высш?я |
||||
|
|
|
|
|
значение!! |
ное откло |
оценка |
оценка |
||
|
|
|
|
|
|
|
|
нение |
|
|
Число взаимодействий в режи |
51,5 |
22,3 |
19 |
104 |
||||||
ме |
разделения времени |
|
|
5,8 |
3,5 |
1 |
15 |
|||
Число |
исполнений программы |
в |
||||||||
пакетном |
режиме |
|
|
|
|
53,9 |
19,4 |
16 |
90 |
|
Относительное |
число |
ошибоч |
||||||||
ных |
взаимодействий, |
% |
|
|
34,5 |
29,3 |
0 |
100 |
||
Относительное |
число |
ошибоч |
||||||||
ных |
исполнений |
программы |
в |
|
|
|
|
|||
пакетном |
режиме1 |
|
|
|
|
|
|
|
||
1 Изменчивость числа |
ошибочных |
исполнении программы в пакетном |
режиме |
|||||||
значимо выше числа ошибочных |
взаимодействии. |
|
|
|
2 Среднее значение оценки числа ошибочных взаимодействий в режиме разделе ния времени значимо выше среднего значения числа ошибочных исполнении програм мы в пакетном режиме.
Первые две переменные характеризуют средние значения и дисперсию числа взаимодействий человека и ЭВМ в открытом режиме и числа исполнений программы в за крытом режиме. Две последние переменные представля ют средние значения и степени разброса относительного числа ошибок в открытом и закрытом режимах.
В табл. 7.1 представлено несколько заслуживающих внимания результатов. Во-первых, как можно видеть, число взаимодействий в режиме разделения времени примерно в 10 раз превышает число циклов в режиме пакетной обработки. Очевидно, режим разделения вре мени позволяет пользователю эффективно расчленить одну и ту же задачу на гораздо большее число частей, чем пакетный метод. И по-видимому, диапазон индиви дуальных различий для задач с нефиксированной конеч ной ситуацией в обоих режимах очень велик.
Приведенные в таблице уровни ошибок подтвержда ют худшие опасения проектировщиков вычислительных систем в отношении непредсказуемости поведения поль-
182 |
Глава 7 |
|
|
|
зователя. Они очень |
велики и |
охватывают |
по |
сущест |
ву весь диапазон от |
0 до 100%. |
Вместо того чтобы пре |
||
даваться отчаянию |
и обходить |
проблему |
(что |
многие |
и делают), давайте более внимательно оценим эти ре зультаты. Пользователи, работающие в режиме разде ления времени, показывают статистически более высо кий уровень ошибок, чем пользователи, работающие в пакетном режиме (различия средних значений имеют 5%-ный уровень значимости по критерию, предполагаю щему однородность дисперсии). Они совершают больше ошибок как в абсолютном, так и в процентном отноше нии. Однако, поскольку никакого штрафа за ошибки не существует, в условиях открытого доступа решения за дач допустим более высокий уровень ошибок в системе человек — вычислительная машина, чем при закрытом доступе. Кроме того, при открытом доступе пользователь имеет более благоприятные условия для непосредствен ного обучения, и ему приходится сталкиваться с более разнообразными и существенными ошибками.
Изменчивость ошибок в обоих режимах интересна сама по себе. Хотя пользователи, работающие в пакет ном режиме, имеют более низкую частоту ошибок, чем пользователи, работающие в режиме разделения време ни, изменчивость ошибок в циклах при пакетной обра ботке примерно на 50% выше, чем при взаимодействиях в режиме разделения времени (F — отношение двух дис персий на 5%-ном уровне значимости). Этот результат нетрудно интерпретировать. Пользователь, работающий в пакетном режиме, при желании мог совершать неболь шие частичные изменения в каждом цикле, за что он вынужден был расплачиваться существенным увеличе нием числа циклов и в конечном счете увеличением об щего времени, затрачиваемого на решение задачи. Что бы решить задачу в течение «приемлемого» отрезка вре мени, он в каждом цикле втискивал в пакет как можно большее число изменений. Таким образом, цена каждо го цикла для пользователя была очень высокой, и он вынужден был гораздо тщательнее подготавливать свою работу, чтобы избежать циклов, растрачиваемых вхо лостую (уменьшение числа ошибок). Кроме того, при сравнительно большом числе изменений создаются бо-
|
Интерпретация результатов |
183 |
лее благоприятные условия для совершения |
ошибок |
|
(большей изменчивости числа ошибок). |
|
|
Следующим |
фактором, увеличивающим индивидуаль |
|
ные различия |
в значениях ошибок, является |
степень |
сложности экспериментальной задачи. Некоторые сту
денты безнадежно увязали |
и никогда |
не выходили |
за |
|
пределы базовой |
линии; они |
просто прекращали работу |
||
после нескольких |
неудачных |
попыток, |
давая 100% |
или |
очень большое число ошибок. С другой |
стороны, высоко |
квалифицированные исполнители всегда имели циклы, свободные от ошибок. Действительно, распределение ча стот для значений ошибок в режиме пакетной обработки есть J-кривая, которая изменяется от величины, обозна чающей 6 субъектов, имевших всегда свободные от оши бок циклы, до величины, обозначающей 2 субъектов, ни когда не имевших и одного успешного цикла. На ос новании этих результатов можно сделать вывод, что пакетная обработка способствует увеличению индивиду альных различий в ошибках системы человек — машина по сравнению с режимом разделения времени. Диапазон и колебания ошибок в системе человек — машина для обоих методов столь велики, что можно выдвинуть впол не обоснованную гипотезу о существовании индивиду умов, «склонных к ошибкам». Более того, можно пред положить, что эти индивидуумы могут составлять боль шой процент от общего числа пользователей и что в связи с этим необходимо провести специальное иссле дование, если информационные службы предназначают
ся для широких |
масс. |
7.2.5. Скорость |
решения задачи |
Временные характеристики процесса решения задачи показывают, что испытуемые из группы разделения вре мени быстрее приступают к работе (получают первое решающее правило), затрачивают в процессе работы больше машинного времени, быстрее получают опти мальное решающее правило, решают задачу за мень ший отрезок времени и вообще при их деятельности про являются меньшая изменчивость и меньшие индивиду альные различия, чем в группе пакетной обработки.
184 |
Глава 7 |
Пример иллюстрирует более быстрое, интенсивное и компактное решение задачи в открытом режиме.
7.2.6. Бандвагон от разделения |
времени |
Различия в отношении к двум режимам решения за дач, выражаемые всей выборкой в целом, выступают рез ко, причем они связаны прежде всего с влиянием эффек-
Низшая |
высшая |
оценка |
оценка |
Ф и г . 7.1. Оценки студентов: режим |
разделения времени — режим |
пакетной обработки. |
|
пакетная обработка; |
разделение времени. |
та тяжелого бандвагона в пользу режима разделения времени. В данном контексте понятие «тяжелый», кото рое может показаться слишком сильным, означает, что ни один из опрошенных испытуемых не считает, что па кетный режим лучше режима разделения времени. Один испытуемый считал обе вычислительные.системы равно ценными в анкете, проведенной до эксперимента, другой считал их равноценными в анкете, проведенной после эксперимента, а все остальные в обеих анкетах более вы сокие оценки дали СРВ. Поразительные различия между оценками двух вычислительных систем в анкете, прове денной после эксперимента, обнаруженные при сопостав-
Интерпретация результатов |
185 |
лении распределений частот, показаны на фиг. 7.1. На этом графике представлены оценки, полученные для каждой вычислительной системы от всех испытуемых вы борки, причем каждый испытуемый оценивал каждый режим один раз. Напомним, что высшие оценки пакет ного режима приводятся в анкете, проведенной после эксперимента. По девятибалльиой шкале оценки пакет ного режима сосредоточены у низких значений, а оценки режима разделения времени у высоких. Пересечение кривых для двух групп опрошенных относится к раз личным испытуемым, за исключением одного случая.
Поведенческая интерпретация результатов, касаю щихся отношения к двум режимам, включает два важ ных аспекта: сравнение эффективности деятельности в обоих режимах и влияние традиций работы с вычисли тельными системами, сложившихся в Массачусетском технологическом институте. Результаты корреляционного анализа ясно показывают, что высокая эффективность деятельности вызывает чувство удовлетворенности ти пом вычислительной системы, решаемой задачей и ощу щение правильности выбора режима и методов реше ния. Поскольку конечный размер прибыли для группы разделения времени почти вдвое превышал соответствую щий показатель группы пакетной обработки (и даже бо лее чем вдвое, если в эту оценку включить отказы), то в ходе эксперимента их положительное отношение к ре жиму разделения времени соответственно усиливалось. С другой стороны, за исключением самых квалифициро ванных пользователей, студенты из группы пакетной обработки, вероятно, знали, что пользователи, работаю щие в режиме разделения времени, справлялись с зада нием лучше, и, в противоположность их относительной неудаче и неприятной перспективе получить более низкие отметки за такую работу, та сторона выглядела более привлекательной. В связи с этим эффект бандвагона проявлялся в обеих экспериментальных группах в поль зу режима разделения времени.
Другим фактором, действующим в том же направ лении, оказалось пристрастие студентов к режиму раз деления времени в начале эксперимента. Режим разде ления времени впервые был разработан в МТИ, а за-
186 Глава 7
тем уже успешно внедрен в учебных институтах. Режим пакетной обработки, считавшийся «трудным» методом, с самого начала вынужден был выдержать жесткую кон куренцию. Кроме того, студенты имели больший опыт работы в режиме разделения времени, чем в пакетном режиме (см. табл. 6.1, переменные 3 и 5). Эти соображе ния следует иметь в виду при определении массовости
эффекта бандвагона при оценке режима |
разделения |
вре |
мени. Данные, касающиеся отношений |
к режимам |
до |
ступа, а возможно, и эффективности деятельности, |
мог |
ли бы быть другими в случае ориентации вычислитель ных систем на режим пакетной обработки. Это под тверждается результатами, полученными Шацоффом, Цзяо и Уайигом [50], а также Адаме и Кохеном [1] при исследовании открытого и закрытого режимов на выборках испытуемых, имеющих опыт работы в пакет ном режиме. Режим пакетной обработки, эволюционно предшествовавший режиму разделения времени, преоб ладал с тех пор, как вычислительные машины стали применяться в больших масштабах (примерно иа про тяжении последних 15 лет). Этот метод был привлека телен для тех, кто использовал его, и казался устарев шим остальным пользователям.
Рассмотренный анализ не вполне корректен, и толь ко после проведения систематических непрерывных опро сов тщательно определенных выборок при решении пред ставительных задач по обработке информации можно будет убедиться, существует ли эффект бандвагона, ког да он проявляется и как развивается.
7.2.7. Концептуальные и вербальные |
навыш |
Возвращаясь к классификационным оценкам пись менных отчетов, в которых описывается эксперименталь ная задача, мы сталкиваемся с дилеммой. Три из четырых отметок не обнаруживают статистически значимых различий между двумя группами. Исключение составля ет четвертая оценка («Восприимчивость и понимание»), различие между средними значениями которой показы вает существенное предпочтение (при уровне значимо сти 0,02), оказываемое режиму разделения времени. Из
Интерпретация результатов |
187 |
трех первых оценок две свидетельствуют о предпочте нии, отдаваемом режиму разделения времени, а одна — режиму пакетной обработки. Все четыре отметки про являли сильную взаимную корреляцию. Возникает во прос, является ли наблюдаемый статистически значимый результат независимым указанием на лучшее понимание задачи в режиме разделения времени или это лишь слу чайная флуктуация. Если судить по четырем оценкам, то альтернативы проблематичны. В более широком смысле на основании всех экспериментальных данных, очевидно, следует предпочесть первую альтернативу.
Причины найти нетрудно. Режим разделения време ни обеспечивает более высокую эффективность работы и более положительное отношение к этому режиму, что, очевидно, может привести к большему пониманию сущ ности задачи и к ее лучшему осмысливанию. Вероятно, наиболее убедительно это предположение подтверждает ся результатами, полученными в отношении генерально го фактора для всей выборки в целом: оценка «Воспри имчивость и понимание» имела среднюю факторную нагрузку в том же направлении, что и режим разделе ния времени в переменной «Пакетная обработка или разделение времени», и в том же направлении, что и факторы более высокой эффективности деятельности, положительного отношения к режиму и более быстрого решения задачи. Вместе взятые, эти данные подтверж дают компромиссное предположение о том, что режим разделения времени, как это и видно из оценок письмен ных отчетов, даваемых преподавателем, приводит к луч шему концептуальному осмыслению с той лишь оговор кой, что степень этой связи, вероятно, колеблется от низкой до умеренной.
7.2.8. Результаты анализа |
генерального |
фактора |
|
Наиболее яркий результат, указывающий на различия между открытым и закрытым доступами при решении задач в системе человек — ЭВМ, связан с анализом об-; щего для всей выборки фактора. Напомним, что такой хорошо определенный генеральный фактор решения за дач установлен и что третья высшая факторная нагруз-