Файл: Сакман Г. Решение задач в системе человек - ЭВМ пер. с англ.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 11.04.2024

Просмотров: 140

Скачиваний: 0

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

90

Глава 3

Пытаясь найти оценки квалификации, которые мож­ но было бы использовать в качестве средства предва­ рительного отбора при формировании однородных по со­ ставу групп испытуемых, экспериментаторы собрали дан­ ные об отметках, полученных испытуемыми в процессе обучения программированию фирмой «Систем девелопмент корп.». Кроме того, как уже упоминалось, испытуе­ мые проходили «основной тест квалификации програм­ миста» (ВРКТ). Были определены корреляции между всеми экспериментальными оценками, скорректирован­ ными показателями, отметками и результатами по тесту ВРКТ. Результаты корреляционного анализа указывают на отсутствие существенной корреляционной взаимосвя­ зи между оценками деятельности и различными отмет­ ками и тестовыми оценками, за исключением отдельных ложных корреляций между параметрами и общими фак­ торами.

Наиболее интересным результатом этого исследова­ ния оказалась существенная взаимная корреляция меж­ ду отметками, полученными в процессе обучения про­ граммированию, и оценками по тесту ВРК.Т. Эта взаи­ мосвязь становится особенно заметной в том случае, когда учитывается только одна из двух тестовых оце­ нок, предусматриваемых тестом ВРКТ. При использо­ вании первой части теста ВРКТ эти корреляции нахо­ дятся в пределах 0,64—0,83. Две из четырех корреля­ ционных взаимосвязей характеризуются уровнем значи­ мости 0,05, а для одной он составляет даже меньше 0,01, несмотря на столь малые объемы выборок. Это озна­ чает, что тест ВРКТ оценивает те же навыки, которые учитываются при выставлении отметок в процессе обу­ чения программированию. Следует также иметь в виду, что ни учебные отметки, ни тестовые оценки ВРКТ нель­ зя использовать для прогнозирования характера деятель­ ности программистов-стажеров в экспериментальных си­ туациях, предъявлявшихся испытуемым в рассмотрен­ ном исследовании.

Эти данные можно интерпретировать тремя способа­ ми: 1) тестовые оценки ВРКТ и учебные отметки обще­ значимы, а задачи, предъявлявшиеся в ходе эксперимен­ та, не являются типичными задачами программирова­ ния; 2) задачи, общезначимы, но тестовые оценки ВРКТ

Исследования

деятельности программистов

91

и учебные отметки нельзя считать показателями, 'харак­ теризующими деятельность программиста; 3) между ре­ зультатами выполнения теста ВРКТ и отметками, полу­ ченными в процессе обучения программированию, дей­ ствительно существует зависимость, отражающая специ­ фику поведения программиста, однако корреляционные взаимосвязи имеют лишь слабый или умеренный харак­ тер и не могут быть выявлены на тех очень малых вы­ борках, которые использовались в этом эксперименталь­ ном исследовании. Возможность выдвижения трех таких гипотез не позволяет однозначно интерпретировать ре­ зультаты обоих экспериментов. Только дополнительные исследования могут дать ответ, какая гипотеза или ком­ бинация гипотез справедлива.

Интерпретация результатов двух этих экспериментов совместно с результатами двух других эксперименталь­ ных исследований дается в следующей главе. Объеди­ ненные результаты четырех экспериментальных работ подготавливают основу для изложения обширного экс­ периментального исследования, которому посвящены вторая и третья части книги.


Глава 4

АНАЛИЗ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТАЛЬНОГО СОПОСТАВЛЕНИЯ ОТКРЫТОГО И ЗАКРЫТОГО РЕЖИМОВ ИСПОЛЬЗОВАНИЯ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

В настоящей главе заканчивается рассмотрение экс­ периментальных исследований, посвященных сопостав­ лению открытого и закрытого режимов использования вычислительных систем. Результаты всех шести иссле­ дований анализируются совместно. Полученные выводы порождают интересные концепции и конструктивные ги­ потезы о решении задач в системе человек •— вычисли­ тельная машина, которые в свою очередь обеспечивают «критическую массу» научных знаний, необходимую для продолжения экспериментальных исследований. Первые экспериментальные работы привели к появлению пред­ варительной концептуальной системы, которую можно использовать как основу для более широких исследова­ ний. Эта система не представляет собой дедуктивный ре­ зультат абстрактного анализа, а получена в основном индуктивным способом из эмпирических соображений.

4.1. Экспериментальные

исследования деятельности

пользователей-студентов

 

Описания

четырех

экспериментальных исследований,

в которых в

качестве

испытуемых участвовали студен­

ты и аспиранты, представляют собой соответственно ре­

зюме статьи Адаме и Кохена

[1], неопубликованной ра­

боты

Сакмана, выполненной им в 1969 г. в Училище

ВВС

США, а

также статей

Смит [57]

и Шацоффа,

Цзяо

и Уайига

[50]. В

табл. 4.1—4.4 кратко описаны

эти

экспериментальные

исследования.

Внимательное

изучение таблиц позволит выяснить характер, содержа­ ние, а также сильные и слабые стороны каждого иссле­ дования. В них приводятся сведения об испытуемых, за-


Таблица 4.1

Основные характеристики и результаты экспериментального исследования, выполненного Смит

 

 

 

 

Методика

 

 

 

 

 

 

 

 

 

Испытуемые

 

 

 

 

 

Объем

 

выборки

 

127

 

 

 

 

 

 

Испытуемые

 

Студенты последнего курса и аспи­

 

 

 

 

ранты,

слушающие

 

вводный

курс

Уровень

квалификации

программирования

 

 

 

Большинство

испытуемых

рабо­

 

 

 

 

тало в этой области не больше года

 

 

 

 

Задачи

 

 

 

 

 

 

Число

и

тип

 

Две

легкие

«разминочные»

зада­

 

 

 

 

чи и четыре экспериментальные за­

 

 

 

 

дачи:

бесконечный

тригонометриче­

 

 

 

 

ский ряд, разложение матриц, тран­

 

 

 

 

сляция

с языка,

эвристическая

про­

 

 

 

 

грамма

 

 

 

 

 

 

Степень

сложности

 

Средняя

для

начинающих

 

Среднее

время, затрачи­

На полное решение всех задач

ваемое

на

выполнение

за­

требуется

около

60

ч

 

 

дания

 

 

 

 

 

 

 

 

 

 

Характеристики систем с открытым

и закрытым

доступом

Система

с открытым

до­

Стэнфордская СПО на основе вы­

ступом

 

 

 

числительной машины типа В5500

 

 

 

 

фирмы «Барроу корп.»; система от­

 

 

 

 

личается

мгновенным

временем

обо­

 

 

 

 

рота

 

 

 

 

 

 

Система с пакетной об­

Та же система с обычным време-'

работкой

нем оборота

 

Использованный язык

Вариант

расширения

языка

 

АЛГОЛ,

разработанный

фирмой

 

«Барроу корп.»

 

Время

оборота

пакета

Переменное,

обычно

порядка

не­

программ

 

скольких

 

часов

 

 

 

 

 

 

Порядок проведения

эксперимента

 

 

 

План

эксперимента

Однородные

группы

 

испытуемых;

 

 

 

каждый испытуемый решает две за­

 

 

 

дачи

в

режиме

обычной пакетной

 

 

 

обработки

и

две — в

режиме мгно­

 

 

 

венной

пакетной

обработки

 

Статистический

анализ

Сравнение

 

по

описательным

ста­

 

 

 

тистикам;

критерии

статистической

 

 

 

значимости

 

не

использовались

 

Управление порядком

Сбалансированный

порядок

ис­

проведения эксперимента

пользования

обычной

и

мгновенной

 

 

 

пакетной

обработку

 

 

 


Продолжение табл. 4.1

Мотивационное регулиОтметки рование

Процедуры регистрации Машинная регистрация, само­ регистрация студентов и анкеты

Результаты

Оценки эффективности

 

Мгновенная пакетная

Обычная пакетная

 

 

деятельности

 

 

обработка1

обработка!

Время

написания

перво­

440

405

начальной

программы,

мин

 

 

Время

 

перфорации

ис­

109

108

ходного

варианта

програм­

 

мы,

мин

 

 

 

 

 

 

Время

подготовки

к

но­

311

293

вому

прогону

програм­

 

мы,

мин

 

 

 

 

 

 

Число

прогонов

програм­

7,1

6,6

мы,

приходящееся

 

на

од­

 

ного

студента

 

 

 

 

 

Число прогонов

програм­

2,5

1,9

мы,

приходящееся

на

одну

 

работу

 

 

 

 

 

3,0

 

Общее время, затрачивае­

3,7

мое на выполнение задания,

 

 

 

дни

 

 

 

 

 

 

0,277

 

Среднее

машинное

вре­

0,186

мя,

приходящееся

на

один

 

 

 

прогон

программы,

мин

70

 

Предпочтение студентов, %

24

 

 

 

 

 

 

 

 

1 Сведения об использовании критериев статистической значимости не приводятся.

РЕ З Ю М Е

1.На достаточно большой выборке, сформированной из пользова­ телей-студентов, установлено, что мгновенное время оборота сопряжено с меньшими по сравнению с режимом обычной па­ кетной обработки временами составления, кодирования и от­ ладки программ.

2.Режим мгновенного времени оборота требует больших затрат

машинного времени, чем обычный вариант пакетной обработки.

3.Режиму мгновенной пакетной обработки отдает предпочтение существенно большее число студентов, чем обычному варианту

пакетной обработки.

4. Использование режима мгновенного времени оборота связано с изменением характеристик процесса программирования, что выражается в сокращении интервалов между последовательными