Файл: 1 author Some of the authors of this publication are also working on these related projects.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 09.02.2024
Просмотров: 57
Скачиваний: 1
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
Раздел I
Концептуальные основы
теоретической валидизации
Г
ЛАВА
1. В
ИДЫ ВАЛИДНОСТИ
Одно из наиболее полных описаний видов валидности, осно- вывающееся на работах Д.Кэмпбелла, осуществлено В.Трочимом
[Trochim], который выделяет следующие ее виды: валидность вы- вода (conclusion validity), внутренняя валидность (internal validity), конструктная валидность (construct validity) и внешняя валидность
(external validity). Для каждого вида он использует соответствую- щий вопрос, позволяющий понять, решению каких проблем служит тот или иной вид (см. таблицу 1.1).
Таблица 1.1
Виды валидности (по В.Трочиму)
Валидность
Вопросы, ответы на которые дают представление о степени валидизации
Внешняя
Можем ли мы провести обобщение относительно других людей, мест и периодов?
Конструктная
Уверены ли мы, что наше измерение отобразило тот конструкт, который находится в фокусе исследова- ния?
Вывода
Есть ли в действительности связь между предпола- гаемыми причиной и следствием?
Внутренняя
Являются ли взаимосвязи, выявленные в исследо- вании, причинно-следственными?
Виды валидности
13
Первым уязвимым местом данной схемы представляется выде- ление в отдельный вид валидности вывода (по крайней мере, в представленной формулировке). Например, если речь идет о выяв- лении причинно-следственных связей, то следует ориентироваться на общеизвестное положение относительно необходимости демон- страции связи между двумя переменными для последующего обос- нования причинной связи. В таком контексте валидность вывода следует трактовать как составляющую внутренней валидности.
Следующий аспект, требующий уточнения, касается конструк- тной валидности. Например, В.Трочим как подвид конструктной валидности вводит валидность перевода (translation validity). Она, в свою очередь, включает очевидную (face) и содержательную
(content) валидность. В данном случае речь идет о «переводе» тео- ретического конструкта на язык эмпирических индикаторов или, в более привычном смысле, – операционализации. Может показаться очевидным, что поскольку мы имеем дело с теоретическим кон- структом, постольку валидность перевода можно отнести к кон- структной валидности. В действительности же такой упрощенный взгляд связан с рядом трудностей.
Очевидно, что теоретические конструкты не хранятся в специ- альном банке истинных идей, откуда их в случае необходимости извлекает исследователь. Следовательно, хотя содержательная ва- лидность и является основой конструктной валидизации (в каче- стве базы, на основе которой формируются индикаторы), она сама должна быть обеспечена определенными валидизационными про- цедурами. С другой стороны, количественный подход предусмат- ривает проверку теорий как совокупности взаимосвязанных гипо- тез, что снимает проблему валидности исходных теоретических конструктов и взаимосвязей между ними – они подтверждаются или опровергаются результатами измерения. Вместе с тем это эле- гантное, на первый взгляд, положение является всего лишь одним из звеньев порочного круга количественной парадигмы в ее абсо- лютизированном виде. Суть этого порочного круга заключается в том, что для разработки измерительной методики, адекватно отоб- ражающей реально существующий социальный феномен, необхо- димо иметь валидный теоретический конструкт этого феномена
(валидность конструкта заключается в том, что он отображает не- что реально существующее, а не одну из классических концепций,
14
Глава 1 гипотетических построений или просто фантазий ученого). Но пра- вильность (в нашей научной практике не принято говорить о ва- лидности в этом контексте) данного теоретического конструкта, согласно количественной парадигме, мы можем проверить лишь на основе результатов измерения, полученных с помощью этой самой методики – методики, построенной на основе теоретического кон- структа гипотетического (поскольку он еще не проверен) характе- ра.
Само по себе подтверждение гипотез мало о чем говорит, если опирается исключительно на кабинетные размышления и результа- ты измерения (пусть его и принято называть в социологии наблю- дением). Даже использование «ломаных» теоретических конструк- тов может привести к получению статистически значимых резуль- татов, а также демонстрировать высокие коэффициенты корреляции или значимые различия (соответствующий пример приведен ниже). Поэтому измерение «замкнутое само на себя» подходит для решения многих задач, но лучше всего – для получе- ния наукообразных артефактов.
Я уже не говорю о комичных, но повсеместно распространен- ных в социологии ситуациях, когда статистически значимые ре- зультаты, полученные на больших выборках (скажем, от 1500 и выше единиц), расцениваются в качестве ценных с научной точки зрения (или подтверждающих что-либо) лишь по факту своей ста- тистической значимости. А на больших выборках, как известно, практически все статистически значимо.
Такие размышления выдвигают на передний план проблему теоретической валидности, достижение которой призвано обеспе- чить исследователя валидными, с точки зрения изучаемых соци- альных феноменов, теоретическими конструктами. Следовательно, теоретическая валидизация является во многом автономной и определяющей, в отношении дальнейшей операционализации и эмпирической интерпретации, сферой. Легко представить ситуа- цию, когда теоретический конструкт описан достаточно исчерпы- вающе, однако разработанная методика не обеспечивает удовле- творительного отображения данного конструкта. Согласно «луч- шим» традициям количественного подхода в такой ситуации можно смело отказаться от теоретического конструкта, не про- шедшего проверку. И противоположный случай – хотя методика
Виды валидности
15 позволяет вполне адекватно отобразить конструкт, но этот кон- структ содержательно не валиден (например, охватывает только часть концептуального поля, которое находится в фокусе исследо- вания). В данном случае будут приняты опять-таки ошибочные вы- воды – в этот раз уже о правильности невалидного конструкта.
Обратимся к следующему примеру. В последней главе данной монографии я описал специфику теоретической валидизации изме- рительных шкал. В качестве демонстрационного примера исполь- зуется шкала, предназначенная для определения типа студента, указывающего на его отношение к учебе (безразличный, деклара- тивно заинтересованный или ответственный) на основании исполь- зуемых студентом поведенческих стратегий. В ходе валидизации этой шкалы был проведен ряд опросов, в том числе и с помощью экспертов, в качестве которых выступили преподаватели и сами студенты (в этом случае они оценивали не только себя, но и своих одногруппников). Два таких опроса (N
1
= 22, N
2
= 23) я и исполь- зую для того, чтобы показать, как «ломаный» конструкт может привести к хорошим статистическим результатам.
В первом из них каждый из четырех экспертов (три преподава- теля и один студент) оценили каждого из студентов одной учебной группы по 10-балльной шкале (см. главу 11, параграф 2). Не вдава- ясь в подробности, отмечу лишь то, что значения от 1 до 5 соответ- ствовали безразличному типу, от 6 до 7 – декларативно заинтересо- ванному, от 8 до 10 – ответственному. Далее были рассчитаны: а) обобщенная оценка на основании среднего арифметического оце- нок всех экспертов; б) коэффициент корреляции между обобщен- ной оценкой каждого студента и его средним баллом успешности сдачи сессий за четыре года обучения. Так вот этот коэффициент корреляции был равен 0,93 (p < 0,01%).
В лучших традициях количественного подхода я бы мог ре- шить, что я получил подтверждение (по крайней мере, частичное) правильности применяемого теоретического конструкта. Но я и так знал, что он правильный, ведь я использовал валидный теоретиче- ский конструкт (валидность конструкта была достигнута на преды- дущих этапах исследования посредством качественных методов).
Теперь посмотрим, что произойдет, если из содержания ис- пользуемого теоретического конструкта убрать значительную часть, а именно информацию о безразличном типе (часть шкалы от
16
Глава 1 1 до 5). В этом случае каждому студенту, который получил обоб- щенную оценку от 1 до 5,499 (таких было восемь человек, или
36,4% от общего числа), необходимо присвоить 6, а остальные оценки оставить без изменений. Насколько сильно изменился ко- эффициент корреляции? После преобразования шкалы он стал ра- вен 0,70 (вероятность ошибки по-прежнему не превышала 0,01%).
Вместе с тем это всего лишь мыслительный эксперимент. По- этому я провел дополнительный методический эксперимент в учебной группе другого вуза. В качестве экспертов выступили два преподавателя, хорошо знакомые с группой, и двое старост. На первом этапе они оценили всех студентов с помощью шкалы, кото- рая была специально искажена. В ней отсутствовала вторая часть
(от 6 до 10), то есть оценка осуществлялась на основании только двух типов студентов – безразличного и декларативно заинтересо- ванного, представленных пунктами шкалы от 1 до 5 (см. приложе- ние 1). Лишь один из экспертов (одна из старост) поставила валид- ность шкалы под сомнение, но после объяснения, что это методи- ческий эксперимент и так надо, заполнила анкету. Усредненные результаты оценок экспертов показали высокую взаимосвязь со средним баллом успешности сдачи сессий за четыре года обучения
(r = 0,80; p < 0,01%).
Через месяц я попросил этих экспертов повторить оценку, но уже с использованием полноценной 10-балльной шкалы. В резуль- тате коэффициент корреляции вырос незначительно, а именно до
0,81. Отталкиваясь исключительно от статистической информации, можно сделать вывод, что валидность этих шкал (по крайней мере, при использовании в отношении данной конкретной группы сту- дентов) является одинаковой. Вместе с тем весьма вероятно, что в случае использования неполноценной шкалы эксперты ориентиро- вались в первую очередь на числовые пункты, а не на содержание двух описанных в вопросе типов. По моему мнению, такая ситуа- ция может иметь место в том случае, когда эксперты хорошо зна- комы с изучаемой проблемой. Соответственно, неучтенная в тексте вопроса информация все равно учитывается ими в силу их знаний и опыта. Таким образом, статистическая валидность шкалы компен- сируется посредством когнитивных возможностей экспертов, а вот содержательная (а более широко – теоретическая) валидность шка- лы является сомнительной, поскольку не позволяет перейти к трем
Виды валидности
17 типам студентов. В свою очередь, полноценный вариант шкалы яв- ляется валидным во всех отношениях – и в статистическом, и в теоретическом.
На этом примере я хочу показать лишь одно – искаженные конструкты вполне могут получить «подтверждение» на основании результатов измерения с дальнейшей статистической проверкой. И эта проблема не может быть решена в рамках количественного подхода.
Разработка валидных теоретических конструктов должна от- талкиваться от изучения окружающей социальной действительно- сти посредством тщательного наблюдения происходящих в ней процессов, а также личного взаимодействия с участниками таких процессов. Поэтому одну только разработку и обоснование теоре- тического конструкта следует рассматривать в качестве полноцен- ной исследовательской работы, не требующей во многих ситуациях дальнейшего количественного исследования.
На основании этих размышлений предлагаю выделить в каче- стве отдельноговида теоретическую валидность, представляющую собой степень соответствия теоретического конструкта исследуе- мому социальному феномену. Именно в ее состав входят очевид- ный и содержательный компонент, относимые В.Трочимом к ва- лидности перевода.
Последнее замечание в отношении схемы В.Трочима относится к тому месту, которое отведено предсказательной валидности
(predictive validity). Традиционно она также отнесена к конструкт- ной, но уже в другом подвиде – критериальной валидности
(criterion-related validity), наряду с конвергентной, дискриминант- ной и конкурентной валидностью. Такой взгляд на предсказатель- ную валидность является традиционным и вполне обоснованным, если речь идет о психологических исследованиях в целом и психо- логическом тестировании в частности. Вместе с тем специфика со- циологических исследований связана с несколько иными масшта- бами изучаемых процессов как в смысле количества участников, так и в смысле возможных последствий. Согласитесь, одно дело сверять результаты теста профессиональной пригодности с реаль- ными результатами труда и совсем другое – делать прогноз относи- тельно результатов таких масштабных социальных событий, как, например, «цветные революции».
18
Глава 1
В таком контексте представляется сомнительным, что обеспе- чение только конструктной валидности связано с предсказатель- ным потенциалом социологического исследования. Скорее, его ос- нову обеспечивают все виды валидности – и теоретическая, и кон- структная, и внешняя, и внутренняя.
Следовательно, предсказательную валидность необходимо выделить в отдельный вид.
Итак, результирующая схема, представляющая собой развер- нутый вариант классификации, включает пять видов валидности – теоретическую, конструктную, внешнюю, внутреннюю и предска- зательную (см. таблицу 1.2).
Таблица 1.2
Виды валидности
Валидность
Вопросы, ответы на которые дают представление о степени валидизации
Теоретическая
Насколько теоретический конструкт, положенный в основу исследования, соответствует социально- му феномену?
Конструктная
Насколько измерительная методика и полученные на ее основе результаты соответствуют теорети- ческому конструкту?
Внешняя
Насколько выборочная совокупность может вы- ступать основой для обобщений в отношении дру- гих людей, контекстов и периодов?
Внутренняя
Насколько измерения исследования подтвержда- ют существование связей между переменными?
Насколько такие связи могут быть подтверждени- ем причинно-следственной зависимости между переменными?
Предсказательная
Насколько теоретическая, внешняя и внутренняя валидности обеспечивают предсказательный по- тенциал исследования?
Охарактеризовав виды валидности социологического исследо- вания и указав на роль теоретической валидности, можно перейти к детальной характеристике последней. Однако сначала необходимо описать такие понятия, как «концепт» и «конструкт», являющиеся ключевыми для ее понимания.
Г
ЛАВА
2. Т
ЕОРЕТИЧЕСКАЯ ВАЛИДНОСТЬ И ЕЕ ПОДВИДЫ
§ 2.1. Концепты и конструкты
В классической статье Л.Кронбаха и П.Мила [Cronbach, Meehl,
1955] конструкт определяется как некоторый постулируемый при- знак или свойство личности, которые предполагается отобразить при проведении тестирования. Развернутое определение дает
А.Анастази: конструкты представляют собой широкие категории, выводимые логическим путем из общих признаков, свойств или черт, обнаруживающих себя в непосредственно наблюдаемых по- веденческих переменных; будучи теоретическими категориями, конструкты недоступны непосредственному наблюдению [Анаста- зи, Урбина, 2005: с. 35].
В свою очередь, определения понятия «концепт» не настолько строгие, как в случае понятия «конструкт», что позволяет разным исследователям использовать его в различных значениях. Согласно одному из определений, «концепт – это формулировка, мысль, по- ложение или какой-либо другой дискретный элемент общей соци- альной концепции. Среди концептов особое значение имеют поня- тия, то есть точечные проявления в концепциях; в социальных ис- следованиях они рассматриваются как теоретические показатели, отправляясь от которых с помощью их эмпирической интерпрета- ции исследователь формирует поле эмпирических показателей и приступает к непосредственным замерам реальных явлений и про- цессов» [Огурцов, 2003: с. 489]. Более конкретное определение дает
Г.Фридрих, понимающий под концептами абстракции наблюдае- мых событий или категории, говорящие о сущностных аспектах объекта или события, которые в других ракурсах могут отличаться друг от друга. Конструкты же в этом контексте представляют собой абстракции более высокого уровня, получаемые с помощью комби- нации концептов и менее комплексных конструктов [Friedrich]. По- хожий взгляд представлен в приведенном выше определении кон- структа, принадлежащем А.Анастази. С другой стороны, не редки случаи, когда понятие «концепт» используется для обозначения яв- лений, не поддающихся непосредственному наблю-
20
Глава 2
Таблица 2.1
Перевод слова «concept» и его модификаций
Слово, словосо- четание
Сфера применения
Перевод
Concept
Общий лексикон
(1) Понятие, идея
(2) Общее представле- ние
(3) Концепция
Basic concept
(1) Компьютеры, поли- техническая сфера, фи- зика, наука
(2) Экономика
(1) Основное понятие
(2) Основное, фунда- ментальное понятие
(например, деньги, то- вар, прибыль, стои- мость)
Scientific concept
Патенты
Научное понятие
Таблица 2.2
Перевод слова «construct» и его модификаций
Слово, словосо- четание
Сфера применения
Перевод
Construct
(1) Общий лексикон
(2) Наука
(1) (мысленная) Конструк- ция; концепция; положение
(2) Конструкция, логическая структура; конструировать, создавать
Theoretical construct
Наука
Теоретическое построение
Logical construct
Наука
Логическое построение
Hypothetical construct
Наука
Гипотетическое построение дению
4
. Выходит, что оба этих понятия могут использоваться оди- наковым образом. С целью исключения дублирования был прове-
4
См., например, о концепте человеческого развития [Вельцель, 2008] и концепте субъективной надежности [Головаха в соавт., 2008].
