Файл: 1 author Some of the authors of this publication are also working on these related projects.pdf

Теоретическая валидность и ее подвиды
31 щений относительно социальных общностей, в отношении которых необходимо разработать прогноз изменения социального феноме- на. При этом такое исследование должно иметь пролонгированный характер, то есть давать срезы данных через четко установленные промежутки времени на протяжении длительного периода.
Оба этих фактора обусловливают необходимость использова- ния в рамках разработки прогноза лонгитюдного исследователь- ского дизайна
10
Описание схемы (рисунок 2.1), основанное на понятиях коли- чественного, качественного и смешанного подходов, лонгитюдного дизайна, аналитического и статистического обобщения, дает выход на методологическую часть теоретической валидизации. Детальное рассмотрение этих понятий и ряда соответствующих методических и методологических процедур осуществлено во втором разделе мо- нографии.
В завершении главы, как и в случае видов валидности, приво- жу сжатую характеристику подвидов теоретической валидности
(см. таблицу 2.4) в форме соответствующих вопросов:
Таблица 2.4
Подвиды теоретической валидности
Подвид валидности
Вопросы, ответы на которые дают представление о степени теоретической валидизации
Очевидная
Правильно ли определен социальный феномен?
Насколько он узнаваем и поддается описанию?
Если теоретический конструкт заимствован из за- рубежной концепции, то обладает ли он социаль- но-культурной релевантностью?
Содержательная
Насколько элементы конструкта являются значи- мыми и представительными в отношении соци- ального феномена, который подлежит исследова- нию?
Композиционная
Насколько конструкт внутренне упорядочен?
Насколько эта упорядоченность соответствует внутренней структуре социального феномена на данном этапе?
10
Далее этот вопрос рассмотрен более детально (см. главу 6).

Г
ЛАВА
3. Н
ЕУДОВЛЕТВОРИТЕЛЬНАЯ ТЕОРЕТИЧЕСКАЯ
ВАЛИДИЗАЦИЯ И СМЕЩЕНИЕ ДАННЫХ
Каждая из составляющих теоретической валидности связана с определенными типами смещения данных. Прежде чем перейти к их рассмотрению, необходимо дать определение терминам «угро- за» и «смещение», а также продемонстрировать их взаимосвязь с валидностью.

Неудовлетворительная валидизация и смещение данных
33 кам исследования
12
. Вместе с тем в социологических исследовани- ях имеют место случаи, в которых смещения не эквивалентны си- стематическим ошибкам. Примером этого является освещенная в работе С. Садмена, Н. Брэдберна и Н. Шварца контекстуальная обусловленность ответов респондентов, касающихся их установок.
По мнению указанных авторов, понятие «ошибка» применимо только в отношении фактологических ответов [Садмен, Брэдберн,
Шварц 2003: с. 259]. Такая позиция связана с проблематичностью определения истинного значения той или иной установки. В ре- зультате ответ смещен не столько в отношении некого истинного значения, сколько в отношении результата измерения этой же установки отличным от данного способом. В таких случаях, не- смотря на то, что смещений невозможно избежать они все же должны четко осознаваться исследователем и найти свое отраже- ние в тех итоговых документах, которыми завершается исследова- ние.
В случае теоретической валидизации соотнесение понятий
«смещение» и «систематическая ошибка» также носит проблема- тичный характер. Это продиктовано тем, что по своей сути любое теоретическое построение, особенно в социальных науках, носит незавершенный характер и возникающие в ходе исследования тео- ретические смещения не могут быть устранены полностью, но лишь сведены к некоторому минимуму. Исходя из вышесказанного в рамках данной работы смещение трактуется не как систематиче- ская ошибка, а в качестве осознаваемого искажения результатов
исследовательской работы, в условиях принципиальной невозмож-
ности его полного устранения.
Таким образом, валидность неизбежно искажается в результате существующих угроз, а смещение является степенью такого иска- жения. Следовательно, одной из главных задач исследователя явля- ется идентификация угроз валидности и минимизация возникаю- щих на их основе смещений.
§ 3.2. Смещения данных
3.2.1.
С
МЕЩЕНИЯ ДАННЫХ ПРИ НЕДОСТАТОЧНОЙ ОЧЕВИДНОЙ
ВАЛИДИЗАЦИИ
.
Поскольку очевидная валидность связана в первую
12
См., например: [Standard Definition, 2008: p. 5].

34
Глава 3 очередь с правильным определением социального феномена с це- лью его фиксации и дальнейшего прояснения, постольку ее дости- жение наиболее подвержено различного рода внутренним (по- другому – субъективным) факторам, присущим исследователю или исследовательскому коллективу. Последнее справедливо и для тех случаев, когда используется зарубежная концепция, релевантность которой в конкретных социокультурных условиях еще необходимо проверить.
Это обусловлено теми эпистемологическими и онтологически- ми взглядами (а в большинстве случаев и социально- политическими), которых придерживается ученый. Отсюда глав- ными угрозами очевидной валидности являются особенности чело- веческого мышления, известные также под названием когнитивных смещений. Когнитивные смещения – термин, используемый для описания тенденции делать принципиальные ошибки во время мышления и умозаключений. Такие нормативные системы, как формальная логика, теория вероятности и формальная теория при- нятия решений, были использованы психологами и экономистами для оценки и обозначения когнитивных смещений в человеческом мышлении. Когнитивные смещения могут существенно исказить характер мышления на всех этапах исследования [Leighton, 2010].
В этом смысле теоретическая подготовка не является исключени- ем.
Главное смещение в данном случае обусловлено потерей адек- ватного фокуса исследования. Последний может сместиться с реле- вантного данному социальному феномену теоретического кон- структа на конструкт, который в действительности лишь кажется адекватным в данной ситуации. Факторами такого смещения явля- ются следующие феномены человеческого мышления
13
:
1. Феномен самонадеянности: тенденция быть скорее уверен- ным, чем точным, то есть переоценивать корректность своих убеж- дений.
2. Предубежденность в отношении доказательств: тенденция выискивать информацию, которая подтверждает собственное мне- ние.
13
Более подробно см.: [Майерс, 2003: с. 138–157].

Неудовлетворительная валидизация и смещение данных
35 3. Эвристика репрезентативности: стратегия судить о степени вероятности чего-либо, оценивая, насколько хорошо оно представ- ляет специфические прототипы или соответствует им, может заста- вить человека пренебречь дополнительной полезной информацией.
4. Ошибка базовой оценки: тенденция игнорировать или не полностью использовать базовую оценочную информацию, нахо- дясь под влиянием частностей, характерных для рассматриваемого случая.
5. Доступность эвристики: эффективный, но небезошибочный эмпирический метод, который оценивает вероятность вещей с точ- ки зрения их доступности в памяти. Если какие-то примеры легко приходят на ум, мы полагаем, что они являются общепризнанными.
6. Иллюзорная взаимосвязь: восприятие взаимоотношений там, где их в реальности нет, или восприятие взаимоотношений как бо- лее тесных, чем они есть на самом деле.
Как уже было сказано, эти угрозы и соответствующие смеще- ния наиболее характерны для исследований, которые опираются на теоретические концепции, неадекватные социокультурным реали- ям исследуемого сообщества, а также для исследований, посвя- щенных недостаточно или вовсе не изученной проблематике. В первом случае исследовательский процесс может пойти не по тому пути – вместо адаптации соответствующей теоретической концеп- ции к иным социокультурным условиям ее принимают в качестве самоочевидной теоретической базы исследования. Во втором слу- чае теоретическая база и созданные на ее основе конструкты не бу- дут отвечать реальным социальным феноменам, что сделает бес- смысленной всю дальнейшую работу.
В этом контексте хорошим тоном научной практики является развитие рефлексивности, являющейся чувствительностью ученого к тем интерпретациям, которые он привносит в текст и источник которых плохо осознает. Концепт «рефлексивности» хорошо изве- стен, прежде всего, в исследованиях качественного типа. В то же время (здесь я исхожу из собственного научного опыта и общения с коллегами социологами) проблема рефлексивности в рамках науч- ной практики куда острее стоит в кругах тех социологов, которые придерживаются количественной перспективы. Уж слишком много приходится в этом случае на долю необоснованных интерпретаций.

36
Глава 3
Далее я приведу те пункты самоконтроля (ориентиры рефлек- сивности), которые способствуют снижению смещений при оче- видной валидизации
14
:
1. Есть ли у меня какая-либо политическая заинтересованность
(в широком смысле), которая влияет на оценку, обобщение и опи- сание научных фактов?
2. Не формирую ли я финальные теоретические положения в таком стиле, который снимает с меня ответственность за ту интер- претацию, которой я придерживаюсь?
3. В какой степени мой анализ является альтернативным по от- ношению к здравому смыслу или доминирующему дискурсу?
Примером, иллюстрирующим неудовлетворительную очевид- ную валидность теоретического конструкта и соответствующие смещения полученных данных, является применение в «Европей- ском социальном исследовании» модифицированного варианта международной стандартной классификации уровней образования
ЮНЕСКО (ISCED). Использование этой схемы привело к неадек- ватным различиям в показателях уровня достигнутого респонден- тами 25–64 лет образования в разных европейских индустриально развитых странах. По мнению С.Оксамитной, в такие различия трудно поверить, даже с учетом национальных традиций стран- участниц «Европейского социального исследования» [Оксамитная,
2007: с. 156–161]. Таким образом, недостаточная социокультурная релевантность теоретического конструкта национальным особен- ностям стран-участниц исследования привела не только к получе- нию смещенных результатов в отношении достигнутого индивида- ми уровня образования, но и не позволила осуществить коррект- ный сравнительный анализ.
3.2.2.
С
МЕЩЕНИЯ ДАННЫХ ПРИ НЕДОСТАТОЧНОЙ СОДЕРЖАТЕЛЬНОЙ
ВАЛИДИЗАЦИИ
.
В случае содержательной валидности соответству- ющие виды угроз и смещений носят объективный характер. Из приведенного выше определения содержательной валидности сле- дует, что главными угрозами для нее являются: 1) невключение в содержательное поле конструкта значимых и включение незначи- мых, с точки зрения целей исследования, составляющих; 2) их не-
14
Приведенные пункты являются моей интерпретацией принципов ре- флексивного мышления при подготовке исследовательских отчетов, пред- ложенных Джоном Кресвеллом [Creswell, 2007: p. 180].

Неудовлетворительная валидизация и смещение данных
37 представительность. Смещения же, вызванные данными угрозами, отчетливо проявляются на последующих этапах исследовательской деятельности – при конструктной, внутренней и прогностической валидизации.
Во-первых, содержательная валидность является основой для конструктной. Не имея удовлетворительного в содержательном смысле конструкта, даже в случае тщательного проведения
МТММ-эксперимента
15
(или другой более простой проверки), можно получить смещенные результаты конструктной валидиза- ции. Вместе с тем возникает вопрос: возможно ли вообще получить удовлетворительные результаты МТММ-эксперимента для неудо- влетворительного теоретического конструкта? Как было показано выше, в примере про шкалу для измерения типа студента – это возможно. Даже если «выбросить» часть шкалы, статистические показатели останутся сильными и значимыми. То есть в данном случае может быть продемонстрирована удовлетворительная дис- криминантная и конвергентная валидность и принято решение о наличии конструктной. Хотя сам конструкт будет иметь артефакт- ную природу.
Во-вторых, в случае неудовлетворительной содержательной валидности смещенными могут оказаться выводы о причинно- следственных связях. В данном случае речь идет о проверке влия- ния контрольных переменных на интересующую исследователя связь как о необходимом условии достижения внутренней валид- ности. Поскольку вопрос о том, какие переменные выступят в ка- честве контрольных, решается именно в рамках теории, то невклю- чение значимых элементов в конструкт чревато смещением резуль- татов не только дескриптивной, но и квазиэкспериментальной работы.
В-третьих, правильность содержательной валидизации связана с объяснительным потенциалом исследования в целом и предсказа- тельным в частности. Непредставительный в содержательном смысле конструкт не обеспечивает всей необходимой информации об исследуемом социальном феномене, что, в свою очередь, отра-
15
МТММ – от английского: multitraite-multimethod matrix. Для ознакомле- ния с сущностью МТММ-эксперимента, см.: [Campbell,1959: p. 81–105;
Девятко, 1993: с. 82–86; Анастази, Урбина, 2005: с. 152–154].

38
Глава 3 жается на точности объяснения и прогноза. Так, показателен при- мер методик, результаты которых приводятся к единому показате- лю – индексу [Haynes, Richard, Kubany, 1995: p. 242]. В случае не- включения в конструкт значимых составляющих, значение такого индекса может значительно отличаться от истинного. Соответ- ствующие выводы также будут иметь ошибочный характер. Кроме того, в данном случае невозможно достичь удовлетворительной композиционной валидности вследствие потери части структурных компонентов теоретического конструкта, что также ведет к некор- ректности выводов.
В качестве теоретического конструкта, демонстрирующего не- удовлетворительную содержательную валидность, можно привести
Индекс человеческого развития, используемый ООН для сравни- тельной оценки потенциала человеческого развития в различных странах. В основе этого индекса лежит теоретический конструкт, включающий три элемента: ожидаемую продолжительность жизни при рождении, уровень образования (состоит из образовательного уровня взрослого населения и совокупной доли учащихся) и ВВП на душу населения в долларах США. Несмотря на значимость ука- занных элементов, они не обеспечивают представительности в от- ношении феномена человеческого развития, что приводит к сме- щениям в рейтинге, построенном на основании этого индекса. В отчете ООН о человеческом развитии 2013 года Украина занимала
78-е место, в то время как Ливия, испытавшая и продолжающая ис- пытывать на себе все тяжести кровопролитной гражданской войны, находится на 64-м месте [Human Development Report, 2013: p. 145].
Есть еще один вид угроз, связанный с содержательной валид- ностью, на котором необходимо остановиться отдельно. Это угро- зы, вызванные полной или частичной несводимостью абстрактных понятий, положенных в основу теоретического конструкта, к кон- кретным индикаторам. В данном случае исследователю придется ограничиться лишь теоретическими изысканиями на интересую- щую тему. То есть говорить о каком-либо эмпирическом исследо- вании вообще не приходится.
Пример соответствующих смещений демонстрирует известное теоретическое построение Т.Парсонса – так называемая концепция