Файл: Программа по оценке качества обучения Содержание.pdf

1
Модуль 3. Международная программа по оценке качества обучения
Содержание:
PISA: оценка качества обучения. Направления исследования. Содержание
исследования. Типы заданий.
Лекция.
Международная программа по оценке качества обучения PISA
(Programme for International Student Assessment) проводится раз в 3 года, начиная с 2000 г., и проходит под патронажем Организации экономического сотрудничества и развития. Цель этого масштабного тестирования — провести оценку грамотности 15-летних школьников в разных видах учебной деятельности: естественнонаучной, математической, компьютерной и читательской
1
. Дополнительной областью оценивания в цикле исследования
2012 года стало «креативное решение задач», в цикле 2015 года – «совместное решение задач», в цикле 2018 года – «глобальная компетентность». Ряд стран, в том числе Россия, также принимают участие в дополнительной опции – оценивание финансовой грамотности учащихся.
Изучение того, обладают ли учащиеся 15-летнего возраста, получившие обязательное общее образование, знаниями и умениями, необходимыми для полноценного функционирования в современном обществе, т.е. для решения широкого диапазона задач в различных сферах человеческой деятельности, общения и социальных отношений. Программа позволяет выявить и сравнить изменения, происходящие в системах образования разных стран и оценить эффективность стратегических решений в области образования.
Цикл исследования составляет 3 года. Россия принимает участие во всех циклах исследования PISA начиная с первого цикла в 2000 году (2000, 2003,
2006, 2009, 2012, 2015). В каждом цикле основное внимание (две трети времени тестирования) уделяется одному из трех указанных выше направлений исследования. По остальным направлениям получается обобщенная характеристика грамотности учащихся.
В 2000 году основное направление исследования – «читательская грамотность», в 2003 году – «математическая грамотность», в 2006 году –
«естественнонаучная грамотность», в 2009 году – «читательская грамотность», в
2012 году – «математическая грамотность», в 2015 году – «естественнонаучная грамотность».
1
https://fioco.ru/Contents/Item/Display/2201447

2
Циклы исследования PISA: 2000, 2003, 2006, 2009, 2012, 2015,2018
Количество стран-участниц в исследовании PISA
Цикл исследования
Количество стран-участниц
PISA-2000
32 страны мира
PISA-2003
40 стран мира
PISA-2006
57 стран мира
PISA-2009
65 стран мира
PISA-2012
65 стран мира
PISA-2015
70 стран мира
PISA-2018
79 стран мира
В первом полугодии 2018 года в Российской Федерации был проведен основной этап очередного цикла исследования PISA-2018, в котором приняли участие более 8000 учащихся 15-летнего возраста из более чем 200 образовательных организаций 43 субъектов Российской Федерации и начата обработка результатов основного исследования.
В исследовании PISA-2018 основным направлением стала читательская грамотность
2
В каждом новом цикле исследования вводятся новые направления:
PISA-2012 – финансовая грамотность
PISA-2015 – решение проблем
PISA-2018 – глобальные компетенции.
Конструкт «глобальные компетенции» включает в себя 4 аспекта:
− заинтересованность и осведомленность о глобальных тенденциях развития
− управление поведением
− открытость к новому
− эмоциональное восприятие нового
В каждом цикле основное внимание уделяется одному из трех направлений исследования: читательская грамотность, математическая грамотность и естественнонаучная грамотность. В PISA – 2018 основным направлением стала читательская грамотность. В PISA – 2021 основным направлением будет математическая грамотность.
Концепция направления «математическая грамотность» исследования
PISA-2021. Ключевая составляющая понятия математическая грамотность- математическое рассуждение.
Математическое содержание разделено по четырем категориям:
− количество
− неопределенность и данные
− изменение и зависимости
− пространство и форма.
Добавлены восемь навыков 21 века:
2
https://mcko.ru/pages/i_s_q_e_pisa

3
− критическое мышление
− креативность
− исследование и изучение
− саморегуляция, инициативность и настойчивость
− использование информации
− системное мышление
− коммуникация
− рефлексия.
Читательская грамотность – способность человека понимать и использовать письменные тексты, размышлять о них и заниматься чтением для того, чтобы достигать своих целей, расширять свои знания и возможности, участвовать в социальной жизни.
Компетенции (умения):
• Находить и извлекать информацию
• Интегрировать и интерпретировать информацию

4
• Осмысливать и оценивать содержание и форму текста
• Использовать информацию из текста.
Естественнонаучная грамотность – это способность человека занимать активную гражданскую позицию по вопросам, связанным с естественными науками, и его готовность интересоваться естественнонаучными идеями.
Естественнонаучно грамотный человек стремится участвовать в аргументированном обсуждении проблем, относящихся к естественным наукам и технологиям, что требует от него следующих компетентностей:
• Научно объяснять явления
• Понимать основные особенности естественнонаучного исследования
• Интерпретировать данные и использовать научные доказательства для получения выводов.
Математическая грамотность – это способность индивидуума проводить математические рассуждения и формулировать, применять, интерпретировать математику для решения проблем в разнообразных контекстах реального мира. Она помогает людям понять роль математики в мире.
• формулировать ситуацию математически
• применять математические понятия, факты, процедуры
• интерпретировать, использовать и оценивать математические результаты
• рассуждать (над формулированием, над решением, над результатом)
Компьютерная и информационная (цифровая) грамотность – это способность учащихся использовать компьютеры в личных, исследовательских, творческих и коммуникационных целях, чтобы успешно участвовать в учебной, производственной и общественной деятельности.
• Практические навыки по работе с компьютером
• Сбор, обработка, создание информации
• Цифровое взаимодействие (обмен информацией в социальных сетях)
Разработка заданий на функциональную грамотность должна предусматривать следующие факторы:
• Контексты заданий должны быть ориентированы на возраст и интересы учащихся
• Контексты могут затрагивать проблемы глобального или личностного характера, апеллировать к различным областям человеческой деятельности
• Задания должны охватывать все компетенции читательской, математической, естественнонаучной грамотности
• Задания должны опираться на предметные знания и умения
• Задания должны быть разного уровня сложности
Чтобы оценить уровень функциональной грамотности учащихся, нужно дать им нетипичные задания, в которых предлагается рассмотреть некоторые проблемы из реальной жизни. Решение этих задач, как правило, требует применения знаний в незнакомой ситуации, поиска новых решений или способов действий, т.е. требует творческой активности.
Помимо PISA существуют и другие международные мониторинговые исследования, имеющие более узкую направленность. Тестирование TIMSS

5
(Trends in Mathematics and Science Study), например, нацелено на проверку качества математического и естественнонаучного образования учеников четвёртых и восьмых классов. Проводится оно при поддержке Международной ассоциации по оценке учебных достижений IEA. Помимо мониторинга качества знаний TIMSS призвано ещё и выявить различия в национальных системах образования разных стран. А тестирование PIRLS (Progress in International
Reading Literacy Study) направлено на то, чтобы оценить качество чтения и понимания текста у ребят начальной школы. Так же, как и TIMSS, оно показывает различия в национальных системах образования. Исследование
PIRLS проводится раз в пять лет, и проходило уже четыре раза: в 2001, 2006,
2011 и 2016 годах.
В исследование PISA включены задания разного типа. Почти половину из них составляют вопросы, предполагающие свободные ответы. А есть вопросы с определённым, нерасширяемым списком ответов. Это значит, что ученик должен выдать самостоятельный ответ, который будет ограничен конкретными словами или числами. Почти треть всех заданий в тесте составляют вопросы с готовыми вариантами ответов. Главное отличие программы PISA от ЕГЭ, ОГЭ и других российских тестов заключается в том, что она, в первую очередь, оценивает возможность школьников руководствоваться здравым смыслом и логикой при выполнении нестандартных задач.
В этом отношении можно сказать, что PISA следует современным образовательным трендам, ведь способность учеников применять школьные знания в жизни — это важнейший аспект функциональной грамотности и навыков XXI века. Задания PISA проверяют не заученный материал по биологии, географии, физике и обществознанию, а владение учеников компетенциями в различных контекстах этих предметов и межпредметного взаимодействия: здоровье человека, природные ресурсы, окружающая среда, экология, открытия в области науки и технологии. Существуют интерактивные задания, направленные на наблюдение за каким-то объектом, в которых нужно сделать вывод о том, как функционирует этот объект. Есть задания с аналитическим решением, в которых стоит задача предусмотреть дальнейшее развитие событий или действие каких-то предметов.
В 2015 году появились в PISA и задания для коллективного выполнения
— коллаборативные. В таких задачах предусмотрено совместное решение проблем. В качестве партнёров выступают виртуальные помощники, с которыми можно обсуждать, анализировать и решать заданную проблему: что-то организовать, создать, придумать, переделать или наладить. Такие задания показывают, как ученик взаимодействует с партнёром, как распределяет обязанности, и умеет ли договариваться.
Пример задания на математическую грамотность:

6
Комментарий эксперта к заданию: «В задании требуется воспринять новую информацию — описание представленной реальной ситуации — и интерпретировать её геометрическую модель, чтобы вычислить длину дуги.
Опираясь на пространственное воображение и интуицию при работе с моделью, можно догадаться, что эта дуга составляет ⅙ часть длины окружности двери.
Для решения нужно вспомнить (или посмотреть в списке формул) известную учащимся формулу длины окружности. Ответ в пределах от 103 до 105. […].
Подобных задач нет в российских учебниках. Слово „окружность“ не упоминается в тексте задания, и учащимя самим надо сообразить, что именно окружность, разделённая тремя радиусами на три равные части, является моделью вращающейся двери».
В исследованиях PISA и PIRLS, под грамотностью чтения предлагается понимать способность ученика к осмыслению письменных текстов и их рефлексии, к использованию их содержания для достижения собственных целей, развития знаний и возможностей, для активного участия в жизни общества
3
Уровни грамотности чтения.
3
https://fioco.ru/Media/Default/Documents/%D0%B4%D0%BB%D1%8F%20%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D
1%82%D0%B5%D0%B9/%D0%9E%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8B%D0%B5%20%D0%B7%D0%B0
%D0%B4%D0%B0%D0%BD%D0%B8%D1%8F%20%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%
B2%D0%B0%D0%BD%D0%B8%D1%8F%20PISA-
2018%20(%D1%87%D0%B8%D1%82%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D1%81%D0%BA%D0%B0%D1%8F%
20%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C).pdf

7 1. Поиск в тексте нужной информации по простому критерию (самый низкий уровень).
2. Поиск в тексте нужной информации по множественным критериям.
3. Поиск в тексте нужной информации, распознавание связи между отрывками информации, работа с известной, но противоречивой информацией.
4. Поиск и установление последовательности или комбинации отрывков, содержащих глубоко скрытую информацию, умение сделать вывод о том, какая информация в тексте необходима для выполнения задания.
5. Понимание сложных текстов и их интерпретация, формулирование выводов и гипотез относительно содержания текста.
Профессор департамента психологии факультета социальных наук НИУ
ВШЭ Александр Поддьяков считает, что тесты PISA имеют и некоторые недочёты: многие интерактивные творческие задания, по его мнению, должны иметь более гибкую систему ответов. В нескольких заданиях подобного типа эксперт заметил ошибки: разработчики попросту не смогли предвидеть другие
(тоже правильные!) варианты решения тестов.
При этом американский профессор педагогики Университета Аризоны
Дэвид Берлинер заявляет, что результаты теста PISA связаны вовсе не с уровнем образования, а с качеством жизни в стране. В США, кстати, тестирование PISA ученики проходят не блестяще: в 2015 году страна заняла 28-е место по математике, 24-е место по чтению и 25-е — по естественным наукам. Позиции
России тогда были такими: 23-е, 26-е и 33-е места по тем же дисциплинам.
Галина Ковалёва, координатор PISA в России, отмечает: низкие результаты теста в нашей стране связаны с тем, что учителя превосходно обучают предмету, однако не замечают, как знания по этому предмету усваивают отдельные ученики в классе. Кроме того, Ковалёва говорит, что российская система образования заметно отличается, например, от финской (а Финляндия почти всегда лидирует в PISA). У нас существуют целые школы для способных детей, но при этом отстающие ученики оказываются совершенно
«заброшенными». В Финляндии же нет «лицейских» классов и школ «с уклоном»: одарённым школьникам разрешено заниматься самостоятельно, а для отстающих разрабатываются специальные индивидуальные программы обучения.
Результаты Российской Федерации в исследовании PISA
Место РФ среди других стран-участниц (по количеству
баллов)
Направление
исследования
PISA-
2000
PISA-
2003
PISA-
2006
PISA-
2009
PISA-
2012
PISA-
2015
PISA-
2018
Естественнонаучная грамотность
26 24 35 39 37 32 33
Математическая грамотность
22 29 34 38 34 23 30

8
Читательская грамотность
27 32 39 43 42 26 31
Место РФ среди других стран-участниц*
Направление
исследования
PISA-
2000
PISA-
2003
PISA-
2006
PISA-
2009
PISA-
2012
PISA-
2015
PISA-
2018
Естественнонаучная грамотность
26-29 20-30 33-38 38-40 34-38 30-34 30-37
Математическая грамотность
21-25 29-31 32-36 38-39 31-39 20-30 27-35
Читательская грамотность
27-29 32-34 37-40 41-43 38-42 19-30 26-36
*В международном отчёте указывается место страны с учётом стандартного отклонения
Количество баллов РФ (по 1000-балльной шкале)
Направление
исследования
PISA-
2000
PISA-
2003
PISA-
2006
PISA-
2009
PISA-
2012
PISA-
2015
PISA-
2018
Естественнонаучная грамотность
460 489 479 478 486 487 478
Математическая грамотность
478 468 476 468 482 494 488
Читательская грамотность
462 442 440 459 475 495 479
Согласно приказу Федеральной службы по надзору в сфере образования и науки № 590, Министерства просвещения Российской Федерации № 219 от 6 мая
2019 года «Об утверждении методологии и критериев оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся» определены содержательные принципы оценки качества общего образования в общеобразовательных организациях:
− Ориентация на потребности и интересы обучающихся.
− Ориентация на ФГОС.
− Развитие современных инструментов оценки качества образования.
− Ориентация на оценивание как подготовки обучающихся, так и образовательной деятельности.
Поэтому в рамках Методологии рассматриваются следующие направления оценки качества образования:
1) оценка культуры самооценки образовательных организаций, внедрение технологий формирующего оценивания как способа продвижения к поставленным целям обучения с учетом целей и особенностей участников образовательных отношений;

9 2) оценка степени соответствия подготовки обучающихся требованиям
ФГОС к результатам освоения образовательных программ;
3) оценка степени соответствия образовательной деятельности требованиям
ФГОС к условиям реализации образовательной деятельности;
4) оценка степени соответствия подготовки обучающихся их потребностям, потребностям предприятий и учреждений;
5) оценка степени соответствия образовательной деятельности потребностям обучающихся, потребностям организаций среднего и высшего профессионального образования, предприятий и учреждений, потенциальными будущими работниками которых являются обучающиеся в ОО.
В рамках настоящей Методологии предполагается, что формирование критериев оценки качества образования является частью деятельности всех участников образовательных отношений, а также органов исполнительной власти муниципального и регионального уровня, осуществляемой в целях развития механизмов управления качеством образования.
При этом критерии в каждом конкретном случае должны быть сопоставлены с целями индивидуализации обучения каждого ученика, развития образовательной организации, муниципальной или региональной системы образования и обеспечивать оценку продвижения к достижению этих целей.
Важным требованием к формулировке критериев является отсутствие негативных последствий для системы образования в результате применения данных критериев. Например, критерии не должны стимулировать участников образовательных отношений к искусственному завышению показателей или к внедрению управленческих решений, негативно сказывающихся на качестве или доступности образования.
Согласно результатам исследования, представленных руководителем
Центра оценки качества образования Института стратегии развития образования
Российской академии образования, к.п.н Ковалевой Г.С
4
., были изучены взаимосвязи между учебной нагрузкой обучающихся по программам общего образования и результатов международных исследований TIMSS и PISA.
По результатам исследования PISA-2018 было выявлено следующее:
• Общее количество уроков в неделю – отрицательная связь с результатами по функциональной грамотности;
• Количество уроков определенного предмета – отрицательная связь с уровнем читательской грамотности и положительная – с уровнем математической и естественнонаучной грамотности;
• Наполняемость класса – связь с результатами по функциональной грамотности не проявляется;
По результатам исследования TIMSS-2019 получилось следующее:
• Частота выполнения домашних заданий – нет эффекта на результаты по математике и положительный эффект на результаты по естествознанию в 8 классе;
4
http://www.eduportal44.ru/sites/RSMO-test/DocLib322/Ковалева%20ГС_24.09.2021.pdf