Сильвия Монтойя, директор UIS
Это часть серии блогов, целью которых является информирование о некоторых основных проблемах и решениях по сбору качественных данных, которые будут подробно обсуждаться на следующей неделе на первом в истории мероприятии. Конференция по данным и статистике образованиясозванный Статистическим институтом ЮНЕСКО (UIS).
Когда в 2015 году была поставлена цель ЦУР 4 в области образования, повестка дня была перенесена с акцента на обучении детей в школе на обеспечение того, чтобы они также учились. Он призвал международное сообщество оценить, достигают ли учащиеся хотя бы минимального уровня владения чтением и математикой во 2/3 классах, в конце начальной и в конце средней школы. Тем не менее, на полпути к крайнему сроку достижения нашей цели по ЦУР 4, установленному в 2030 году, только 34 страны отчитываются об окончании 2/3 классов, почти 100 (или около половины) – об окончании начальной школы и 85 – о завершении школьного обучения. средняя школа. Почему?
Что касается всех данных, используемых на глобальном уровне и как обсуждалось в двух предыдущих блогах, только что опубликованных на административные данные и обследования домохозяйств, результаты должны быть сопоставимы по странам и репрезентативны для каждой страны. Они должны соответствовать минимальным стандартам качества, чтобы было полное понимание того, сравниваются ли студенты одинаково. В идеале измерение должно служить не только цели отчетности; необходимо также развивать национальный потенциал для проведения оценки обучения и использования результатов для улучшения учебных программ, подготовки учителей и оценки. И последнее, но не менее важное: страны должны сообщать о результатах.
Мир прошел большой путь за короткий промежуток времени. До 2015 года, когда была установлена ЦУР 4, не существовало глобального консенсуса относительно того, как определять минимальный уровень владения языком. Сегодня существует не только индикатор, но и стандарты того, что следует измерять на каждом из трех ключевых этапов обучения учащихся, а также критерии того, как выглядят хорошие измерения. Теперь также можно использовать множество инструментов вместо одного. Уже в 2018 году крупные межнациональные исследования на глобальном (например, PIRLS, TIMSS) или региональном уровне (например, PILNA, SEA-PLM, PASEC, LLECE, SACMEQ) пришли к единому мнению, как уровни квалификации, которые они измеряли, соотносятся с глобальными их уровень квалификации соответствует глобальному минимальному уровню квалификации.
Проблемы
На пути реализации этих целей и расширения охвата стран стоит ряд проблем.
Сравнимость и качество: Ни одна страна не похожа на другую. Не каждая страна хочет и имеет политику измерения обучения на каждом из трех уровней. Не каждая страна стремится преподавать в своих школах тот же контент, что и в других странах. Существует так много форматов тестирования и решений по выборке, что необходим минимальный набор процедурных стандартов, чтобы гарантировать надежность и сопоставимость результатов. СИЮ подготовил руководство какую справочную информацию следует предоставить, чтобы помочь оценить сопоставимость результатов.
Своевременность: Промежуток между оценкой обучения и представлением результатов в некоторых случаях затягивается настолько, что цель мониторинга не достигается, и в то же время результаты не могут быть использованы даже для влияния на политику.
Расходы: Стоимость оценки низкий относительно стоимости нет измерение обучения. В конце концов, системы оценки оказывают положительное воздействие, выходящее далеко за рамки простого сбора статистических данных. Тем не менее, оценки являются относительно дорогостоящими, особенно для беднейших стран. Это заставляет некоторые страны неохотно инвестировать без внешней поддержки. Но такая поддержка, как правило, носит краткосрочный, фрагментированный характер и зачастую не учитывает интересы стран. Такая поддержка редко способствует созданию институтов и развитию потенциала.
Существует высокая вероятность того, что низкий уровень странового охвата показателя минимального уровня владения языком в начальных классах (4.1.1a) приведет к его исключению из списка глобальных показателей ЦУР в 2025 году. Исключение показателя из глобального списка по прагматическим причинам ( то есть, поскольку страны не отчитываются) не означает, что показатель теряет свою актуальность: уровень непосещения школы не является глобальным показателем ЦУР, однако он продолжает привлекать глобальное внимание. Но это переключает внимание на отсутствие последовательного долгосрочного подхода, который помог бы странам развивать свой потенциал по оценке и мониторингу обучения в младших классах начальной школы и за ее пределами.
Когда стандарты были установлены в 2018 году, было решено, что некоторые другие оценки не подходят, но однажды могут быть рассмотрены для отчетности, если они будут работать в направлении этих стандартов. Еще есть потенциал для этих оценок, которые в настоящее время не соответствуют стандартам (поскольку они не были разработаны для сравнения, или они измеряют уровень владения языком ниже минимального, или правительства не готовы сообщать о своих результатах), чтобы соответствовать им в будущем, даже если возможно, уже слишком поздно расширять охват вовремя, учитывая, сколько времени занимает проведение оценок.
Но это также критический момент для размышления о том, какой подход к оценке расширит возможности стран. Измерение не должно производиться ради измерения. Предполагается, что это инструмент, помогающий странам развиваться. СИЮ имеет предложенный что финансирование оценки обучения должно быть передано странам: в зависимости от их доходов и возможностей они должны иметь право на получение финансирования, и именно тогда страны должны решить, какой из вариантов измерения, которые соответствуют стандартам, лучше всего соответствуют их целям потенциала и являются экономическая эффективность. Это вопросы, которые будут обсуждаться на конференции на этой неделе в Париже.
Для содействия сопоставимости и ответственности использовались различные инструменты.
Помимо содействия достижению консенсуса путем сопоставления существующих оценок уровня владения с глобальным минимальным уровнем владения языком, СИЮ также способствовал обеспечению сопоставимости, по крайней мере, тремя другими способами.
Первый – статистический. Метко названо, Розеттский каменьназванный в честь знаменитого археологического открытия, сделавшего возможным перевод между различными письменными языками, этот подход гармонизировал наборы данных двух региональных оценок в Латинской Америке и франкоязычной Африке и одной международной оценки, чтобы проверить, насколько надежным был подход, основанный на консенсусе.
Второй набор инструментов, политика связывания и попарное сравнение предметов, не являются статистическими. Они полагаются на группу национальных экспертов, которая определит, насколько национальная оценка соответствует глобальному минимальному уровню квалификации. Эти инструменты, все еще находящиеся на стадии пилотного проекта, могут дать странам возможность использовать свои национальные оценки для сопоставимой глобальной отчетности.
Третий инструмент, «Оценка минимального уровня квалификации», или AMPL, представляет собой более комплексный подход. Это набор из 20 вопросов, которые позволяют странам отчитываться по глобальному показателю. Вопросы могут быть добавлены к любой оценке, которую уже проводят правительства. Это недорогой подход, способный дать результаты в течение нескольких месяцев. Он уже использовался в девяти африканских странах (Буркина-Фасо, Бурунди, Кот-д’Ивуар, Гамбия, Кения, Лесото, Сенегал, Сьерра-Леоне и Замбия), применялся на урду в Пакистане и был опробован в Индии в английском и хинди. Огромный потенциал этого инструмента будет представлен на конференции на этой неделе.
Решения
Таким образом, решения выпадают из вышеперечисленных проблем:
- Руководство по гармонизации оценок и отчетности: Учитывая прогресс, достигнутый в последние годы, пришло время составить и регулярно обновлять справочник, содержащий всю информацию о критериях приемлемости для отчетности. Среди элементов, которые следует включить, будут следующие: соответствие стандартам и основам; репрезентативность; административная сопоставимость; прозрачность процесса; и осуществимость участия (затраты, графики, наращивание потенциала и общая нагрузка для страны).
- Система оценочной аккредитации: Соответственно, сейчас самое время ввести четкую и прозрачную систему аккредитации. Поставщики оценок, в том числе государственные организации, смогут подавать заявки на проверку соответствия оценок целям отчетности по показателю ЦУР 4.1.1.. На основе руководства будет составлен контрольный список, содержащий стандарты и критерии приемлемости, которым должны соответствовать заявители.