Профессор Наталья И. Куциркова, профессор кафедры раннего развития детей Университета Ставангера, Норвегия, и Открытого университета, Великобритания
Во всем мире крупные благотворительные организации обращаются к образовательным технологиям (EdTech) для улучшения обучения. В стремлении найти инструменты, которые могут быстро, экономически эффективно и надежно поддержать обучение детей, «воздействие» стало центральным показателем успеха. Но измерить образовательное воздействие EdTech далеко не так просто. Причин много, и широко обсуждаемый в образовательных кругах. Здесь я остановлюсь на трех ловушках, с которыми часто сталкиваюсь, работая директором Международного центра EdTech Impact.
Ошибка 1: использование для получения оценок
Многие поставщики уверены, что их продукты по умолчанию являются образовательными, и поэтому предполагают, что, поскольку ребенок проводит часы в их приложении, он получает часы обучения. Тем не менее, некоторые исследования показывают, что дети, использующие EdTech, не только не могу эффективно учиться но могут даже испытывать неудачи в обучении.
Количество часов, потраченных на инструмент, является результат, а не результат. Это механизм, который мощь ведут к обучению, но это не гарантия. Эффективное использование зависит от поиска правильного баланса частоты и интенсивности. Действительно, слишком много времени может оказаться контрпродуктивным. Например, Кахут! продемонстрировал образовательные преимущества в метаанализыно исследования с конкретными группами студентов также обнаружили, что частые викторины могут повысить уровень стресса.
Таким образом, даже если инструменты EdTech доказали свою эффективность в обучении, важно сбалансированное их использование и понимание того, насколько воздействие способствует оптимальному обучению.
Ошибка 2: Оценки без психометрической проверки
Многие инструменты EdTech включают в себя викторины и тесты, встроенные прямо в приложение. Это дает поставщикам готовый источник данных и заманчивую возможность заявить о «влиянии». Я вижу это постоянно, особенно в условиях, когда исследователи не привлекаются для проверки, команды по обучению и закупкам полагаются исключительно на то, что поставщики предоставляют в качестве доказательства.
Представьте себе приложение для раннего чтения, в котором ребенок читает историю, содержащую новые слова. В конце чтения ребенок выполняет небольшой тест, чтобы проверить, выучил ли он новые слова. Некоторые приложения могут предлагать детям один и тот же тест до и после того, как ребенок прочитает историю. Объединив данные о множестве детей, поставщик приложения видит, что большинство детей получают высокие баллы в викторинах после того, как прочитают свою историю. Доказательство, они говорят, что приложение учит детей новым словам. Но любой исследователь скажет вам, что это не фактическое доказательство. Основная проблема заключается в недостаточной психометрической строгости теста.
А психометрическая оценка оценивает, измеряет ли такой инструмент, как тест, то, что он якобы измеряет, надежно ли он это делает с течением времени и можно ли обобщить результаты. Большинство викторин, опросов или тестов, разработанных поставщиками образовательных технологий, были разработаны не исследователями, а собственными сотрудниками или просто созданы искусственным интеллектом в соответствии со стимулом обучения. Они не являются стандартизированными тестами и могут измерять нечто совершенно отличное от намеченной цели обучения.
Когда мы оценивали психометрические свойства викторины в одном из первых приложений для обучения счету, мы обнаружили поразительное несоответствие: дети получали высокие баллы в тесте приложения, но те же дети плохо справлялись с тестами, проводимыми учителем. Изучив тест приложения более внимательно, мы увидели, что некоторые вопросы были слишком простыми, другие двусмысленными, а некоторые оценивали общее распознавание образов, а не конкретные числовые понятия.
Обратная связь, включенная в тест, научила детей правильно отвечать в приложении, но сам тест не измерял их истинные навыки счета, а только их способность правильно отвечать на тест. В результате тест создавал ложное впечатление, что дети рано овладевают навыками счета, тогда как на самом деле их понимание предполагаемых понятий не развивалось.
Разработчикам и спонсорам не следует полагаться на внутриигровые тесты без психометрических проверок. Помимо проверки того, что внутренние данные психометрически достоверны, оценка воздействия должна также включать внешние данные.
Ловушка 3: Внутренние меры считаются достаточными
Внешние измерения, то есть информация, собранная сверх того, что собирает EdTech, имеют решающее значение, однако многие поставщики задаются вопросом, зачем беспокоиться, если у них есть свои собственные данные. Спонсоры также испытывают искушение сэкономить деньги, поскольку наем сборщиков данных (пересчитывателей) и оплата исследователям за разработку достоверных тестов обходятся дорого и отнимают много времени.
Это проблема, поскольку внутренние данные (даже если они психометрически обоснованы) ограничены: они измеряют только то, чему ребенок может научиться в среде приложения. Передаются ли эти знания за пределы приложения, неизвестно.
Внешние данные могут показывать как положительные эффекты, так и непредвиденные последствия использования инструмента EdTech. Например, в исследовании программного обеспечения для кодирования Kodable исследователи провели прямые наблюдения в классе и смогли продемонстрировать, что дети освоили навыки программирования, специфичные для игры, после одной недели использования этого инструмента. В другом исследовании с помощью инструментов Речь и Одиннадцатьлабс, исследователи провели интервью и опросы студентов и обнаружили, что эти технологии генерации речи увековечивают языковую предвзятость и дискриминацию по акценту.
Некоторые внешние показатели, такие как исследовательские опросы, могут быть встроены в сам инструмент EdTech, но это открывает пространство для предвзятости: поскольку поставщики имеют полную информацию о данных о производительности своих пользователей, алгоритмы в приложении могут быть настроены для получения более благоприятных для них результатов. При представлении спонсорам и покупателям очевидный «прогресс» ребенка может отражать дизайнерский выбор, а не подлинное обучение.
Чтобы по-настоящему понять влияние инструмента EdTech, необходимо объединить данные о внутреннем использовании с внешними данными, которые независимо собираются квалифицированными исследователями. Объединив точные внутренние и внешние данные и следуя четкой теории изменений, мы можем выйти за рамки доказательства того, что инструмент используется, и показать, почему и как он на самом деле улучшает обучение. На переполненном рынке образовательных технологий именно здесь политики должны сосредоточить внимание (и финансировать) на тщательной оценке воздействия, которая отделит инструменты, которые действительно улучшают обучение, от тех, которые только заявляют об этом.
Читайте также
