Модель машинного обучения фокусируется на новостных статьях для прогнозирования вспышек продовольственного кризиса

Группа исследователей разработала модель машинного обучения, которая опирается на содержание новостных статей, чтобы эффективно прогнозировать места, где существует риск отсутствия продовольственной безопасности. Модель, которую можно использовать для определения приоритетности распределения чрезвычайной продовольственной помощи среди уязвимых регионов, знаменует собой улучшение существующих измерений.

«Наш подход может значительно улучшить прогнозирование вспышек продовольственного кризиса на 12 месяцев вперед, используя как потоки новостей в реальном времени, так и прогностическую модель, которую легко интерпретировать», — говорит Сэмюэл Фрайбергер, приглашенный исследователь из Института Куранта при Нью-Йоркском университете. кандидат математических наук, специалист по обработке данных Всемирного банка и автор исследования, опубликованного в журнале Научные достижения.

«Традиционные измерения факторов риска отсутствия продовольственной безопасности, такие как индексы остроты конфликта или изменения цен на продукты питания, часто являются неполными, запоздалыми или устаревшими», — добавляет Лакшминараянан Субраманиан, профессор Института Куранта и один из авторов статьи. «В нашем подходе используется тот факт, что факторы риска, вызывающие продовольственный кризис, упоминаются в новостях до того, как их можно будет наблюдать с помощью традиционных измерений».

Отсутствие продовольственной безопасности угрожает жизни сотен миллионов людей во всем мире. По данным Продовольственной и сельскохозяйственной организации Объединенных Наций, число недоедающих увеличилось с 624 млн человек в 2014 году до 688 млн в 2019 году. Условия, отмечают авторы статьи, с тех пор ухудшились из-за пандемии COVID-19, изменения климата и вооруженные конфликты — в 2021 году от 702 до 828 миллионов человек во всем мире столкнулись с голодом. Более того, острое отсутствие продовольственной безопасности усилилось как во всем мире, так и во всех регионах в 2021 году.

Несмотря на острый и широко распространенный характер этого недуга, нынешние методы выявления будущих продовольственных кризисов опираются на недостаточные меры риска, что препятствует усилиям по их устранению.

Работая над созданием лучшей модели, авторы документа, в число которых также входил Анант Балашанкар, выпускник докторантуры Куранта, рассмотрели возможность того, что освещение в новостях, которое предлагает отчеты о местных событиях в режиме реального времени, может служить система раннего предупреждения о надвигающихся продовольственных кризисах.

Исследователи собрали текст из более чем 11 миллионов новостных статей, посвященных почти 40 странам с нехваткой продовольствия, которые были опубликованы в период с 1980 по 2020 год. Затем они разработали метод извлечения из этих статей конкретных фраз, связанных с отсутствием продовольственной безопасности, и таким образом, чтобы фиксировать журналистскую оценку. в заметных подробностях. В частности, инструмент учитывает почти 170 текстовых функций, чтобы правильно оценить семантику фраз, относящихся к отсутствию продовольственной безопасности, и отметить, когда появляются статьи. Ниже приводится пример из Южного Судана, в котором указаны как местоположение, так и факторы риска: «Голод может вернуться в некоторые части страны, особенно в восточном округе Пибор, где наводнения и вредители уничтожили посевы».

Затем они рассмотрели данные о ряде факторов риска отсутствия продовольственной безопасности, таких как количество погибших в результате конфликтов, осадки, растительность и изменения цен на продукты питания, чтобы определить, существует ли корреляция между упоминаниями в новостях об этих факторах и их появлением в изучаемых странах и регионы. Здесь они обнаружили высокую корреляцию между характером освещения и появлением этих факторов на местах, что указывает на то, что новостные сообщения являются точным индикатором изучаемых условий.

Но чтобы определить, действительно ли новостные статьи являются хорошим предиктором последующих продовольственных кризисов, команде нужно было знать, является ли характер освещения жизнеспособным индикатором будущих кризисов и делают ли эти истории более точными, чем традиционные измерения. Используя меньший набор новостей, исследователи обнаружили, что с 2009 по 2020 год в 21 стране с отсутствием продовольственной безопасности освещение в новостях давало более точные прогнозы отсутствия продовольственной безопасности на местном уровне — и делали это на 12 месяцев раньше, чем традиционные измерения, которые не включали текст новостей. Примечательно, что они также обнаружили, что дополнение традиционных прогностических мер освещением в новостях еще больше повысило точность прогнозов продовольственного кризиса, что свидетельствует о ценности «гибридных» моделей.

Исследователи также видят потенциальное более широкое применение своей работы.

«Новостные индикаторы можно использовать для прогнозирования вспышек заболеваний и будущих последствий изменения климата», — отмечает Балашанкар.