Почему две из пяти инвестиций австралийской помощи после завершения оцениваются как неудовлетворительные?

Инвестиции австралийской помощи, управляемые DFAT, оцениваются по шкале от 1 до 6 по ряду критериев. Чтобы инвестиции считались удовлетворительными, необходимо набрать 4 балла или выше.

DFAT оценивает как текущие, так и завершенные инвестиции, но сейчас справедливо отдает приоритет последним в своих общих оценках эффективности помощи. Рисунок ниже, из нашего недавно опубликованный отчет, показывает средние баллы эффективности и результативности как для текущих, так и для завершенных инвестиций с 2014 по 2022 год. Окончательные рейтинги (для завершенных инвестиций) показывают резкое снижение эффективности, тогда как текущие рейтинги показывают улучшение. В 2021 и 2022 годах только три из пяти завершенных инвестиций были оценены как удовлетворительно или лучше как с точки зрения эффективности, так и с точки зрения результативности, в то время как девять из десяти текущих инвестиций получили такую ​​оценку.

Почему ухудшается производительность, когда мы смотрим на завершенные инвестиции, и почему большой и растущий разрыв между оценками текущих и завершенных инвестиций?

Ты можешь прочитайте наш отчет для полного объяснения, но ключевым фактором, выявленным регрессионным и декомпозиционным анализом отчета, является переход в 2019 году на более независимую систему оценки завершенных инвестиций. «Склонность к оптимизму», которая влияет на рейтинги, присуждаемые самим себе, была уменьшена для окончательных рейтингов, поскольку с 2019 года ответственность за оценку завершенных инвестиций возлагается не на менеджеров инвестиций, а на центральное подразделение в рамках DFAT, которое проводит его обзор вместе с помощь внешних консультантов. Однако текущие рейтинги остаются ответственностью инвестиционных менеджеров. В результате разрыв между рейтингом текущих и завершенных инвестиций увеличился в четыре раза.

Следует сохранить переход к более независимой рейтинговой системе и акцент на окончательных рейтингах. Однако действующая система, в которой большая доля инвестиций оценивается как неудовлетворительная, но программа помощи, тем не менее, сообщается, что она «идет по плану», является неустойчивой. Мы завершаем наш отчет пятью дополнительными рекомендациями.

Во-первых, DFAT необходимо более серьезно отнестись к своим собственным оценкам эффективности и частично обратить вспять недавний спад. С 2020 года средний завершенный инвестиционный рейтинг был менее чем удовлетворительным как с точки зрения эффективности, так и результативности. Конечно, не все проекты будут успешными, но это тревожно мало. Нужна проверка, а потом изменения.

Во-вторых, DFAT не должен решать проблему путем завышения оценок. В конце концов, считается ли проект удовлетворительным, в конце концов, часто зависит от суждения. Мы рекомендуем не устанавливать целевые показатели эффективности и оставить за собой оценку консультантов и центральную ответственность за окончательные рейтинги в рамках серьезного процесса проверки для обеспечения уверенности в точности оценок проектов.

В-третьих, необходимы коммуникативные усилия. Сообщать о высокой доле неудовлетворительных проектов без объяснения причин — большая уязвимость. В 2021 и 2022 годах 36 инвестиций в помощь на сумму около одного миллиарда долларов были оценены как неудовлетворительные. Сюда входят министерские флагманы и другие крупные и важные инвестиции. Не было дано никаких объяснений, почему эти инвестиции считаются неудачными — у некоторых до сих пор есть глянцевые веб-сайты. Вместо того, чтобы надеяться, что никто не заметит, DFAT было бы лучше объяснить, что пошло не так с этими вмешательствами, и что он делает для улучшения состояния портфеля.

В-четвертых, текущие рейтинги не имеют смысла из-за большой разницы с окончательными рейтингами, и необходимо пересмотреть систему оценки эффективности текущих инвестиций. Более половины неудовлетворительно завершенных инвестиций, оцененных в 2021 и 2022 годах, были оценены как удовлетворительные в их окончательном текущем инвестиционном рейтинге. Улучшение текущих рейтингов во время пандемии еще больше усиливает доверие.

Наконец, в-пятых, необходимо воссоздать Управление по эффективности развития (ODE) и Независимый комитет по оценке (IEC). Проблемы, выявленные в нашем отчете, в основном возникли после упразднения ODE, оценочного органа DFAT, и его надзорного органа, IEC. Один из роли ОДА, до его отмены в 2020 году, должен был оценивать «внутренние системы управления эффективностью DFAT». Это была роль, отличная от роли подразделения производительности, которое отвечает за управление системой производительности, а не за ее оценку.

Короче говоря, тенденции, выявленные в этом отчете, и отсутствие какой-либо реакции на них со стороны DFAT на сегодняшний день, делают веские доводы в пользу повторного введения ODE и IEC в качестве поборника эффективности помощи и наблюдателя DFAT.

Скачать полный отчет Devpol, «Почему два из пяти австралийских инвестиций в помощь оцениваются как неудовлетворительные после завершения? Исследование последних тенденций в оценке эффективности австралийской помощи».