Экспертные мнения / Expert Opinions
Итоги 2022 года импакт-инвестиций: взгляд победителей премии журнала «Позитивные изменения»
Юлия Вяткина
DOI 10.55140/2782–5817–2022–2–4–16–27
7 декабря 2022 года состоялось вручение Первой ежегодной премии научно-популярного журнала об импакт-инвестициях и оценке социального воздействия «Позитивные изменения». Премия присуждается экспертам, авторам журнала и организациям за вклад в развитие оценки социального и экономического воздействия. Кто и за что получил награду, каким победителям премии запомнился 2022 год с точки зрения импакта и развития методологии оценки, какие ключевые события и новые подходы можно выделить – читайте в нашем материале.
Юлия Вяткина
Редактор журнала «Позитивные изменения»
Организатором премии выступила «Фабрика позитивных изменений», учредитель журнала «Позитивные изменения», при поддержке партнеров: Ассоциации волонтерских центров, брендингового агентства Wowhouse и фонда развития медиапроектов и социальных программ Gladway. Вручение наград прошло в рамках Международного форума гражданского участия #Мывместе 2022. Победители объявлены в шести номинациях.
«Лучшее время, чтобы посадить дерево, было 20 лет назад. Следующее лучшее время – сегодня», – гласит китайская мудрость. А значит, чтобы реализовать мечту или сделать мир хотя бы чуточку лучше – никогда не поздно. Посаженное дерево обязательно даст урожай.
Как отметила главный редактор журнала «Позитивные изменения» Наталья Гладких, первопроходцы в сфере оценки 20 лет назад посадили саженцы, которые сейчас дают свои плоды: в 2021 году появился научно-популярный журнал «Позитивные изменения», рассказывающий об импакт-инвестициях и оценке социального воздействия.
«Мы решили, что ежегодно будем отмечать тех, кто больше всех восхитил нас с точки зрения импакта. Редакции журнала сложно было выбрать 10 победителей, потому что людей и организаций, которые вдохновляют нас, кто разрабатывает инновационные подходы к оценке, мониторингу и планированию проектной деятельности, очень много. Наши 10 лауреатов – это люди и организации, чей вклад в развитие отрасли оценки и импакта настолько велик, что без них все было бы по-другому», – отметила Наталья Гладких.
В номинации «Развитие института оценки социальных проектов» награду получил Центр перспективных управленческих решений (ЦПУР) за внедрение в систему государственного управления моделей оценки и публикацию методических материалов. В 2020 году ЦПУР и Счетная палата РФ опубликовали экспертную записку «Применение теории изменений для стратегического аудита и стратегического планирования в России»[1].
Как отмечают авторы документа, существует разрыв между поставленными стратегическими целями развития России, которые сформулированы Президентом РФ в указах и Правительством РФ в стратегиях, и итоговыми результатами. При формальном достижении показателей не всегда достигается изначально запланированный социально-экономический эффект. Более того, различные группы благополучателей часто не ощущают эффект от поставленных и достигнутых целей. Одним из инструментов преодоления этого разрыва является теория изменений – подход, при котором каждый инструмент государственной политики должен быть сфокусирован на достижении конкретного социально-экономического изменения[2].
Один из авторов экспертной записки, руководитель проектного направления «Оценка программ и политик» Центра перспективных управленческих решений Максим Цыганков поделился с редакцией журнала «Позитивные изменения», что важного произошло в 2022 году с точки зрения развития оценки в нашей стране.
«Говорить о практике доказательных подходов в госсекторе пока рано, несмотря на то что в 2022 году удалось финализировать ряд проектов по оценке, например, проекты Роструда на микроданных. Так, исследователям стали доступны детальные административные микроданные о состоянии рынка труда. Ожидается, что на этих открытых данных будут основываться исследования, результаты которых помогут улучшить организационные и технологические процессы трудоустройства граждан и подбора кадров для работодателей[3]. Кроме того, радует, что в мире растет количество кода и количество репозиториев с прицелом на оценку и анализ данных. Есть и кейсы российских компаний, в том числе МТС. Специалисты Big Data МТС вывели в Open Source первую версию библиотеки Ambrosia для работы с A/B-тестами[4]. Мы видим, что в основном в доказательствах практик заинтересован бизнес», – рассказал Максим Цыганков.
Из позитивного, по словам эксперта, также можно добавить, что Счетная палата РФ в 2022 году выступила медиатором повестки доказательной политики в госсекторе, продолжив проведение конкурса лучших практик и инициатив применения доказательного подхода к принятию управленческих решений.
Также в номинации «Развитие института оценки социальных проектов» отмечен Центр содействия инновациям в обществе «СОЛь» за внедрение стандарта социальной отчетности и теории изменений в деятельность социальных предприятий.
Стандарт помогает различным социальным проектам и благотворительным организациям сформировать убедительный отчёт об их социальной деятельности, оформить логику преобразующего воздействия проекта. В него включены все данные, требуемые для отчётности, – от организационной структуры до финансов. Также стандарт дает возможность показать реальные результаты своей деятельности инвесторам, государственным органам и другим заинтересованным лицам[5].
«Мы с душой подходим к тому, чтобы развивать социальные инновации и верим, если есть проблема – есть ее решение. Инструмент по внедрению стандарта социальной отчетности позволяет социальным инноваторам быть яснее и ближе к народу. Хочу добавить, что я очень много времени посвящаю тому, чтобы понять, какие эффекты достигаются социальными предпринимателями, и как помочь государству увидеть социальных предпринимателей. Ту модель оценки социального воздействия, которая разрабатывается сейчас Фондом поддержки социальных проектов, пока очень сложно использовать для сравнения одного игрока с другим, но ее можно использовать для самодиагностики – чтобы увидеть «зону роста» у себя. Оценку может проводить как сам проект, так и независимый игрок», – говорит Алексей Маслов, исполнительный директор центра «СОЛь», директор Департамента акселерационных и образовательных программ Фонда поддержки социальных проектов Агентства стратегических инициатив.
В номинации «Развитие практики внедрения оценки социальных проектов» четыре победителя. Первую награду получил Фонд Тимченко за развитие стандарта доказательных практик оценки социального воздействия в сфере детства и формирование подходов к оценке эффективности развития местных сообществ.
В 2018 году при стратегическом участии Фонда Тимченко в России появился Стандарт доказательности социальных практик[6]. Он разработан специалистами экспертных организаций, в числе которых Центр доказательного социального проектирования МГППУ, Ассоциация специалистов по оценке программ и политик, компания «Процесс Консалтинг», Институт изучения детства, семьи и воспитания Российской академии образования.
10 организаций из Москвы, Пензы, Череповца, Санкт-Петербурга, Новосибирска, Иваново предоставили описание своей социальной практики (модель, технология, методика, услуга и проч.) в доказательном формате и прошли профессиональную верификацию. Формат описания практики подразумевает ее краткое содержание, информацию о достижении социальных результатов, качестве имеющихся доказательств о достижении позитивных изменений в жизни благополучателей, регламентированности, обоснованности и проработанности замысла практики.
Сейчас стандарт является документом, который развивается как в методологическом, так и практическом отношении. В частности, положения стандарта учитывают профильные министерства при разработке методических рекомендаций для организаций сферы детства, а наработки стандарта активно использует академическое сообщество.
Еще одно направление работы Фонда Тимченко – развитие подходов к оценке эффективности развития местных сообществ. В 2022 году фонд запустил конкурс проектов «Солидарные сообщества», который направлен на решение проблем малых территорий силами местных сообществ, организаций и инициативных групп[7].
Генеральный директор Фонда Тимченко Мария Морозова рассказала журналу «Позитивные изменения» о том, как в фонде была создана, утверждена и прошла независимый аудит система мониторинга и оценки программ.
«Мы используем «теорию изменений», предполагая, как будут происходить изменения в краткосрочной, среднесрочной и долгосрочной перспективах. В ее рамках нами была разработана собственная система показателей, которая помогает увидеть результаты. У каждой программы она своя, но все они подчинены единым стандартам и принципам. В систему мониторинга и оценки включены все участники деятельности – фонд, региональные операторы, благополучатели, и это помогает всем нам развиваться, принимать обоснованные стратегические и управленческие решения, достигать значимых социальных изменений», – говорит Мария Морозова.
Система имеет структуру пирамиды:
• на нижнем уровне – прямые результаты работы фонда (количество мероприятий, обученных специалистов, разработанных методических материалов и проч.);
• на среднем – результаты, полученные поддержанными проектами (изменения в жизни людей, для которых фонд работает – сохранённые в семьях дети, рабочие места, привлечённое для развития города софинансирование и проч.);
• третий, самый верхний уровень – это долгосрочный социальный эффект, изменение на уровне общества той ситуации, которая лежит в основе программы. Это, как правило, определяется через внешние независимые исследования.
Еще одним победителем премии в этой номинации стал фонд «Нужна помощь» за создание IT-сервиса «Ядро», позволяющего СО НКО создавать отчеты, планировать цели и измерять социальное воздействие[8].
Руководитель отдела исследований БФ «Нужна помощь» Елизавета Язневич поделилась, какие еще проекты фонд развивал в 2022 году. Так, команда экспертов фонда подготовила гайд по созданию и оценке импакт-проектов для Благотворительного фонда «Система»[9].
«Мы изучили опыт компаний Группы АФК «Система» – опыт разнообразный по многим параметрам – и вместе сформулировали критерии отнесения проекта, поддерживаемого бизнесом, к импакт-инвестициям. Целью таких инвестиций является достижение позитивного, измеримого социального или экологического эффекта – одновременно с бизнес-результатом; все ожидаемые результаты проекта измеримы и достижимы; достигаемый эффект долгосрочен. Кроме того, основываясь главным образом на литературе по мониторингу и оценке социальных проектов, мы прописали методические рекомендации для всех этапов проектного цикла импакт-инвестиций. В своем финальном виде гайд рассчитан на широкую целевую аудиторию: от акционера, принимающего решение об инвестировании, до рядового сотрудника, генерирующего идею проекта», – говорит Елизавета Язневич.
Также приз получил Благотворительный фонд «Дорога к дому» за внедрение в практику грантодающих организаций системных инструментов мониторинга и оценки. В 2022 году состоялось несколько значимых для фонда мероприятий. Так, в рамках конференции Ассоциации специалистов по оценке программ и политик специалисты фонда «Дорога к дому» поделились опытом с коллегами со всей России в сфере внедрения и применения мониторинга и оценки социально-значимых проектов, включая опыт тех, кто только начинает использовать мониторинг и оценку. Впервые за восемь лет конференции одна из секций была полностью посвящена опыту Благотворительного фонда «Дорога к дому».
Также стоит отметить победу в конкурсе «Лидеры корпоративной благотворительности», проводимого Форумом Доноров. В номинации «Лучшая программа, способствующая устойчивому развитию с помощью грантовых конкурсов (лучший грантовый конкурс)» 1 место заняла компания «Северсталь» с грантовым конкурсом благотворительного фонда «Дорога к дому».
«Этого удалось достичь только благодаря двухлетнему внедрению результатов независимой внешней оценки грантового конкурса фонда, проведенной в 2019 году. Важно, что несмотря на все происходящие в стране и мире события, мы продолжаем развиваться в теме оценки, все активнее продвигая принципы доказательного социального проектирования, делая акцент на том, что позитивные изменения в жизни благополучателей, сообщества и территорий – основное назначение деятельности НКО», – говорит Алена Богомолова, руководитель ресурсно-методического центра Благотворительного фонда «Дорога к дому» компании «Северсталь», член правления Ассоциации специалистов по оценке программ и политик.
По словам эксперта, специалисты ресурсно-методического центра фонда традиционно работают со всеми новыми грантополучателями над логическими моделями или цепочками социальных результатов проектов в начале их реализации. В 2022 году уровень подготовки новичков значительно вырос и времени на эту работу потребовалось в два раза меньше, чем в предыдущие годы.
«Для нас всегда актуален вопрос о том, как внедрять культуру оценки в организации. В этом году обучающие семинары по социальному проектированию мы дополнили блоками про мониторинг и оценку. Таким образом, работая над навыками по социальному проектированию, даже те, кто впервые входит в эту тему, сразу воспринимают мониторинг и оценку как неотъемлемые процессы своей деятельности. Мы апробировали эту программу в семи районах Вологодской области», – отметила Алена Богомолова.
Четвертый победитель в этой номинации – Фонд «Наше будущее», за систематизацию методик и программ в сфере оценки социально-экономической эффективности деятельности социальных предприятий и импакт-инвесторов. В 2022 году фонд провел выборочное исследование социального воздействия проектов социальных предпринимателей ХМАО-Югры[10]. Для изучения были выбраны три проекта: компьютерный клуб X–Land (г. Нижневартовск), детский сад «Семь гномов» (г. Нефтеюганск) и «Ботаника-бар» (г. Нижневартовск). В 2016–2018 годах эти предприятия принимали участие в пилотном проекте по развитию рынка социальных инвестиций в регионе.
Метод, который использовали эксперты, – оценка социального возврата на инвестиции, или SROI (Social Return on Investment). Фонд «Наше будущее» занимается его адаптацией к российским условиям для оценки эффективности импакт-инвестиций. Данные проведенного исследования помогают инвесторам и руководителям проектов понять, насколько эффективно расходуются средства, направленные на создание социального результата.
Фонд применяет подход к оценке социального воздействия в течение 15 лет, принимая решения о финансировании социально-преобразующих проектов в виде беспроцентных займов[11].
Директор Фонда «Наше будущее» Наталия Зверева отмечает, что в 2022 году активизировалось обсуждение подходов к оценке социального эффекта. В первую очередь, это связано с обсуждением специфики социальных предприятий различных организационно-правовых форм. Важны компетенции в определении подхода к оценке социального воздействия на уровне профессиональных стандартов в сфере социального предпринимательства.
«Наш опыт показывает, что универсальной методики для оценки социального воздействия не существует, поскольку есть различия в подходах для предприятий разных организационно-правовых форм, разных видов деятельности. Например, сложно оценивать проекты в области спорта и социального обслуживания, используя одинаковый подход. В рамках акселерационной программы «Аксель. Соцзаказ» мы увидели подтверждение этого тезиса. Выделение отраслевой специфики является одним из важных трендов в развитии этой темы», – говорит Наталия Зверева.
Ещё один тренд – попытка упростить метод SROI, разделить подходы заинтересованных сторон к определению соцэффекта. «Оценка социального эффекта в целях получения государственной поддержки и в целях привлечения инвестиций может иметь разные критерии. Например, в первом случае может использоваться принцип «оценка социального эффекта в обмен на меру поддержки». Тема подходов к оценке социального воздействия также актуальна в связи с тем, что качество жизни людей остаётся приоритетом номер один в любых инициативах», – поясняет эксперт.
В номинации «Личный вклад в развитие оценки социальных проектов и программ» награду получил Алексей Кузьмин, генеральный директор компании «Процесс Консалтинг», за развитие рынка оценки проектов и программ, активное участие в программах разработки методик оценки и просветительскую деятельность в профессиональном блоге.
В качестве консультанта по организационному развитию и оценке программ Алексей Кузьмин работает с 1987 года. Член Американской ассоциации оценки (American Evaluation Association) с 1999 года, член российской Ассоциации специалистов по оценке программ и политик. Руководил оценкой более 100 программ и проектов в 20 странах.
Что важного произошло в сфере оценки в России и мире в 2022 году? По мнению победителя премии Алексея Кузьмина, одним из заметных событий стало открытие Международной академии оценки (International Evaluation Academy)[12].
«Это глобальное движение добровольцев, стремящихся к повышению влияния оценки на принятие значимых решений, профессионализации оценки и её преобразующему воздействию. Академия ориентирована на инновации в способах разработки и использования оценки для решения сложных задач экономической, социальной и экологической устойчивости. В правление и консультативный совет академии входят несколько десятков специалистов со всех континентов. Планируется поддержка исследователей (fellows), которые будут вести разработки по приоритетным для академии направлениям. Думаю, что академия имеет все шансы сыграть важную роль в развитии оценки в мире», – считает Алексей Кузьмин.
Если говорить о значимых событиях в нашей стране, эксперт отмечает клуб PROОЦЕНКУ, онлайновые заседания которого проходят ежемесячно под девизом «Интересная беседа в хорошей компании»[13].
«Задача клуба – поддерживать сообщество практиков, занимающихся внедрением оценки в деятельность социально-ориентированных организаций. Для участия в заседаниях не требуется ничего, кроме желания. Образование, уровень подготовки в сфере оценки, опыт практической деятельности не имеют значения. Организаторы клуба стремятся выбирать значимые с практической точки зрения темы, давать участникам новую информацию, использовать различные форматы работы, поддерживать неформальную позитивную атмосферу», – поясняет Алексей Кузьмин.
В номинации «Развитие методологии оценки социальных проектов» наградой отмечена Елена Авраменко за развитие и разработку методик экономической оценки социального воздействия и серию публикаций в журнале «Позитивные изменения».
Елена Авраменко – один из авторов методических рекомендаций «Разработка модели оценки социально-экономического воздействия проектов НКО»[14]. В пособии приводится описание возможных стратегий проведения социально-экономического анализа влияния проектов НКО – на уровне описания шагов для «ручного» подсчета (по экономии государственных средств, характеристик качества жизни благополучателей и т. п.).
Елена Авраменко – постоянный автор журнала «Позитивные изменения», начиная с первого выпуска, вышедшего в декабре 2021 года[15].
Что определило вектор для развития методологии оценки импакта на весь 2022 год? Таким событием, по мнению победительницы премии, стало вручение Нобелевской премии трем ученым: Гвидо Имбенсу, Дэвиду Карду и Джошуа Энгристу, «за их методологический вклад в анализ причинно-следственных связей». Методология, предложенная учеными, позволяет найти в данных «естественного» эксперимента вариации, которые могут давать достоверные результаты оценки влияния факторов на социальные и экономические характеристики.
Также, по словам эксперта, в течение всего 2022 года большой прогресс в развитии инструментов и методологии оценки импакта наблюдается на базе Global Impact Investing Network (GIIN).
«По данным GIIN, рынок импакт-инвестирования в 2022 году составил 1,164 трлн долларов США. Осенью 2022 GIIN запустила Impact Lab, первую в своем роде отраслевую инициативу, которая будет проводить новаторские исследования и разработки от имени всего рынка, направленные на более глубокое понимание эффективности воздействия и взаимосвязи между воздействием, риском и финансовой отдачей. Impact Lab создана для сотрудничества между ведущими инвесторами и заинтересованными сторонами, чтобы вывести рынок на новый уровень сложности, одновременно создавая и накапливая информационную базу о воздействии для принятия обоснованных решений», – говорит Елена Авраменко.
Работая с полевыми испытаниями организаций-партнеров, лаборатория будет внедрять науку, методы и вычисления, необходимые для создания инструментов анализа эффективности воздействия, которые сформируют основу для более надежного анализа импакта. Партнерами-основателями Impact Lab стали: GIIN, инвестиционная компания Temasek, Visa Foundation, а также фонд EQT в качестве инвестора и инкубатора.
Лучшим кейсом внедрения оценки в деятельность социального предприятия признана мануфактура «Московская игрушка». Механика проекта – обучение навыкам создания ватных игрушек. Целевая аудитория проекта – женщины старше 50 лет, оставшиеся без работы, мамы детей с инвалидностью, многодетные мамы. С описанием кейса можно ознакомиться на страницах журнала «Позитивные изменения»[16].
Светлана Моднова, основатель и руководитель мануфактуры «Московская игрушка», выделила главные моменты 2022 года и отметила, что организации удалось достичь благодаря проведенной оценке.
«В 2022 году мы произвели порядка 10 600 игрушек, выиграли два гранта Президентского фонда культурных инициатив на продвижение своих проектов в регионах, запустили в работу музей ватной игрушки – единственный специализированный музей в России, который расположен на территории нашей фабрики. Что касается оценки, то благодаря ей мы выявили вещи, на которые ранее не обращали внимания. Ремеслу ватной игрушки мы обучили порядка 3,5 тыс. женщин в России. Тех, кто живет рядом с Москвой, привлекали к работе у нас в мануфактуре для выполнения корпоративных заказов. Проведенная оценка показала, что женщины, которые живут в удаленных регионах, очень хотели бы включиться в нашу работу. Мы разработали технологию по типу артельных производств по изготовлению ватной игрушки, которая была развита в 30–40-е гг. 20-го века. На сегодняшний день с нами работают 30 регионов России», – говорит Светлана Моднова.
Также оценка выявила, что одна треть женщин, которые прошли обучение в проекте, хотели бы преподавать это ремесло и открыть свое дело. Кто-то в виде семейной мастерской, кто-то в виде кружка в доме культуры или в небольшом сообществе.
«Если бы мы не провели оценку, мы бы не увидели этой потребности. Оценка подтолкнула нас к тому, что мы дали новую жизнь проекту – разработали методическое пособие, с чего начинать, как преподавать, какие материалы закупить, сколько нужно средств, чтобы начать эту деятельность», – добавила Светлана Моднова.
В номинации «Лучшая программа оценки социального эффекта регионального уровня» награду получил Яков Самохвалов, генеральный директор Фонда «Центр гражданских и социальных инициатив Югры». Премия вручена за разработку системного решения по агрегированию информации о деятельности СО НКО, добровольческих объединений и гражданских активистов из разных открытых источников, формирования на ее основе открытой базы данных и создание механизма единого оператора грантов Губернатора Ханты-Мансийского автономного округа – Югры для социально ориентированных некоммерческих организаций и физических лиц, реализующих социально значимые проекты.
ХМАО-Югра – регион, известный своими наработками в сфере развития гражданского общества. В конце 2020 года Центр гражданских и социальных инициатив Югры запустил новое решение, которое агрегирует информацию от добровольческих объединений и СО НКО – единый личный кабинет активиста Югры (сокращённо ЕЛКА). Это электронный сервис, зарегистрировавшись на котором, НКО может рассказать о себе и участвовать в рэнкинге региональных организаций. Рейтинг рассчитывается автоматически на основании данных, собранных системой из открытых источников, и данных, предоставленных самими пользователями, но проверенных сотрудниками фонда. Активисты, таким образом, могут выгодно позиционировать себя в глазах коллег, органов власти и журналистов.
Директор Фонда «Центр гражданских и социальных инициатив Югры» прокомментировал, как работает ЕЛКА.
«Единый личный кабинет – это система, которая мотивирует людей рассказывать о том, что они делают, и рефлексировать на эту тему. Мы агрегируем всю доступную информацию из открытых источников, собираем и сегментируем по определенным направлениям и выводим некое рейтинговое значение. В конкурсах, которые мы проводим как оператор грантов губернатора, мы делаем так, чтобы какие-то проверяемые вещи экспертам конкурса нельзя было оценить ниже, чем на платформе, например, значение опыта организации, команды. И это мотивирует людей: мы заметили, что они дополняют о себе информацию, какие-то данные верифицируют. Все это представляет ценность для государственного сектора, журналистского сообщества, активных жителей региона. Система в значительной степени саморазвивающаяся. Мы задаем правила, и система наполняется данными», – говорит Яков Самохвалов.
Он также отмечает, что в 2022 году интерес к оценке растет за пределами непосредственно экспертного сообщества: такие подходы становятся востребованы в федеральных и региональных органах власти, и у бизнеса. «2022 год стал переломным – мы подходим к первой государственной акцептированной теме оценки. Мы должны понять, как конвертируются государственные инвестиции – субсидии, бюджетные средства, гранты для НКО – какую ценность для общества представляют, помимо историй в духе «мы помогли…». Это разговор на цифрах, проверяемых фактах, чего сектору не хватало. А вторая вещь – оценка нужна в первую очередь самим организациям. Многие организации стремятся к «длинному» сотрудничеству с донорскими организациями, крупным и средним бизнесом, с госструктурами. Но без справедливой внутренней оценки своей деятельности у организации не может быть ни стратегии, ни долгосрочных планов. Если нет долгосрочных планов, то сложно привлекать партнеров и развиваться», – говорит эксперт.
Теория изменений, открытые данные, доказательный подход, стандарт отчетности, разработка гайда по созданию и оценке импакт-проектов, обсуждение подходов к оценке социального эффекта, развитие сообществ практиков, большой прогресс в развитии инструментов и методологии оценки импакта, рост интереса к оценке как к профессиональной деятельности – такие тренды видят победители премии в 2022 году.
Премия научно-популярного журнала об импакт-инвестициях и оценке социального воздействия «Позитивные изменения» является ежегодной. В конце 2023 года мы узнаем имена новых лауреатов – людей и организаций, которые вносят позитивный вклад в развитие темы импакта.
Impact Investment 2022 Results: A Perspective from the Positive Changes Journal Award Winners
Yulia Vyatkina
DOI 10.55140/2782–5817–2022–2–4–16–27
On December 7, 2022, the first annual award of the Positive Changes, a popular science journal about impact investments and social impact assessment, was presented. The award recognizes experts, journal contributors, and organizations for their input into the development of social and economic impact assessment. Read our article about who received the award and what for, how the winners of the award remembered 2022 in terms of impact and development of evaluation methodology, and what key events and new approaches can be highlighted.
Yulia Vyatkina
Editor, Positive Changes Journal
The award was organized by the Positive Changes Factory, the founder of the Positive Changes Journal, with the support of partners: Association of Volunteer Centers, Wowhouse branding agency and Gladway Foundation of Development of Media Projects and Social Programs. The awards was presented as part of the #Myvmeste 2022 International Forum of Civic Participation. Winners were announced in six categories.
“The best time to plant a tree was 20 years ago. The second best time is today,” says Chinese wisdom. So it is never too late to make a dream come true or to make the world at least a little bit better. A planted tree is sure to produce a harvest.
As was noted by Natalia Gladkikh, editor-in-chief of the Positive Changes journal, the pioneers in the field of evaluation 20 years ago planted seedlings that are now bearing fruit: in 2021, Positive Changes Journal, a popular science Journal about impact investments and social impact assessment, appeared.
“We decided that each year we would celebrate those who most delighted us in terms of impact. It was difficult for the journal's editors to choose the 10 winners because there were so many people and organizations who inspired us, who developed innovative approaches to the evaluation, monitoring and planning of project activities. Our 10 laureates are people and organizations whose contribution to the development of the evaluation and impact industry is so great that without them things would be different,” said Natalia Gladkikh.
The award in the Development of Social Projects Evaluation System category was won by the Center for Advanced Management Solutions (CAMS) for the introduction of assessment models into the system of public administration and the publication of methodological materials. In 2020, CAMS and the Accounts Chamber of the Russian Federation published an expert note “Application of the Theory of Change for Strategic Audit and Strategic Planning in Russia.”[17]
As the authors of the document note, there is a gap between the strategic goals of Russia's development, which are formulated by the President of the Russian Federation in his decrees and by the Government of the Russian Federation in its strategies, and the final results. The formal achievement of indicators does not always mean achievement of the originally planned social and economic effect. Moreover, different groups of beneficiaries often do not feel the effects of the goals set and achieved. One of the tools to bridge this gap is the theory of change, an approach in which each instrument of public policy must be focused on achieving a specific socio-economic change[18].
One of the authors of the expert memorandum, Maksim Tsygankov, head of the Program and Policy evaluation project area at the Center for Advanced Management Solutions, shared with the editors of the Positive Changes what important things happened in 2022 from the perspective of evaluation development in our country.
“It is too early to talk about the practice of evidence-based approaches in the public sector, despite the fact that in 2022 it was possible to finalize a number of evaluation projects, such as microdata projects of the Federal Service for Labour and Employment. Thus, detailed administrative microdata on the state of the labour market became available to researchers. Research is expected to be based on this open data, the results of which will help improve organizational and technological processes of employment for citizens and recruitment for employers[19]. In addition, I am glad to see a growing number of code and repositories around the world with the goal of evaluating and analyzing data. There are also cases from Russian companies, including MTS. MTS Big Data specialists have launched the first version of Ambrosia library for working with A/B-tests into Open Source[20]. We see that it is business that is mostly interested in the proof of practice,” said Maksim Tsygankov.
On the positive side, according to the expert, we can also add that the Accounts Chamber of the Russian Federation in 2022 mediated the evidence-based policy agenda in the public sector, continuing to hold a competition of best practices and initiatives of the evidence-based approach to management decision-making.
Also, the SOL' Social Innovation Support Center was awarded in the Development of Social Projects Evaluation System category for the introduction of social reporting standards and the theory of change in the activities of social enterprises.
The standard helps various social projects and charities to form a compelling account of their social activities and to formalize the logic of the project's transformative impact. It includes all the data required for reporting, from organizational structure to finances. The standard also provides an opportunity to show the real results of its activities to investors, government authorities and other stakeholders[21].
“We take a full-hearted approach to developing social innovation, and we believe if there is a problem, there is a solution. The social accountability standard tool allows social innovators to be clearer and closer to the people. I want to add that I spend a lot of time trying to understand the effects of social entrepreneurs, and how to help the state notice social entrepreneurs. The social impact assessment model, which is currently being developed by the Social Projects Support Fund, is still very difficult to use to compare one player with another, but it can be used for self-diagnosis – to see your own “growth zone.” The evaluation can be done by the project itself or by an independent player,” says Alexey Maslov, executive director of the SOL center and director of the Acceleration and Educational Programs Department of the Social Projects Support Fund of the Agency for Strategic Initiatives.
There are four winners in the Development of Practices for Implementation of Evaluation of Social Projects category. The first award went to the Timchenko Foundation for developing a standard of evidence-based practices for evaluating social impact in childhood and for shaping approaches to assessing the effectiveness of community development.
In 2018, with the strategic participation of the Timchenko Foundation, the Standard for Evidence-Based Social Practices appeared in Russia[22]. It was developed by specialists from expert organizations, including Center for Evidence-Based Social Design of the Moscow State University of Psychology and Education, Association of Program and Policy Evaluators, Process Consulting company, Institute for the Study of Childhood, Family, and Education of the Russian Academy of Education.
10 organizations from Moscow, Penza, Cherepovets, St. Petersburg, Novosibirsk, Ivanovo provided descriptions of their social practices (model, technology, methodology, service, etc.) in an evidence-based format and were professionally verified. The format of the practice description implies its brief content, information on the achievement of social results, the quality of the available evidence on the achievement of positive changes in the lives of the beneficiaries, the regulated nature, the validity and good elaboration of the practice concept.
The standard is now a document that is evolving both methodologically and practically. In particular, the provisions of the standard are taken into account by the relevant ministries when developing methodological recommendations for organizations in the field of childhood, and the academic community makes extensive use of the standard's developments.
Another area of the Timchenko Foundation's work is the development of approaches to evaluating the effectiveness of local community development. In 2022, the foundation launched the Solidarity Communities project competition, which aims to solve small area problems by local communities, organizations, and initiative groups[23].
Maria Morozova, General Director of the Timchenko Foundation, told the Positive Changes Journal how the foundation created, approved, and independently audited a system for monitoring and evaluating programs.
“We use the ‘theory of change,' assuming how change will occur in the short, medium and long term. As part of it, we developed our own system of indicators, which helps to see the results. Each program has a different one, but they are all governed by the same standards and principles. The monitoring and evaluation system includes all participants in the activities – the foundation, regional operators, and beneficiaries – and this helps all of us develop, make informed strategic and management decisions, and achieve significant social changes,” says Maria Morozova.
The system has a pyramid structure:
• the lower level is the direct results of the foundation's work (number of events, trained specialists, newly developed methodological materials, etc.);
• the middle is the results achieved by the supported projects (changes in the lives of the people for whom the foundation works – children saved in their families, jobs, co-financing for the development of the city, etc.);
• the third, uppermost level is the long-term social impact, the change at the societal level of the situation that underlies the program. This is usually determined through external independent research.
Another winner in this category was the Help Needed foundation for creating the Core IT service, which allows socially oriented non-profit organizations to create reports, plan goals, and measure social impact[24].
Elizaveta Yaznevich, head of research at the Nuzhna Pomosh (Help Needed) foundation, told about other projects that the foundation developed in 2022. For example, the foundation's team of experts prepared a guide on creating and evaluating impact projects for the Sistema Charitable Foundation[25].
“We studied the experience of Sistema JSFC Group companies – the experience is varied in many ways, and together we formulated the criteria for classifying a project supported by business as an impact investment. The goal of such investments is to achieve a positive, measurable social or environmental effect – simultaneously with the business result; all the expected results of the project are measurable and attainable; the effect achieved is long-term. In addition, based primarily on the literature dedicated to monitoring and evaluation of social projects, we have prescribed methodological guidelines for all stages of the impact investment project cycle. In its final form, the guide is designed for a wide target audience: from the shareholder making the decision to invest to the employee generating the project idea,” says Elizaveta Yaznevich.
The prize was also awarded to the Way Home Charitable Foundation for introducing systemic monitoring and evaluation tools into the practice of grantmaking organizations. 2022 saw several significant events for the foundation. Thus, as part of the Association of Program and Policy Evaluators conference, the Way Home foundation specialists shared their experience with colleagues from all over Russia in implementing and using monitoring and evaluation of socially significant projects, including the experience of those who are just beginning to use monitoring and evaluation. For the first time in the eight years of the conference, one of the sections was devoted entirely to the experience of the Way Home Charitable Foundation.
It is also worth noting the victory in the Corporate Philanthropy Leaders contest held by the Donors Forum. In the Best Program Promoting Sustainable Development through Grant Competitions (Best Grant Competition) category, 1st place was won by Severstal with the Way Home Charitable Foundation grant competition.
“This was only achieved through a two-year implementation of the results of an independent external evaluation of the foundation's grant competition conducted in 2019. It is important that despite all the events happening in the country and the world, we continue to develop the theme of evaluation, increasingly promoting the principles of evidence-based social design, emphasizing that positive changes in the lives of beneficiaries, communities and territories is the main purpose of NPO activities,” – says Alena Bogomolova, head of the Resource and Methodology Center of the Way Home charity foundation of the Severstal company, member of the Management Board of Association of Program and Policy Evaluators.
According to the expert, specialists from the foundation's Resource and Methodology Center traditionally work with all new grantees on logical models or chains of social results of projects at the beginning of their implementation. In 2022, the level of training for beginners has increased significantly and the time for this work took half as much as in previous years.
“For us, the question of how to implement a culture of evaluation in an organization is always relevant. This year we added blocks about monitoring and evaluation to the social design training seminars. Thus, when working on social design skills, even those entering the topic for the first time immediately perceive monitoring and evaluation as integral processes in their work. We tested this program in seven districts of the Vologda Region,” said Alena Bogomolova.
The fourth prize in this category was won by the Our Future Foundation for systematizing methods and programs in the field of evaluating the social and economic effectiveness of social enterprises and impact investors. In 2022, the foundation conducted a sample study of the social impact of social entrepreneurs' projects in the Khanty-Mansi Autonomous Okrug-Yugra[26]. Three projects were selected for the study: X–Land computer club (Nizhnevartovsk), Seven Dwarfs kindergarten (Nefteyugansk) and Botanica Bar (Nizhnevartovsk). In 2016–2018, these companies participated in a pilot project to develop the social investment market in the region.
The method used by the experts is the Social Return on Investment, or SROI. The Our Future Foundation is adapting it to Russian conditions to evaluate the effectiveness of impact investments. The data from this study helps investors and project managers understand how effectively funds are spent to create a social result.
The foundation has been applying the social impact assessment approach for 15 years, making decisions to fund socially transformative projects in the form of interest-free loans[27].
Natalia Zvereva, director of the Our Future Foundation, notes that in 2022 the discussion of approaches to assessing the social impact intensified. First of all, this is related to the discussion of the specifics of social enterprises of various legal forms. Competencies in determining the approach to social impact assessment at the level of professional standards in the field of social entrepreneurship are important.
“Our experience shows that there is no universal methodology for assessing social impact, because there are differences in approaches for enterprises of different legal forms, different types of activities. For example, it is difficult to evaluate sports and social service projects using the same approach. As part of the Aksel.Sotszakaz accelerator, we saw confirmation of this thesis. The emphasis on industry specifics is one of the important trends in the development of this topic,” says Natalia Zvereva.
Another trend is the attempt to simplify the SROI method, to separate stakeholder approaches to determining the social impact. “Assessment of the social impact for the purpose of receiving state support and for the purpose of attracting investment may have different criteria. For example, in the first case, the principle of “social impact assessment in exchange for a measure of support” can be used. The topic of social impact assessment approaches is also relevant due to the fact that the quality of people's lives remains the number one priority in any initiative,” the expert explains.
Alexey Kuzmin, CEO of Process Consulting, received an award in the Personal Contribution to the Development of Social Projects and Programs Evaluation category for his development of the project and program evaluation market, active participation in evaluation method development programs, and educational activities on his professional blog.
Alexey Kuzmin has worked as an organizational development and program evaluation consultant since 1987. Member of the American Evaluation Association since 1999, member of the Russian Association of Program and Policy Evaluators. He has supervised the evaluation of more than 100 programs and projects in 20 countries.
What important things happened in the field of evaluation in Russia and the world in 2022? According to award winner Alexey Kuzmin, one of the notable events was the opening of the International Evaluation Academy[28].
“This is a global movement of volunteers seeking to increase the impact of evaluation on meaningful decision-making, the professionalization of evaluation, and its transformative impact. The academy is focused on innovation in the way evaluation is designed and used to solve complex economic, social, and environmental sustainability problems. The academy's board and advisory council includes several dozen specialists from all continents. It is planned to support fellows who will conduct development in priority areas for the academy.
I think that the academy has every chance to play an important role in the development of evaluation in the world,” believes Alexey Kuzmin.
If we talk about significant events in our country, the expert notes the PROOTSENKA club, whose online meetings are held monthly under the motto “Interesting Conversation in Good Company[29].”
“The club's mission is to support a community of practitioners dedicated to integrating evaluation into the work of socially oriented organizations. Nothing is required to participate in the meetings except the desire. Education, level of training in evaluation, and practical experience are not important. The organizers of the club strive to choose topics that are important from a practical point of view, to give participants new information, to use a variety of formats of work, to maintain an informal positive atmosphere,” explains Alexey Kuzmin.
Elena Avramenko was awarded in the Development of Methodology of Social Projects Evaluation category for the development and elaboration of methods for economic assessment of social impact and a series of publications in the Positive Changes Journal.
Elena Avramenko is one of the authors of the methodological recommendations “Development of a model for assessing the socio-economic Impact of NPO projects[30].” The guide describes possible strategies for conducting socio-economic analysis of the impact of NPO projects at the level of describing the steps for “manual” calculations (on savings of state funds, characteristics of the quality of life of beneficiaries, etc.).
Elena Avramenko has been a regular contributor to the Positive Changes Journal since its first issue in December 2021[31].
What set the vector for the development of the impact assessment methodology for all of 2022? Such an event, according to the winner of the prize, was the presentation of the Nobel Prize to three scientists: Guido Imbens, David Card, and Joshua Angrist, “for their methodological contributions to cause and effect analysis.” The methodology proposed by the scientists makes it possible to find variations in the data of a “natural” experiment, which can give reliable results in assessing the influence of factors on social and economic characteristics.
Also, the Global impact Investing Network (GIIN) has seen great progress throughout 2022 in the development of impact assessment tools and methodology, according to the expert.
“According to GIIN, the impact investments market was $1.164 trillion in 2022. In the fall of 2022, GIIN launched Impact Lab, a first-of-its-kind industry initiative that will conduct groundbreaking research and development on behalf of the entire market to better understand impact effectiveness and the relationship between impact, risk and financial return. Impact Lab is designed for collaboration between leading investors and stakeholders to take the market to a new level of sophistication, while creating and accumulating an impact information base for informed decision making,” says Elena Avramenko.
Working with partner organizations' field trials, the lab will introduce the science, methods, and calculations needed to create impact performance analysis tools that will form the basis for more reliable impact analysis. The founding partners of Impact Lab were: GIIN, Temasek investment company, Visa Foundation, EQT foundation as investor and incubator.
Moscow Toy factory was recognized the Best Case of Introduction of Evaluation in the Activities of a Social Enterprise. The mechanics of the project is learning how to create cotton toys. The target audience of the project is women over 50, unemployed, mothers of children with disabilities, mothers of large families. A description of the case can be found on the pages of the Positive Changes Journal[32].
Svetlana Modnova, founder and head of the Moscow Toy factory, highlighted the main points of 2022 and noted what the organization has achieved thanks to the evaluation.
“In 2022 we produced about 10,600 toys, won two grants from the Presidential Fund for Cultural Initiatives to promote our projects in the regions, and launched the cotton toy museum, the only specialized museum in Russia, which is located on the territory of our factory. As for the evaluation, it brought to light things we had not been paying attention to before. We taught the craft of cotton toys to about 3.5 thousand women in Russia. Those who live near Moscow were attracted to work at our factory to fulfill corporate orders. The evaluation showed that women who live in remote regions are very willing to get involved in our work. We have developed a technology of the “artel” type for the production of cotton toys, which was popular in the 30's and 40's of the 20th century. Today 30 regions of Russia work with us,” says Svetlana Modnova.
The evaluation also found that one-third of the women who were trained in the project wanted to teach the craft and start their own business. Some in the form of a family workshop, some in the form of a club in a community center or in a small community.
“If we had not done the evaluation, we would not have seen this need. The evaluation pushed us to give new life to the project – we developed a methodological manual, where to start, how to teach, what materials to buy, how much money is needed to start this activity,” added Svetlana Modnova.
Yakov Samokhvalov, General Director of the Yugra Center for Civic and Social Initiatives Foundation, was awarded in the Best Program of Social Impact Assessment at the Regional Level category.
The prize was awarded for the development of a systemic solution to aggregate information about the activities of socially oriented non-profit organizations, volunteer associations and civic activists from various open sources, the formation of an open database on its basis and the creation of a mechanism for a single operator of grants from the Governor of the Khanty-Mansi Autonomous Okrug – Yugra for socially oriented non-profit organizations and individuals implementing socially significant projects.
The Khanty-Mansi Autonomous Okrug – Yugra is a region known for its achievements in the development of civil society. At the end of 2020 the Yugra Center for Civic and Social Initiatives launched a new solution, which aggregates information from volunteer associations and socially oriented non-profit organizations – the unified personal account of the activist of Yugra (abbreviated as UPAA or ELKA in Russian). This is an electronic service, by registering in which an NPO can tell about itself and participate in the ranking of regional organizations. The rating is calculated automatically based on data collected by the system from public sources and data provided by users themselves, but verified by the foundation's staff. Activists can thus position themselves favorably in the eyes of their colleagues, the authorities, and journalists.
Director of the Yugra Center for Civic and Social Initiatives Foundation commented on how UPAA works.
“The unified personal account is a system that motivates people to talk about and reflect on what they do. We aggregate all available information from open sources, collect and segment it according to certain areas and derive a certain rating value. In the competitions that we run as the operator of the governor's grants, we make sure that some things that are checked by the competition experts cannot be rated lower than on the platform, for example, the value of the experience of the organization, the team. And this motivates people: we noticed that they add information about themselves, some data is verified. All of this is of value to the public sector, the journalistic community, and active residents of the region. The system is largely self-developing. We set the rules, and the system is filled with data,” says Yakov Samokhvalov.
He also notes that in 2022, interest in evaluation is growing beyond the expert community itself: such approaches are becoming in demand in the federal and regional authorities, and in business. “2022 was a watershed year – we are approaching the topic of the first state-accepted evaluation. We need to understand how public investments – subsidies, budget funds, grants for NPOs – are converted and what value they represent to society, beyond stories like “we helped…” This is a conversation in a language of figures, verifiable facts, which the sector lacked. And the second thing is that the evaluation is needed first and foremost by the organizations themselves. Many organizations seek “long” cooperation with donor organizations, large and medium-sized businesses, and government agencies. But without a fair internal evaluation of its activities, an organization can have neither a strategy nor long-term plans. If there are no long-term plans, it is difficult to attract partners and develop,” says the expert.
Theory of change, open data, evidence-based approach, reporting standard, development of a guide for creating and evaluating impact projects, discussion of approaches to social impact assessment, development of communities of practitioners, great progress in the development of tools and methodology for impact assessment, growth of interest in evaluation as a professional activity – these are the trends the award winners see in 2022.
The award by Positive Changes Journal, a popular science journal about impact investments and social impact assessment, is an annual award. At the end of 2023, we will know the names of new laureates – people and organizations who are making a positive contribution to the development of the impact theme.
Когда инициатива не наказуема: как быть причастным к распределению местного бюджета
Ирина Лактюшина
DOI 10.55140/2782–5817–2022–2–4–28–35
Сделать освещение и проложить дорогу к дому, поставить памятник или организовать тропу здоровья, или сделать дизайнерский ремонт в подъезде – эти и другие вопросы вправе решать и получать финансирование на воплощение своих идей сами граждане. Проекты, предложенные жителями территорий, сегодня реализуются большинством субъектов Российской Федерации в формате так называемого инициативного бюджетирования. Как это работает, а также каким территориям и при каких условиях необходимо – в нашем материале.
Ирина Лактюшина
Журналист, координатор программ Impact Hub Moscow
В 1989 году треть населения бразильского города Порту-Алегри жила в трущобах, люди практически не имели доступа к чистой воде, канализации, больницам и школам. Это была не исключительная ситуация для городов Бразилии того времени, однако сочетание двух факторов – активного местного гражданского общества и нового левого крыла городского правительства – сделали именно Порту-Алегри родоначальником такого инструмента как партисипаторное бюджетирование.
Пришедшие к власти политики предложили местным жителям самим решить, на что будут потрачены бюджетные деньги, ведь граждане гораздо лучше осведомлены о большинстве проблем их территорий. Это сработало, и вскоре ситуация в Порту-Алегри стала налаживаться.
Зародившись в Бразилии, этот инструмент вскоре стал известен и в других странах Латинской Америки, а уже в 1996 году на конференции UN Habitat[33] в Стамбуле был признан одной из лучших социальных практик, распространившись впоследствии по всему миру[34].
В России данная практика известна как «инициативное бюджетирование» (ИБ), однако в основе обеих сущностей лежит один и тот же принцип – активное участие граждан в процессе решения вопросов местного значения. Программы инициативного бюджетирования принимают региональные органы государственной власти, а реализуют органы местного самоуправления: жители выбирают объекты, на которые будет выделено финансирование, а затем следят за реализацией проектов, в том числе контролируют расход бюджетных средств. После этого объект, построенный или отремонтированный в результате реализации проекта, например, детская площадка, поступает на баланс муниципалитета.
Участвуя в принятии бюджетных решений, жители территорий могут воздействовать практически на решение различных вопросов государственного и муниципального управления, в том числе, с исполнением полномочий, например, в сферах образования и здравоохранения. Кроме этого, технология инициативного бюджетирования может использоваться для организации воспитательной и образовательной деятельности в школах, средних и высших учебных заведениях.
Но на что бы ни был направлен проект, он должен соответствовать главным характеристикам инициативного бюджетирования. Руководитель Центра инициативного бюджетирования НИФИ Минфина России Владимир Вагин выделяет пять таких критериев:
1. Граждане участвуют в выдвижении проектов.
2. Граждане участвуют в выборе проектов.
3. Граждане участвуют в обсуждении проектов.
4. Граждане участвуют в реализации проектов.
5. Граждане участвуют в публичном контроле за проектом.
Важное условие для реализации инициативного бюджетирования – самостоятельное вовлечение граждан в систему государственного муниципального управления, а не давление сверху. «Любое государство очень часто занимается вовлечением людей. Правительство придумывает какой-то проект и говорит: «Мы хотим вовлечь вас, граждане. Идите в наши проекты. Мы же придумали это для вас, это все сделано для вашего блага». Но это работает не так», – подчеркивает Владимир Вагин.
Необходимость проактивной позиции граждан отмечает и директор Альянса консультантов инициативного бюджетирования Михаил Шевелёв: «Это формат, когда проекты создаются и реализуются вместе, в соучастии, а не когда кто-то стоит над кем-то и даёт указания к исполнению. Если рассматривать инициативное бюджетирование по отношению к бюджетным отношениям, взаимодействию власти и общества, то это тот случай, когда власть вместе с людьми управляет определенными территориями. Даже не управляет, а преобразует жизнь и место вокруг себя так, как удобно, комфортно и интересно тем, кто там проживает».
Вся технология инициативного бюджетирования нацелена на то, чтобы и власть, и граждане услышали друг друга: с ее помощью чиновник может показать любому жителю, что такое местное самоуправление, как происходит управление городом и какие существуют ограничения. «Граждане ведь не обязаны знать все нюансы законодательства, которое может быть весьма непростым. А так в ходе решения конкретной задачи, которая стоит перед местным сообществом, у чиновника есть возможность простым языком рассказать, как все устроено, а у жителя – понять, какие необходимо соблюсти условия, чтобы сделать конкретно эту территорию удобной для жизни», – говорит Михаил Шевелев.