Третье измерение разумной благотворительности:

концептуальная записка об отчетности о результатах

По материалу Навигатора благотворительности

(Charity Navigator, January, 2013 USA)

2

Оглавление

Оригинальная версия материала доступна по ссылке: http://www.charitynavigator.org/__asset__/_etc_/CN_Results_Reporting_Concept_Note.pdf

Шаг первый – отчитывайтесь о результатах деятельности 3

Развивающий подход для внедрении третьего измерения CN 3.0

Что мы понимаем под результатами организации

5 элементов в отчетности о результатах деятельности

Элемент № 1: Соответствие деятельности организации и использованных

ресурсов для достижения миссии

Элемент № 2: Логика достижения результатов и их измерение

Элемент № 3: Проверка достоверности достигнутых результатов

общепризнанными контролирующими организациями

Элемент № 4: Учет обратной связи от стейкхолдеров

Элемент № 5: Публикация отчетов об оценке достигнутых результатов

Проблема с предоставлением ложных результатов деятельности

Заключение: планы на будущее

Глоссарий

9

5

6

6

7

8

12

10

11

13

4

3

Шаг первый – отчитывайтесь о результатах деятельности

Прозрачность и

подотчетность

Charity

Navigator

3.0

ОБЩАЯ ИНФОРМАЦИЯ Навигатор благотворительности (НБ) – бесплатная информационная платформа

и профессиональные центр ранжирования НКО в одно и тоже время. С 2011

году использовался подход Charity Navigator 2.0, который ренкинговал НКО на

основе показателей финансового здоровья и прозрачности и подотчетности. В

январе 2013 году состоялся запуск нового стандарта ранжирования Charity

Navigator 3.0, который предусматривает третье измерение – отчетность о

достигнутых результатах деятельности НКО.

ОСНОВНАЯ ИДЕЯ НАВИГАТОРА БЛАГОТВОРИТЕЛЬНОСТИ 3.0 Для того, чтобы наиболее эффективные организации получали достаточное

финансирование среди всего прочего для НКО важно публично отчитываться о

достигнутых результатах , которые соответствуют миссии организации.

К ЧЕМУ СТРЕМИТСЯ НАВИГАТОР БЛАГОТВОРИТЕЛЬНОСТИ: • Существующие на данный момент нормы отчетности, выражающиеся в

публикациях на сайте и выпуске годового отчета, зачастую являются

инструментами маркетингового продвижения организации. Charity Navigator 3.0

стремится исправить сложившуюся ситуацию, поощряя именно те организации,

которые демонстрируют свою эффективность, отчитываясь о достигнутых

результатах

• Чем больше информации о достигнутых результатах предоставляют НКО, тем

больше возможностей у социальных инвесторов и благотворителей принимать

более обоснованные решения о помощи наиболее эффективным НКО.

Избирательная отчетность

(истории и кейсы), которые не

являются репрезентативными для

оценки результативности

Смена парадигм

Отчетность, основанная на результатах,

полученных в ходе измерений наиболее значимых

результатов программы, а также включающая

информацию о том, как организация учится на

полученных результатах и вносит изменения в

деятельность.

Три измерения Навигатора

благотворительности 3.0

4

Что НБ понимает под результатами организации:

Позиция Навигатора благотворительности 3.0 по отношению к факторам измерения результативности.

Эффективная НКО управляет своими результатами и поэтому осведомлена о них и действует на их основе.

Они используют промежуточные результаты как отсечки на пути к достижению долгосрочных социальных

результатом. Сейчас Подход Навигатора благотворительности сфокусирован на том, как организация

узнает о своих результатах и использует их для достижения еще больших результатов

Результаты организации – это по сути то, чего мы хотим чтобы организация достигла с помощью наших пожертвований.

Факторы измерения результативности Пример

Сложность:

Результаты НКО зачастую очень сложно измерить, а те

результаты, которые легко поддаются подсчету зачастую не

являются важными

Рассмотрим программу по искоренению бедности через

микрофинансирование. Несмотря на то, что измерение

объемов возвращенных средств по программам

микрофинансирования от бедных семей важно, но оно не

отвечает на более значимые вопросы – удалось ли

справиться с бедностью, например

Отложенность значимых результатов:

Важные результаты могут случиться намного позже, чем была

завершена деятельность организации

Влияние профессионального преподавателя или психолога

на становление молодого человека

Доказательства принадлежности результатов конкретной

организации:

Ни одна организация не является единственным фактором,

вызвавшим тот или иной социальный результат

Если организация выдавала микрофинансирование

предпринимателю, которые построил успешный бизнес, то

конечно, организация сделала вклад в достижение этого

результата. Но можем ли мы говорить о том, что

деятельность организации стала причиной успеха?

Насколько правомерно для организации присваивать такого

рода результаты и в какой мере? Какая система измерения

необходима организации для того, что доказать свою

причастность к достигнутым результатам?

5

Развивающий подход для внедрении третьего измерения НБ 3.0

Несмотря на то, что все большее количество НКО используют наиболее продвинутые практики в области измерения и оценки результатов

деятельности, Навигатор благотворительности 3.0 признает, что все же большинство НКО не имеют систем измерения и

оценки результативности, которые бы удовлетворяли требованиям Навигатора благотворительности 3.0 (НБ 3.0). В связи с

этим НБ 3.0 использует развивающий подход в продвижении третьего измерения, это означает что НБ будет вовлекаться в

консультации с организациями с целью поддержки и мотивации прогрессивного развития практики измерения и

отчетности о результативности.

ПРИНЦИП № 1. Использование пяти прозрачных критерием для рейтинования, которые учитывают три основные характеристики –

стандартные определения инструментов измерения, точность в измерении и возможность для установления валидности результатов

извне. Навигатор благотворительности 3.0 будет сфокусирован в большей степени на измерения социальных результатов (outcomes) и в

меньшей на непосредственных результатах (output)

ПРИНЦИП № 2. Предварительное рассмотрение НКО и представление дополнительной информации. В самом начале процесса

предварительного рассмотрения организация может предоставить дополнительную информацию.

ПРИНЦИП № 3. Одногодичный период отсрочки. В течении первого года применения Навигатора благотворительности 3.0 ,

организации смогут напрямую предоставлять информацию в НБ, но для того, чтобы продолжать получать рейтинговые баллы в будущем

доказательства результативности должны быть доступны широкой общественности через сайт организации.

ПРИНЦИП № 4. Обратная связь от организаций. НБ планирует продолжать выстраивать обратную связь от организаций, собирая их

пожелания и предложения в отношении того, какие лучше инструменты измерения использовать для оценки отчетности о результатах, а

также какие их них должны или не должны использоваться для той или иной проблематики, в которой работают НКО. В дополнении НБ

сделает методологию расчета рейтинга в области отчетности о результатах общедоступной.

ПРИНЦИП № 5. Ресурсная онлайн платформа об отчетности о результатах. Платформа будет содержать инструменты измерения

результатов, а также подборку лучших существующих баз знаний, таких как Foundation Center’s TRASI, возможности для обсуждения и

обмена опытам как между НКО, так и НКО с экспертами, а также базу провайдеров оценочных услуг, которая позволит оставлять

комментарии и баллы на работу оценщиков, сравнивать, выбирать лучших.

5 основных принципов развивающего подхода Навигатора благотворительности

6

5 элементов в отчетности о результатах деятельности. Элемент № 1: Соответствие деятельности организации и использованных ресурсов достижению миссии

для достижения миссии ОПИСАНИЕ ЭЛЕМЕНТА: Организация сможет соответствовать

требования этого элемента, если деятельность и результаты

происходят в рамках миссии, а также пропорциональны финансовым

затратам и затратам человеческих ресурсов.

Организация получает оценку по первому элементу в случае если аналитики Навигатора благотворительности

нашли признаки соответствия результатов миссии и затраченным ресурсам исходя из материалов на

сайте организации, публичных финансовых отчетах и других предоставленных им материалах.

• Иногда публичный финансовый отчет за текущий год может быть недоступен, тогда НБ дает НКО возможность

предоставить актуальные материалы напрямую в НБ.

• В частности специалисты НБ анализируют ежегодные формы официальной отчетности 999 и другие

публичные материалы: публичные заявления, сайт организации, и др. на соответствие.

• Если НКО проходит первый критерий, то аналитик продолжает оценивать следующие 4 элемента

КАК ИЗМЕРЯЕТСЯ: Навигатор благотворительности 3.0

использует простые рубрики для оценки этого элемента –

«зачет\незачет».

Если организация не прошла тест на соответствие по первому

фундаментальному элементу, то оценка по третьему

измерению ей выставленна не будет, остальные элементы в

этом случае не рассматриваются.

7

5 элементов в отчетности о результатах деятельности.

Элемент № 2: Логика достижения результатов и их измерение

ОПИСАНИЕ ЭЛЕМЕНТА: Анализирутся наборе четких формулировок, которые отражают как и почему деятельность НКО достигает

заранее запланированных непосредственных и социальных результатов. Эти формулировки также должны включать методы сбора

информации о достигнутых результатах и как планируется использовать эту информацию для отслеживания прогресса относительно

конечных целей.

КАК ИЗМЕРЯЕТСЯ: Используется простые маркеры - «да/нет» ответы на 4 вопроса для оценки состояния организации. В результате

вычисляется насколько процентов организация соответствует заявленным критериям к элементу №2. В случае если

сформулированная логика достижения результатов охватывает только часть деятельность, то баллы будут рассчитываться

пропорционально охвату.

Вопросы Практические примеры

Насколько логика достижения социального

результата правдоподобна?

Правдоподобный вариант: «Наши семинары дают участникам необходимые

навыки для сохранения рабочих мест»

Неправдоподобный вариант: «Наши браслеты «на удачу» помогают

участникам нашего тренинга сохранить рабочие места»

Есть ли указание на то, какой объем работы

необходимо выполнить для достижения требуемого

социального результата?

Неудовлетворяющий критерию пример: ««Наши семинары дают участникам

необходимые навыки для сохранения рабочих мест»

Удовлетворяющий критерию пример: «Прохождение 4 модулей курса за 6

месяцев и успешная защита на основе нового материала являются

минимальным требованием для завершения базового уровня программы»

Насколько логика достижения социального результата

основывается на доказательствах?

«За 5 лет последних лет 80% участников программы, которые прошли через 4

ех модульный курс по поиску работы за 6 месяцев , трудоустроились в течение

6 недель после окончания программы. 70% выпустившихся из программы

более года назад, смогли удержаться на рабочем месте более 1 года.»

Собирается ли информация о заявленных программой

показателях достижения непосредственного и

социального результатов? (план сбора и набор

индикаторов)

«Наши выпускники информируют нас о трудоустройстве. Мы проводим опросы

наших выпускников и их работодателей дважды в год с целью мониторинга

изменения в их статусе. Мы храним истории трудоустройства наших

выпускников в течении 7 лет.»

РЕКОМЕНДАЦИИ ПО ИСПОЛЬЗОВАНИЮ ИНСТРУМЕНТОВ КОНСТРУИРОВАНИЯ ЛОГИКИ: Теория изменений, логическая рамка,

рамка результатов, логическая модель, диалоги со стейкхолдерами, технология самого важного изменения, картирование

социальных результатов и др.

8

5 элементов в отчетности о результатах деятельности. Элемент № 3: Проверка достоверности достигнутых результатов общепризнанными контролирующими организациями

ОПИСАНИЕ ЭЛЕМЕНТА: НБ предполагает, что заявляемые социальные результаты должны быть валидны в глазах

контролирующих структур некоммерческого сектора. Такими инструментами/структурами могут быть стандартизирующие

структуры, кодексы этики, сертификационные и аккредитационные процедуры, общие системы измерения, профессиональные

награда, полученная в результате участия в открытом конкурсе, мнение аналитиков в области благотворительности.

ПЛАНЫ НА БУДУЩЕЕ: НБ планирует опубликовать и постоянно обновлять перечень контролирующих структур,

признающихся Навигатором благотворительности. Перечень также будет включать коэффициент для каждой из

таких структур, определяющих сколько баллов может получить организация за аккредитацию результатов с помощью

инструментов той или иной структуры.

КАК ИЗМЕРЯЕТСЯ:

НБ проводит анализ того, насколько контролирующие структуры или инструменты отвечают на два вопроса:

1. Насколько контролеры четко и содержательно могут оценить измерение результативности и отчетность о ней

2. Существует ли реальные угрозы для организации, которая не будет соответствовать требованиям контролера, и реальные

бонусы для тех, кто соответствует.

Примеры контролирующих структур, признающихся Навигатором благотворительности 3.0

9

5 элементов в отчетности о результатах

Элемент № 4: Учет мнения стейкхолдеров

Как только появится тенденция к росту публикаций результатов обратной

связи со стейкхолдерами среди НКО, Навигатор благотворительности

планирует развивать и обсуждать тему качества обратной связи и

поднимать планку стандартов, заявленных в версии 3.0.

В настоящий момент Навигатор благотворительности рекомендует

обращаться к Keystone Accountability для поиска подходящих

инструментов и ресурсов.

ОПИСАНИЕ ЭЛЕМЕНТА: Этот элемент отражает то, насколько хорошо организация собирает, анализирует и публикует

обратную связь с ключевыми стейкхолдерами.

СЛОЖНЫЕ КЕЙСЫ: Что если цели организации заключаются в защите окружающей среды и живых существ? Что

если ключевые стейкхолдеры – это люди, лишенные возможности в свободной форме давать обратную связь

(будущие поколения, заключенные, дети раннего возраста или пациенты с психическими отклонениями?

Ответы на эти вопросы стоит искать в элементе №2, в логике достижения социального результата. Какой бы не была

природа целеполагания в организации, ее деятельность будет направлена на изменения в чем-то, в чем другие люди

являются специалистами и могут предоставить качественную обратную связь.

1. Публикует ли организация информацию собранную от ключевых стейкхолдеров?

2. Включает ли опубликованная информацию о репрезентативности обратной связи относительно общей группы

ключевых стейкхолдеров?

3. Насколько опубликованная информация объясняет почему обратную связь можно считать открытой и честной?

4. Включает ли информация об обратной связи динамику за несколько лет?

5. Включает ли обратная связь информацию об эффективности организации?

6. Информирует ли организация ключевых стейкхолдеров о результатах анализа собранной обратной связи?

КАК ИЗМЕРЯЕТСЯ: Навигатор благотворительности анализирует насколько организация может считаться подотчетной,

чувствительной к мнению стейкхолдеров и эффективной с их точки зрения исходя из 6 перечисленных ниже вопросов:

10

5 элементов в отчетности о результатах

Элемент № 5: Публикация отчетов об оценке достигнутых результатов

ОПИСАНИЕ ЭЛЕМЕНТА: Навигатор благотворительности

исходит из гипотезы, что организация, которая составляет и

регулярно публикует официальные отчеты об оценке

результативности большинства своих программ, в большей

степени понимает и достигает запланированных результатов,

чем те организации, которые не используют такую практику.

КАК ИЗМЕРЯЕТСЯ: НБ измеряет показатели по данному элементу с помощью анализ информации об

организации по трем вопросам:

1. Включает ли публичный отчет организации результаты программ по крайней мере за 5 последних лет?

2. Основаны ли отчеты об оценке результативности на признанных Навигатором благотворительности

оценочных методах ?

Навигатор благотворительности планирует представить расширенные перечень наиболее эффективных методов для

оценки. На настоящий момент признанные НБ техники включают:

• Измерение до и после;

• CBA анализ;

• Сбор обратной связи на регулярной основе в течение продолжительного времени;

• Исследования с использованием метода контрольной группы;

• Исследование методом случайной выборки

3. Объясняет ли организации в отчете об оценке результатов или в других материалах, что будет меняться на

основании полученных результатов?

11

Проблема с предоставлением ложных результатов деятельности

• Отчетные результаты будут проанализированы сторонней организацией. НБ

интегрировал официальное рассмотрение отчетов третьей стороной в элементе №3 как

официальное требование.

• НБ привлекает 10 лучших университетских центров в области управления

некоммерческими организациями и их результативностью для доказания гипотезы о том,

что организации, которые измеряют и осведомлены о своих результатах чаще

достигают запланированных результатов, чем те, которые не обращают на измерение

результативности достаточно внимания.

• НБ предусматривает тяжелые взыскания за предоставление ложной информации,

например включение негативной информации в профайл организации в Системе

Консультирования Доноров (Donors Advisory system).

• Первые пару лет организации не будут оцениваться

по достигнутым результатам, а будут получать

ренкинговые баллы за то КАК они отчитываются о

достигнутых результатах. Этот факт ставит акцент на

целостности практики измерения, и позволяет избежать

наказания для НКО за плохие результаты.

12

Заключение: планы на будущее

• Работать с каждой социальной проблематикой в отдельности, формировать общего

понимания особенностей той или иной тематики и подходящих результатов, и

настройки пяти элементов третьего направления в отчетности о результатов,

специфичных для конкретной тематической области.

• Отложить разработку системы начисления баллов до тех пор пока НБ не исследует

все некоммерческие организации (как в случае с системой Навигатор благотворительности

2.0)

• В переходный период НБ планирует придерживаться единства в оценке и рейтинговать

одновременно лишь по одной из систем 2.0 или 3.0, а не использовать разные подходы

одновременно.

• Поддерживать диалог с экспертами и

профессиональным сообществом НКО

для усиления эффекта от их обратной

связи.

• Мониторить реакцию основных

стейкхолдеров Навигатора

благотворительности на предлагаемые

форматы, которые используются для

презентации информации об

организациях.

13

Глоссарий

• Непосредственные результаты (Outputs) – незамедлительный результат деятельности,

например, люди, которые накормлены и нашли безопасное убежище, вылеченные пациенты,

клиенты, прошедшие тренинг, построенные дороги, опубликованные исследования, созданные

сообщества.

• Социальный Эффект (Impact) – это результаты воздействия широкого масштаба, которые были

вызваны социальными результатами. Получение доказательств такого уровня зачастую очень

сложный и дорогой проект, более того его результаты несут небольшую практическую ценность для

конкретной НКО. Поэтому Навигатор благотворительности 3.0 фокусируется на социальных

результатах в третьем измерении.

Ресурсы (Inputs) – это то, что инвестируется в деятельность

организации, деньги, инвентарь, человеческий ресурс и экспертиза, итд.

Деятельность (Activities) – это содержание работ, например,

предоставление бесплатного питания, безопасного убежища,

психологической помощи, тренинга, деятельностью также может

считаться строительство социальных объектов, проведение

исследований, социальная адвокатура и др

• Социальные результаты – это фокус третьего измерения Навигатора благотворительности

(Outcomes). Социальные результаты относятся к произошедшим в результате инвестированных

вложений и деятельности изменениям. Социальные результаты могут быть краткосрочными,

среднесрочными и долгосрочными, например, изменения в качестве питания, в статусе получения

пособий, изменения в жилищных условиях и показателях здоровья. Зачастую такие изменения могут

быть измерены разницей в уровне дохода, изменениями в законодательстве.