Ewaluacja „mid-term” projektu strategicznego pt ......realizacji projektów, szczególnie tych o krótkim okresie realizacji Przyjęcie systemu częstszych płatności (np. 2 miesięcznych)

Warszawa, kwiecień 2012 r.

Ewaluacja „mid-term” projektu strategicznego pt. „Zintegrowany system

zmniejszenia eksploatacyjnej energochłonności budynków””.

Plan prezentacji

ECORYS Copyright ® 2

1. Wprowadzenie do badania

2. Wyniki badania (wybór)

3. Rekomendacje

Osiągniecie celów Projektu Postęp w realizacji Projektu Analiza ryzyka System wskaźników Zgodność z kierunkami polityki naukowej Wkład w rozwój nauki

Wprowadzenie do badania (1)


Cel badania:

Sporządzenie oceny eksperckiej, na podstawie aktualnego stanu wiedzy, czy

kontynuacja Projektu prowadzi do osiągnięcia celów Projektu, określonych

w dokumentach przyjętych przez Interdyscyplinarny Zespół ds. Strategicznych

Programów Badań Naukowych i Prac Rozwojowych oraz przez Komitet

Sterujący,

a także wskazanie ewentualnych zmian koniecznych do wprowadzenia

w Projekcie.

Dalszym celem było ocenienie czy kontynuacja Projektu jest zgodna z celami polityki naukowej państwa i polityki wspierania innowacyjności.

Wprowadzenie do badania (2)


Wykorzystane metody i techniki badawcze:

• analizy danych zastanych (dokumenty dotyczące Projektu, polityki

naukowej oraz literatura przedmiotu),

• wywiady IDI z kierownikami zadań badawczych oraz koordynatorem projektu,

• wywiady ITI z potencjalnymi odbiorcami efektów zadań badawczych,

• analiza SWOT dla systemu wdrażania projektu,

• analiza ryzyka dla realizacji zadań badawczych,

• panel ekspertów ze specjalistami z zakresu energetyki.

Osiągniecie celu Projektu (1)


Cel Projektu :

Uzyskanie odczuwalnego zmniejszenia energochłonności budynków w Polsce

poprzez opracowanie i wdrożenie zintegrowanego systemu zarządzania

popytem energii w projektowanych i istniejących budynkach, obejmującego

zagadnienia termoizolacyjności, zwiększenie odzysku ciepła, głównie

w instalacjach wentylacyjnych i klimatyzacyjnych, alternatywne wykorzystanie

energii odnawialnej, w tym energii słonecznej, oraz poprzez szerokie

zastosowanie innych technologii energooszczędnych, np. w zakresie oświetlenia

Osiągniecie celu Projektu (2)


• Niepoprawny sposób sformułowania celu Projektu Strategicznego

uniemożliwia ocenę stopnia jego realizacji. Cel nie spełnia wymogów

metodyki SMART

• Zadania badawcze mają charakter odrębnych całości. Nie stanowią one

zintegrowanego i spójnego systemu a raczej „wybór zagadnień” z zakresu

energochłonności budynków - pełne osiągniecie zakładanych celów Projektu

Strategicznego prawdopodobnie nie będzie możliwe.

Postęp w realizacji Projektu (1)


Nr zadania

Data podpisania

umowy

Dofinansowanie przekazane w

2010 r.

Dofinansowanie przekazane w

2011 r.

Dofinansowanie planowane do przekazania w

2012 r.

Wykorzystanie dofinasowania w latach 2010-

2012

1 30.09.2010 499 060 PLN 1 497 180 PLN 0 100%

2 14.05.2010 933 137 PLN 1 346 146 PLN 1 521 319 PLN 86,2%

3 5.05.2010 1 624 324 PLN 2 314 080 PLN 1 625 629 PLN 94%

4 10.05.2010 1 120 040 PLN 1 871 260 3 043 860 PLN 86,7%

5 5.05.2010 416 133 PLN 880 737 PLN 856 730 PLN 92,4%

6 30.09.2010 202 850 PLN 2 306 152 PLN 1 485 998 PLN 100%

8 30.09.2010 260 000 PLN 740 000 PLN 0 100%

Razem 5 055 544 PLN 10 955 555 PLN 8 533 536 PLN 94,2%

Postęp w realizacji Projektu (2)


Zaawansowanie pod względem finansowym:

Około 94% (uwzględniono zaliczki, które wypłacone zostaną w kwietniu 2012)

Zaawansowanie pod względem merytorycznym:

około 50% (uwzględnione zostały jedynie zakończone etapy realizacji zadań badawczych, do końca 2011 roku)

Analiza ryzyka


0

1

2

3

0 1 2 3

Wie

lko

ść p

ote

ncj

aln

ego

w

pły

wu

Prawdopodobieństwo wystąpienia

czynniki ryzyka nr 1, 3, 5

czynnik ryzyka nr 2

czynniki ryzyka nr 4

Numer czynni

ka Czynnik ryzyka

Prawdopodobieństwo

wystąpienia

Wpływ na

realizację

zadania

Ocena końco

wa

Kluczowy

czynnik ryzyka?

1 Zatrzymanie finansowania zadania badawczego 1 3 3 NIE

2 Opóźnienie w przekazaniu środków na finansowanie realizacji zadania badawczego

2 2 4 TAK

3 Wycofanie się partnera w realizacji zadania badawczego

1 3 3 NIE

4 Zmiany osobowe u lidera zadania badawczego 2 1 2 NIE

5 Konieczność powtórzenia procedury zamówień publicznych

1 3 3 NIE

System wskaźników


• Wskaźniki produktu

Proste i zrozumiałe, mierzalne ale niespecyficzne - są one dostosowane do celów Projektu Strategicznego i zadań badawczych ale nie pozwalają na mierzenie postępu w ich realizacji.

• Wskaźniki rezultatu

Zrozumiałe i mierzalne ale nie odnoszą się do rezultatów Projektu Strategicznego

i rezultatów zadań badawczych.

• Wskaźniki oddziaływania

Charakteryzują się największą specyficznością. Sposób ich sformułowania i brak instrukcji może powodować problemy z pomiarem ich wartości .

Zgodność z kierunkami polityki naukowej


Realizowane zadania badawcze i cały Projekt są zgodne m.in. z :

• Krajowym Programem Badań (2011)

• Krajowym Programem Badań Naukowych i Prac Rozwojowych (2008) - przede wszystkim z priorytetem 3.1 tj. Zmniejszenie energochłonności gospodarki przez rozwój i wdrażanie rozwiązań energooszczędnych w przemyśle, usługach oraz gospodarstwach domowych.

• Strategią innowacyjności i efektywności gospodarki

• Ustawą o efektywności energetycznej (Dz. U. z 2011r., Nr 94, poz.551),

• Ustawą o wspieraniu termomodernizacji i remontów (Dz.U. z 2008r., Nr 223, poz.1459)

• Rozporządzeniem Ministra Infrastruktury w sprawie warunków technicznych, jakim powinny odpowiadać budynki i ich usytuowanie (Dz. U. z 2010r., Nr 239, poz.1597)

Wkład w rozwój nauki


Dotychczas :

• 60 prac w czasopismach naukowych oraz branżowych

• wyniki podstawą do uzyskania stopni naukowych przez 11 osób

• 5 projektów inżynierskich

• 2 schematy technologiczne

Dotychczasowy wkład Projektu w rozwój nauki i gospodarki ulegnie dalszemu powiększeniu po zakończeniu realizacji wszystkich zadań badawczych.

Rekomendacje (1)


Wniosek z badania Proponowana rekomendacja Ważność

rekomendacji

Przyjęcie formuły jednej płatności w danym roku powoduje utrudniania w realizacji projektów, szczególnie tych o krótkim okresie realizacji

Przyjęcie systemu częstszych płatności (np. 2 miesięcznych) dla projektów o krótkim (12 miesięcznym) okresie realizacji

1

Ze względu na szybki postęp wiedzy następuje stosunkowo szybka dezaktualizacja wyników uzyskanych w trakcie realizacji zadań badawczych

Wyodrębnienie (w przyszłych realizowanych projektach) z puli środków przeznaczonych na realizację zadań badawczych, części dofinansowania przewidzianej na aktualizację wyników zadań po upływnie określonego czasu od zakończenia realizacji zadań badawczych

1

Ze względu na znaczne zaawansowanie analizowanego Projektu Strategicznego większość rekomendacji odnosi do kolejnych przygotowywanych przez NCBiR projektów

Rekomendacje (2)



rekomendacji

Obecny sposób sformułowania celu i wskaźników projektu nie spełnia kryteriów metodyki SMART, co skutkuje brakiem możliwości pomiaru stopnia osiągniecia celów

W przyszłych projektach realizowanych przez NCBiR) formułowanie celów i wskaźników projektu zgodnie z metodyką SMART, w tym m.in.:

Uproszczenie celu Projektu, poprzez wydzielenie celu głównego i celów szczególnych

Dostosowanie wskaźników produktu i rezultatu do pomiaru celów Projektu i celów zadań badawczych

Ujednolicenie wartości bazowych wskaźników, weryfikacja wartości docelowych

Zastosowanie jednej jednostki pomiaru dla danego, zaproponowanego wskaźnika

Zastosowanie precyzyjnych definicji wskaźników, ściśle określających, co ma być przedmiotem pomiaru

Zbieranie wartości wskaźników rezultatu również po zakończeniu realizacji zadań badawczych

1

Sporządzenie szczegółowych instrukcji pomiaru dla wybranych wskaźników (dotyczy przede wszystkim wskaźników oddziaływania, np. dotyczących ilości zaoszczędzonej energii lub unikniętych emisji CO2)

1

Rekomendacje (3)


Wniosek z badania Proponowana rekomendacja

Ważność rekomenda

cji

Niewystarczający stopień koordynacji merytorycznej zakresów tematycznych zadań może prowadzić do częściowego nakładania się wykonywanych prac

Ustanowienie przy realizacji przyszłych projektów strategicznych osoby odpowiedzialnej za wymianę informacji między poszczególnymi wykonawcami (o zakresie prowadzonych badań) lub też przekazanie tej funkcji wykonawcy jednego z zadań badawczych

1

Niedostosowanie terminów składania raportów półrocznych do etapów realizacji zadań badawczych jest czasochłonne

Zmniejszenie częstotliwości raportowania (jeden raport roczny) lub dostosowanie terminów raportów cząstkowych (półrocznych) do dat zakończenia etapów zadania badawczego, określonych w umowie

2

Rekomendacje (4)



rekomendacji

Nadmierne wydłużenie procesu oceny raportów ze względu na konieczność poprawy przez Wykonawców prostych błędów, będących oczywistymi omyłkami i nie mających związku z postępem w realizacji projektu

Stworzenie listy „oczywistych omyłek pisarskich i rachunkowych”, które mogą być korygowane przez NCBiR na etapie oceny formalnej raportów okresowych, bez konieczności odsyłania raportu do Wykonawcy

2

Istnieje zapotrzebowanie ze strony wykonawców na uzyskanie dokładniejszych informacji o wynikach oceny merytorycznej raportów z realizacji zadania

Organizowanie spotkań, które dałyby możliwość dyskusji wykonawcy i NCBIR na temat postępów w realizacji zadania badawczego (w ramach oceny merytorycznej raportów okresowych)

2

Rekomendacje (5)



rekomendacji

Ze względu na nowatorski charakter realizowanych badań, wyniki cząstkowe uzyskiwane w realizacji zadań badawczych mogą wpływać na potrzebę modyfikacji zaplanowanych badań

Uproszczenie obowiązujących procedur w zakresie wprowadzania przez wykonawców zmian w sposobie realizacji zadania / zakresie badań.

3

Brak wystarczającej informacji, co do kryteriów oceny ofert oraz raportów z realizacji zadań badawczych

Stworzenie szczegółowej instrukcji oceny oferty i publikacja tego dokumentu łącznie z ogłoszeniami konkursowymi; Stworzenie szczegółowej instrukcji / kryteriów oceny raportów i ich publikacja wraz ze wzorami raportów,

3

W ofercie na realizację zadania badawczego wymagany był bardzo szeroki zakres informacji osobowej. Wypełnienie części formalnej wymagało od potencjalnych wykonawców nieproporcjonowanie dużo pracy w stosunku do czasu poświęconego na opis zagadnień merytorycznych

Uproszczenie wzoru oferty/wniosku w aplikacyjnego. Zmniejszenie wagi formalnej części wniosku w stosunku do zagadnień merytorycznych

3

Documents

Ewaluacja „mid-term” projektu strategicznego pt ......realizacji projektów, szczególnie tych o krótkim okresie realizacji Przyjęcie systemu częstszych płatności (np. 2 miesięcznych)