Warszawa, kwiecień 2012 r.
Ewaluacja „mid-term” projektu strategicznego pt. „Zintegrowany system
zmniejszenia eksploatacyjnej energochłonności budynków””.
Plan prezentacji
ECORYS Copyright ® 2
1. Wprowadzenie do badania
2. Wyniki badania (wybór)
3. Rekomendacje
Osiągniecie celów Projektu Postęp w realizacji Projektu Analiza ryzyka System wskaźników Zgodność z kierunkami polityki naukowej Wkład w rozwój nauki
Wprowadzenie do badania (1)
ECORYS Copyright ® 3
Cel badania:
Sporządzenie oceny eksperckiej, na podstawie aktualnego stanu wiedzy, czy
kontynuacja Projektu prowadzi do osiągnięcia celów Projektu, określonych
w dokumentach przyjętych przez Interdyscyplinarny Zespół ds. Strategicznych
Programów Badań Naukowych i Prac Rozwojowych oraz przez Komitet
Sterujący,
a także wskazanie ewentualnych zmian koniecznych do wprowadzenia
w Projekcie.
Dalszym celem było ocenienie czy kontynuacja Projektu jest zgodna z celami polityki naukowej państwa i polityki wspierania innowacyjności.
Wprowadzenie do badania (2)
ECORYS Copyright ® 4
Wykorzystane metody i techniki badawcze:
• analizy danych zastanych (dokumenty dotyczące Projektu, polityki
naukowej oraz literatura przedmiotu),
• wywiady IDI z kierownikami zadań badawczych oraz koordynatorem projektu,
• wywiady ITI z potencjalnymi odbiorcami efektów zadań badawczych,
• analiza SWOT dla systemu wdrażania projektu,
• analiza ryzyka dla realizacji zadań badawczych,
• panel ekspertów ze specjalistami z zakresu energetyki.
Osiągniecie celu Projektu (1)
ECORYS Copyright ® 5
Cel Projektu :
Uzyskanie odczuwalnego zmniejszenia energochłonności budynków w Polsce
poprzez opracowanie i wdrożenie zintegrowanego systemu zarządzania
popytem energii w projektowanych i istniejących budynkach, obejmującego
zagadnienia termoizolacyjności, zwiększenie odzysku ciepła, głównie
w instalacjach wentylacyjnych i klimatyzacyjnych, alternatywne wykorzystanie
energii odnawialnej, w tym energii słonecznej, oraz poprzez szerokie
zastosowanie innych technologii energooszczędnych, np. w zakresie oświetlenia
Osiągniecie celu Projektu (2)
ECORYS Copyright ® 6
• Niepoprawny sposób sformułowania celu Projektu Strategicznego
uniemożliwia ocenę stopnia jego realizacji. Cel nie spełnia wymogów
metodyki SMART
• Zadania badawcze mają charakter odrębnych całości. Nie stanowią one
zintegrowanego i spójnego systemu a raczej „wybór zagadnień” z zakresu
energochłonności budynków - pełne osiągniecie zakładanych celów Projektu
Strategicznego prawdopodobnie nie będzie możliwe.
Postęp w realizacji Projektu (1)
ECORYS Copyright ® 7
Nr zadania
Data podpisania
umowy
Dofinansowanie przekazane w
2010 r.
Dofinansowanie przekazane w
2011 r.
Dofinansowanie planowane do przekazania w
2012 r.
Wykorzystanie dofinasowania w latach 2010-
2012
1 30.09.2010 499 060 PLN 1 497 180 PLN 0 100%
2 14.05.2010 933 137 PLN 1 346 146 PLN 1 521 319 PLN 86,2%
3 5.05.2010 1 624 324 PLN 2 314 080 PLN 1 625 629 PLN 94%
4 10.05.2010 1 120 040 PLN 1 871 260 3 043 860 PLN 86,7%
5 5.05.2010 416 133 PLN 880 737 PLN 856 730 PLN 92,4%
6 30.09.2010 202 850 PLN 2 306 152 PLN 1 485 998 PLN 100%
8 30.09.2010 260 000 PLN 740 000 PLN 0 100%
Razem 5 055 544 PLN 10 955 555 PLN 8 533 536 PLN 94,2%
Postęp w realizacji Projektu (2)
ECORYS Copyright ® 8
Zaawansowanie pod względem finansowym:
Około 94% (uwzględniono zaliczki, które wypłacone zostaną w kwietniu 2012)
Zaawansowanie pod względem merytorycznym:
około 50% (uwzględnione zostały jedynie zakończone etapy realizacji zadań badawczych, do końca 2011 roku)
Analiza ryzyka
ECORYS Copyright ® 9
0
1
2
3
0 1 2 3
Wie
lko
ść p
ote
ncj
aln
ego
w
pły
wu
Prawdopodobieństwo wystąpienia
czynniki ryzyka nr 1, 3, 5
czynnik ryzyka nr 2
czynniki ryzyka nr 4
Numer czynni
ka Czynnik ryzyka
Prawdopodobieństwo
wystąpienia
Wpływ na
realizację
zadania
Ocena końco
wa
Kluczowy
czynnik ryzyka?
1 Zatrzymanie finansowania zadania badawczego 1 3 3 NIE
2 Opóźnienie w przekazaniu środków na finansowanie realizacji zadania badawczego
2 2 4 TAK
3 Wycofanie się partnera w realizacji zadania badawczego
1 3 3 NIE
4 Zmiany osobowe u lidera zadania badawczego 2 1 2 NIE
5 Konieczność powtórzenia procedury zamówień publicznych
1 3 3 NIE
System wskaźników
ECORYS Copyright ® 10
• Wskaźniki produktu
Proste i zrozumiałe, mierzalne ale niespecyficzne - są one dostosowane do celów Projektu Strategicznego i zadań badawczych ale nie pozwalają na mierzenie postępu w ich realizacji.
• Wskaźniki rezultatu
Zrozumiałe i mierzalne ale nie odnoszą się do rezultatów Projektu Strategicznego
i rezultatów zadań badawczych.
• Wskaźniki oddziaływania
Charakteryzują się największą specyficznością. Sposób ich sformułowania i brak instrukcji może powodować problemy z pomiarem ich wartości .
Zgodność z kierunkami polityki naukowej
ECORYS Copyright ® 11
Realizowane zadania badawcze i cały Projekt są zgodne m.in. z :
• Krajowym Programem Badań (2011)
• Krajowym Programem Badań Naukowych i Prac Rozwojowych (2008) - przede wszystkim z priorytetem 3.1 tj. Zmniejszenie energochłonności gospodarki przez rozwój i wdrażanie rozwiązań energooszczędnych w przemyśle, usługach oraz gospodarstwach domowych.
• Strategią innowacyjności i efektywności gospodarki
• Ustawą o efektywności energetycznej (Dz. U. z 2011r., Nr 94, poz.551),
• Ustawą o wspieraniu termomodernizacji i remontów (Dz.U. z 2008r., Nr 223, poz.1459)
• Rozporządzeniem Ministra Infrastruktury w sprawie warunków technicznych, jakim powinny odpowiadać budynki i ich usytuowanie (Dz. U. z 2010r., Nr 239, poz.1597)
Wkład w rozwój nauki
ECORYS Copyright ® 12
Dotychczas :
• 60 prac w czasopismach naukowych oraz branżowych
• wyniki podstawą do uzyskania stopni naukowych przez 11 osób
• 5 projektów inżynierskich
• 2 schematy technologiczne
Dotychczasowy wkład Projektu w rozwój nauki i gospodarki ulegnie dalszemu powiększeniu po zakończeniu realizacji wszystkich zadań badawczych.
Rekomendacje (1)
ECORYS Copyright ® 13
Wniosek z badania Proponowana rekomendacja Ważność
rekomendacji
Przyjęcie formuły jednej płatności w danym roku powoduje utrudniania w realizacji projektów, szczególnie tych o krótkim okresie realizacji
Przyjęcie systemu częstszych płatności (np. 2 miesięcznych) dla projektów o krótkim (12 miesięcznym) okresie realizacji
1
Ze względu na szybki postęp wiedzy następuje stosunkowo szybka dezaktualizacja wyników uzyskanych w trakcie realizacji zadań badawczych
Wyodrębnienie (w przyszłych realizowanych projektach) z puli środków przeznaczonych na realizację zadań badawczych, części dofinansowania przewidzianej na aktualizację wyników zadań po upływnie określonego czasu od zakończenia realizacji zadań badawczych
1
Ze względu na znaczne zaawansowanie analizowanego Projektu Strategicznego większość rekomendacji odnosi do kolejnych przygotowywanych przez NCBiR projektów
Rekomendacje (2)
ECORYS Copyright ® 14
Wniosek z badania Proponowana rekomendacja Ważność
rekomendacji
Obecny sposób sformułowania celu i wskaźników projektu nie spełnia kryteriów metodyki SMART, co skutkuje brakiem możliwości pomiaru stopnia osiągniecia celów
W przyszłych projektach realizowanych przez NCBiR) formułowanie celów i wskaźników projektu zgodnie z metodyką SMART, w tym m.in.:
Uproszczenie celu Projektu, poprzez wydzielenie celu głównego i celów szczególnych
Dostosowanie wskaźników produktu i rezultatu do pomiaru celów Projektu i celów zadań badawczych
Ujednolicenie wartości bazowych wskaźników, weryfikacja wartości docelowych
Zastosowanie jednej jednostki pomiaru dla danego, zaproponowanego wskaźnika
Zastosowanie precyzyjnych definicji wskaźników, ściśle określających, co ma być przedmiotem pomiaru
Zbieranie wartości wskaźników rezultatu również po zakończeniu realizacji zadań badawczych
1
Sporządzenie szczegółowych instrukcji pomiaru dla wybranych wskaźników (dotyczy przede wszystkim wskaźników oddziaływania, np. dotyczących ilości zaoszczędzonej energii lub unikniętych emisji CO2)
1
Rekomendacje (3)
ECORYS Copyright ® 15
Wniosek z badania Proponowana rekomendacja
Ważność rekomenda
cji
Niewystarczający stopień koordynacji merytorycznej zakresów tematycznych zadań może prowadzić do częściowego nakładania się wykonywanych prac
Ustanowienie przy realizacji przyszłych projektów strategicznych osoby odpowiedzialnej za wymianę informacji między poszczególnymi wykonawcami (o zakresie prowadzonych badań) lub też przekazanie tej funkcji wykonawcy jednego z zadań badawczych
1
Niedostosowanie terminów składania raportów półrocznych do etapów realizacji zadań badawczych jest czasochłonne
Zmniejszenie częstotliwości raportowania (jeden raport roczny) lub dostosowanie terminów raportów cząstkowych (półrocznych) do dat zakończenia etapów zadania badawczego, określonych w umowie
2
Rekomendacje (4)
ECORYS Copyright ® 16
Wniosek z badania Proponowana rekomendacja Ważność
rekomendacji
Nadmierne wydłużenie procesu oceny raportów ze względu na konieczność poprawy przez Wykonawców prostych błędów, będących oczywistymi omyłkami i nie mających związku z postępem w realizacji projektu
Stworzenie listy „oczywistych omyłek pisarskich i rachunkowych”, które mogą być korygowane przez NCBiR na etapie oceny formalnej raportów okresowych, bez konieczności odsyłania raportu do Wykonawcy
2
Istnieje zapotrzebowanie ze strony wykonawców na uzyskanie dokładniejszych informacji o wynikach oceny merytorycznej raportów z realizacji zadania
Organizowanie spotkań, które dałyby możliwość dyskusji wykonawcy i NCBIR na temat postępów w realizacji zadania badawczego (w ramach oceny merytorycznej raportów okresowych)
2
Rekomendacje (5)
ECORYS Copyright ® 17
Wniosek z badania Proponowana rekomendacja Ważność
rekomendacji
Ze względu na nowatorski charakter realizowanych badań, wyniki cząstkowe uzyskiwane w realizacji zadań badawczych mogą wpływać na potrzebę modyfikacji zaplanowanych badań
Uproszczenie obowiązujących procedur w zakresie wprowadzania przez wykonawców zmian w sposobie realizacji zadania / zakresie badań.
3
Brak wystarczającej informacji, co do kryteriów oceny ofert oraz raportów z realizacji zadań badawczych
Stworzenie szczegółowej instrukcji oceny oferty i publikacja tego dokumentu łącznie z ogłoszeniami konkursowymi; Stworzenie szczegółowej instrukcji / kryteriów oceny raportów i ich publikacja wraz ze wzorami raportów,
3
W ofercie na realizację zadania badawczego wymagany był bardzo szeroki zakres informacji osobowej. Wypełnienie części formalnej wymagało od potencjalnych wykonawców nieproporcjonowanie dużo pracy w stosunku do czasu poświęconego na opis zagadnień merytorycznych
Uproszczenie wzoru oferty/wniosku w aplikacyjnego. Zmniejszenie wagi formalnej części wniosku w stosunku do zagadnień merytorycznych
3