mpo.cz€¦ · Web viewEvaluace řízení a administrace technické pomoci OP PIK. Evaluace řízení a administrace technické pomoci OP PIK. Evaluace řízení a administrace

Evaluace řízení a administrace technické pomoci OP PIK


VSTUPNÍ ZPRÁVA

Datum: 19. 12. 2019

Zpracovatel:

Evaluation Advisory CE s.r.o.Křižíkova 70b, 612 00 BrnoIČ: 25342282

Zadavatel:

Ministerstvo průmyslu a obchodu ČRNa Františku 32, 110 15, Praha 1IČ: 47609109


Identifikační údaje dodavatele

Identifikace

Název obchodní firmy Evaluation Advisory CE s.r.o.

Sídlo a kontaktní adresa Evaluation Advisory CE s.r.o., Křižíkova 70b, 612 00 Brno

Kancelář Praha Evaluation Advisory CE s.r.o., U Pekařky 484/1A, 180 00 Praha 8

IČ 25342282

DIČ CZ 25342282

Telefon +420 224 815 557

E-mail [email protected]

Statutární orgán Radim Gill, jednatel

ID datové schránky gg4amx8

Společnost zapsaná v obchodním rejstříku vedeném Krajským soudem v Brně, spisová značka C83197

2


1 Obsah

Identifikační údaje dodavatele...............................................................................................................2

1 Obsah.............................................................................................................................................3

2 Úvod...............................................................................................................................................5

2.1 Cíle evaluačního projektu.......................................................................................................5

2.2 Účel zprávy.............................................................................................................................5

2.3 Informační zdroje...................................................................................................................5

3 Přístup k evaluačním otázkám a metodika realizace......................................................................9

3.1 Metodologický přístup – evaluační design..............................................................................9

3.2 Přístup k evaluačním otázkám..............................................................................................12

3.2.1 EO 1: Je metodické prostředí ŘO OP PIK v oblasti TP trvalé, přehledné a uživatelsky přívětivé?......................................................................................................................................13

3.2.2 EO 2: Odpovídá nastavení TP potřebám ŘO OP PIK? Nedochází v praxi k častým odchylkám od metodik, různým výkladům a z toho plynoucím pochybením?.............................20

3.2.3 EO 3: Jsou v metodickém prostředí OP PIK v oblasti TP uplatňovány procesy či jejich části, které lze označit jako nadbytečné? Z čeho vyplývá potřeba provádění nadbytečných procesů? Přetrvává tato potřeba? Jaký dopad na implementaci OP PIK by mělo zrušení každého nadbytečného procesu?...............................................................................................................22

3.2.4 EO 4: Neobsahuje metodické prostředí OP PIK v oblasti TP tzv. hluchá místa, tedy situaci, kdy platná metodika danou problematiku vůbec neupravuje?........................................24

3.2.5 EO 5: Byla vhodně nastavena výše alokace na TP? Je potřebné/vhodné tuto alokaci nějak upravit?...............................................................................................................................26

3.2.6 EO 6: Je pravidelně vyhodnocováno čerpání TP? Odpovídají odhady výdajů skutečnosti?.................................................................................................................................28

3.2.7 EO 7: Jsou stanoveny kvantifikovatelné cíle TP, které by umožňovaly řídit efektivitu aktivit TP? Jsou hodnoceny přínosy schvalovaných projektů vzhledem k cílům TP? Je prováděna reflexe realizovaných činností TP jako podklad pro další činnost (sestavování rozpočtu apod.)? 29

3.2.8 EO 8: Je sledování přínosů TP prostřednictvím indikátorové soustavy vhodným způsobem měření dosahovaných výsledků? Byly vhodně zvoleny indikátory technické pomoci pro účely monitorování? Pokrývají zvolené indikátory všechny aktivity TP? Byly vhodně nastaveny cílové hodnoty indikátorů, resp. výchozí hodnoty u výsledkových indikátorů?...........33

3.2.9 EO 9: Byla výše finančních limitů pro projekty TP nastavena adekvátně? Proběhlo hodnocení a výběr projektů transparentním způsobem?.............................................................35

3


3.2.10 EO 10: Jsou v rámci projektů realizována relevantní dílčí plnění odpovídající nastaveným cílům a aktivitám? Je administrace projektů nastavena efektivním způsobem?......36

3.2.11 EO 11: Je dokumentace k projektům TP řádně archivována?.......................................37

3.2.12 EO 12: Jsou Pravidla pro výběr dodavatelů pro projekty realizované v rámci TP nastavena efektivně? Je zajištěno proškolení a vzdělávání pracovníků zapojených do přípravy a realizace výběrových řízení spadajících pod TP?..........................................................................38

3.2.13 EO 13: Je velikost a struktura administrativní kapacity ŘO a ZS OP PIK optimální?......41

3.2.14 EO 14: Jaký je vývoj míry fluktuace zaměstnanců a jaké jsou její nejčastější příčiny? Jsou zaměstnanci dostatečně motivováni za účelem snížení fluktuace?......................................46

3.2.15 EO 15: Jsou zajištěny odpovídající vzdělávací akce pro zaměstnance? Dodavatel zhodnotí, zda jsou zaměstnanci řádně proškoleni a zda jsou spokojeni s nabídkou a přínosem vzdělávacích akcí..........................................................................................................................48

3.2.16 EO 16: Je systém tvorby a vyhodnocování publicitních opatření nastaven efektivně? Bude-li odpověď na evaluační otázku negativní, navrhne dodavatel způsob vyhodnocování publicitních opatření....................................................................................................................49

3.3 Evaluační metody.................................................................................................................51

3.3.1 Dotazníkové šetření......................................................................................................51

3.3.2 Individuální rozhovory..................................................................................................54

3.3.3 Fokusní skupina............................................................................................................58

3.3.4 Kulatý stůl.....................................................................................................................60

4 Harmonogram průběhu prací na projektu....................................................................................62

5 Realizační tým...............................................................................................................................65

6 Přílohy..........................................................................................................................................66

4


2 Úvod

2.1 Cíle evaluačního projektu

Předmětem projektu je zhodnocení procesů plánování, řízení a využívání prioritní osy 5 – Technická pomoc Operačního programu Podnikání a inovace pro konkurenceschopnost (dále jen „OP PIK“). Cílem je ověřit, zda technická pomoc (dále též „TP“) OP PIK zabezpečuje dostatečný servis pro implementační strukturu programu, zda připravované projekty technické pomoci jsou plánovány na vhodné časové období a s odpovídající finanční alokací, zda procesy přípravy a schvalování projektů technické pomoci jsou efektivní a transparentní apod. Zvláštní pozornost projekt věnuje zhodnocení dostatečnosti a adekvátnosti administrativních kapacit implementační struktury OP PIK. V případě zjištěných nedostatků evaluace navrhne optimalizaci relevantních procesů a pravidel.

2.2 Účel zprávy

Vstupní zpráva popisuje plánovaný způsob realizace předmětného evaluačního projektu. V návaznosti na předloženou nabídku zhotovitele upřesňuje plánované postupy, metodologii, harmonogram a způsoby realizace hodnocení, včetně předpokládaných zdrojů informací.

2.3 Informační zdroje

Zdroje vztahující se k programovému dokumentu

- OP PIK vč. příloh a dalších souvisejících dokumentů

- Výzva Technická pomoc OP PIK

- Operační manuál včetně příloh

- Výroční zprávy o realizaci OP PIK

- Interní projekty realizované v rámci TP OP PIK

- Metodické prostředí ŘO OP PIK (metodické pokyny)

- Metodické prostředí NOK

- Organizační řády ŘO a ZS

- Ad-hoc data související s administrativní kapacitou ŘO a ZS, zprávy o administrativní kapacitě ŘO a ZS

- Data k monitorovacím indikátorům – agregační mapa indikátorů, atd.

5


- Data vztahující se k plnění Komunikačního plánu

- Výstupy kontrol NKÚ vztahující se k TP OP PIK

- Nařízení EP a Rady (EU) č. 1303/2013 a č. 1301/2013 ze dne 17. prosince 2013 a další relevantní legislativa

- Starší operační programy zaměřené na podnikání

- Klíčové evaluace:

o Hodnocení řídících procesů v oblasti Technické pomoci OPPI, MPO 2011

o Evaluace metodického prostředí z pohledu implementační struktury, MMR 2019

o Indikátory spokojenosti zaměstnanců ESIF, MMR 2014–2017

o Hodnocení procesů a lhůt v programech a JMP – průvodce procesní evaluací, MMR 2016

o Průběžná zpráva z procesní evaluace ESI fondů v České republice: "Systems thinking", MMR 2016

- Relevantní části a závěry výsledkových evaluační OP PIK relevantní pro hodnocení TP (administrace žádostí a kapacita struktury, znalostní základna, informovanost cílových skupin o zdroji financování, atd.)

- Další evaluační zprávy s důrazem na průběžná hodnocení OP PIK, ex-post hodnocení OP PI a příp. OP PP a tematické evaluace vztahující se k TP, komunikačním aktivitám atd.

- „Analýza absorpční kapacity a návrh cílových hodnot indikátoru OPPIK 2014 – 2020“, „Analýza indikátorů výsledku OP PIK 2014 – 2020“.

Metodické pokyny

- Jednotný národní rámec pravidel a postupů a další dokumenty související s JMP, především:

o Metodika řízení programů v programovém období 2014 – 2020

o Metodický pokyn Zásady tvorby a používání indikátorů

o Metodický pokyn pro přípravu řídící dokumentace programů

o Metodický pokyn pro oblast zadávání zakázek

o Metodický pokyn pro publicitu a komunikaci ESI fondů

o Metodický pokyn procesů řízení a monitorování ESI fondů

o Metodický pokyn k rozvoji lidských zdrojů

- Metodické prostředí ŘO OP PIK

- Operační manuál OP PIK

- Další metodické a podpůrné dokumenty zpracované EK (např. zpráva New assessment of ESIF administrative costs and burden)

Metodologické podklady (využito rovněž při zpracování této nabídky):

- Kokeš, R. – Kváča, V.: Průvodce procesní evaluací

- Internetové zdroje dostupné na www.vanguard-method.net

- Morra-Imas, L., Rist, R. C. (2008): The Road to Results - Designing and Conducting Effective Development Evaluations World Bank

6

http://www.vanguard-method.net/


- White, H. (2009) Theory Based Impact Evaluation: Principles and Practice. International Initiative for Impact Evaluation (3ie), Working Paper 3

- Chen, H. T. (2015): Practical Program Evaluation Theory-Driven Evaluation and the Integrated Evaluation Perspective, Second Edition, Huey-tsyh Chen, Sage, 2015

- EVALSED: The resource for the evaluation of Socio-Economic Development, European Commission, September 2013

- Shahidur R. Khandker; Handbook on Impact Evaluation - Quantitative Methods and Practices; Světová Banka 2010

- The Magenta Book, Guidance for Evaluation, HM Treasury, 2011

- Česká evaluační společnost: Etický kodex evaluátora a Formální standardy provádění evaluací

- Kokeš, R., Kváča V. (2016): Průvodce procesní evaluací: Toyota Production Systém for (Public) Service Organisation

- Ministerstvo pro místní rozvoj, Národní orgán pro kooordinaci (2016): Administrativní zátěž a výkonnost procesu hodnocení žádostí o podporu v programových obdobích 2007+ a 2014+

- Hendl, J. (1999). Úvod do kvalitativního výzkumu. Praha: Karolinum.

- Surynek, A. (2001). Základy sociologického výzkumu. 1.vyd. Praha: Management Press

- Reichel, J. (2009): Kapitoly metodologie sociálních výzkumů. Vyd. 1. Praha: Grada Publishing, a. s., 2009

- Giddens, A. (2013). Sociologie. Praha: Argo.

- Jandourek, J. (2003). Úvod do sociologie. Praha: Portál.

- Dillman, D., Smyth, J., Christian, L. (2014). Internet, Phone, Mail and Mixed-Mode Surveys: The Tailored Design Method, 4th edition. John Wiley: Hoboken, NJ.

- Saris, W. E., Gallhofer, I. N. (2014). Design, evaluation and analysis of questionnaires for survey research. Second Edition. Hoboken, Wiley.

- Berka, P. (2003). Dobývání znalostí z databází. Praha: Academia.

- Witten, I. H.; Frank, E.; Hall, M. A. (2011). Data Mining: Practical Machine Learning Tools and Techniques (3 ed.). Elsevier.

- Han, J.; Kamber, M. (2001). Data mining: concepts and techniques. Morgan Kaufmann.

- Fayyad, U,; Piatetsky-Shapiro, G.; Smyth, P. (1996). From Data Mining to Knowledge Discovery in Databases.

- Kantardzic, M. (2003). Data Mining: Concepts, Models, Methods, and Algorithms. John Wiley & Sons.

- Hendl, J (2004). Přehled statistických metod zpracování dat. Analýza a metaanalýza dat. Portál, Praha.

- Pergler, Disman a kol.: Vybrané techniky sociologického výzkumu (Praha, 1969, I. vydání), kapitola Rozhovor

- Disman, M. (2008). Jak se vyrábí sociologická znalost. Univerzita Karlova v Praze: Karolinum.

- HENDL, Jan. Kvalitativní výzkum: základní teorie, metody a aplikace. 2., aktualiz. vyd. Praha: Portál, 2008, 407 s.

7


- E.Kaneová: Doing Your Own Research – Interviews (London-New York, Marion Boyars, 1985)

- Ferjenčík, J. (2000). Úvod do metodologie psychologického výzkumu: jak zkoumat lidskou duši. Praha: Portál.

- Cox, J.: Changing management thinking in sevice organisations (prezentace)

Relevantní podklady k monitorovacím indikátorům

- Agregační mapa indikátorů OP PIK/OPPI

- Národní číselník indikátorů pro programové období 2014 – 2020, příp. návrhová verze NČI pro nové programové období

Strategické a další podklady

- Národní program reforem a další dokumenty vztahující se k Evropskému semestru

- Výstupy platforem NOK, Národní stále konference a regionálního stálých konferencí a dalších relevantních platforem

8


3 Přístup k evaluačním otázkám a metodika realizace

3.1 Metodologický přístup – evaluační design

Zadání evaluace kombinuje úkoly zaměřené na procesní evaluaci mechanismů souvisejících s implementací technické pomoci programu s průběžným hodnocením zaměřeným na agregaci aktuálního pokroku v implementaci dané části OP PIK. Výstupy procesní evaluace přitom jsou základem plnění, které bude sloužit pro zpracování dalších evaluačních otázek.

Účelem procesního hodnocení je poskytnout Zadavateli informace o tom, jak dobře je nastaven proces implementace TP – a tedy programu jako celku. Výstupem evaluace tedy bude především soubor návrhů na optimalizaci relevantních procesů a pravidel.

Níže je představen metodický přístup k řešení evaluace a zodpovězení evaluačních otázek. Tento přístup – resp. evaluační design – vychází z myšlenek metody Vanguard. Jedná se o přístup, který hodnocení procesů staví na potřebách klientů, pro něž je uvedený proces nastaven. Metoda Vanguard je tedy založena „na důkladném porozumění tomu, co od procesu očekávají klienti“ (srov. MMR: Průvodce procesní evaluací; Kokeš, Kváča 2016, s. 17).

Jako klienty je nutné v případě tohoto systému chápat:

Pracovníky implementační struktury OP PIK – ŘO a ZS1, včetně pracovníků zodpovědných za implementaci TP

Zprostředkovaně cílové skupiny programu – žadatelé a příjemci podpory z OP PIK a případně další subjekty, pro které je implementace OP PIK relevantní (zejména orgány státní správy koordinující implementaci ESI fondů v ČR).

Uvedení klienti (pracovníci implementační struktury OP PIK) budou po celou dobu evaluace představovat zásadní zdroj informací a hodnocení bude proto nastaveno tak, aby v rámci časových a finančních možnosti evaluace bylo sebíráno co nejvíce informací právě od těchto aktérů.

V konečném důsledku je tak pro každé hodnocení procesů metodou Vanguard klíčová dvojice výzkumných otázek v tomto znění:

Co klient/klienti od procesu požadují? Co klient/klienti od procesu ve skutečnosti dostávají?

Cílem je, aby obě otázky měly, pokud možno, identické odpovědi. Větší či menší odlišnost ukazuje na potřebu nastavení procesů upravit a vylepšit. Jinými slovy, pomocí metody Vanguard lze hodnotit,

1 V kontextu této evaluační zakázky je pro hodnocení relevantní pouze Agentura pro podnikání a inovace v pozici ZS.

9


nakolik daný systém „přidává (klientům) hodnotu pro jejich další aktivity“ a také, jakou část práce uvnitř procesu „lze chápat jako (naprosto) zbytečnou“ (srov. Kokeš, Kváča 2016, s. 14).

A právě koncept zbytečné práce je vedle orientace na klienta druhým rozměrem, přes který je na hodnocený proces prostřednictvím metody Vanguard nahlíženo. Zpracovatel evaluace tuto myšlenku reflektuje v nastavení procesního modelování, viz níže.

Příklady zbytečné práce (srov. Kokeš, Kváča 2016, s. 37):

1. Nutnost vykonávat určitou práci znovu, jelikož nebyla vykonána správně napoprvé2. Duplicitní činnosti (nutnost znovu studovat stejný dokument vícero lidmi)3. Vykonávaní činnosti, které se absolutně nevztahují k přidávání hodnoty uživateli (tj. žadateli,

resp. příjemci)

Třetí zásadní rozměr metody Vanguard, který zpracovatel evaluace považuje za vhodné zmínit, je předpoklad „o nikdy nekončícím procesu učení se o vlastním výkonu“ (srov. Kokeš, Kváča 2016, s. 17). Pokud tuto skutečnost autor procesu reflektuje, je otevřen změnám, umí přijmout kritiku a je ochotný proces na základě nových informací neustále inovovat.

Na úrovni každého procesu, které bude hodnocen, lze jednotlivé kroky lze definovat takto:

Postup řešení

Postup řešení jednotlivých evaluačních otázek (EQ) je zpracován níže v kapitole 2.4, Obecně je možné postup procesní analýzy shrnout následovně:

1) Vstupní analýza

10

Vstupní analýza Identifikace procesů

Sestavení instrumentária pro

sběr dat k hodnocení procesů

Vlastní hodnocení procesů

Identifikace slabých míst procesůNávrh doporučení

Stanovení účelu procesu a

definice klientů

Identifikace potřeb klientů

Analýza nastavení procesu

Formulace odpovědí na

evaluační otázky

Formulace návrhů na

optimalizaci pravidel a procesů


Pro úspěšné zpracování dílčího plnění s očekávanými přínosy pro zadavatele je nezbytně nutné, aby v tomto kroku proběhla identifikace a sběr všech relevantních informací a dokumentace, které se vztahuji k nastavení a řízení procesů implementace TP OP PIK.

Dále budou v tomto kroku analyzovány dostupné datové zdroje a dostupná data (primární i sekundární) a bude zvážena jejich využitelnost pro hodnocení konkrétních procesů.

2) Identifikace procesů

Jedná se o klíčový krok, jehož hlavním cílem je identifikace a vydefinování všech procesů, které budou hodnoceny. Výstupem tohoto kroku bude jasná definice procesů, s jejich stručným popisem a odkazem na příslušnou dokumentaci, v níž je proces podrobně popsán a zakotven (podrobněji viz metodika odpovídání na evaluační otázku (EO) 1).

Následně bude společně se zadavatelem provedeno odsouhlasení seznamu procesů pro další hodnocení. Odsouhlasený seznam procesů tak bude hlavním výstupem tohoto kroku a současně vstupem pro navazující kroky v rámci dílčího plnění č. 2: procesní hodnocení.

Hlavní procesní oblasti lze vymezit přibližně uvedeným způsobem. Přesná definice, úroveň a parametry procesu, které budou vstupovat do hodnocení, budou vydefinovány v rámci popisovaného kroku.

3) Sestavení instrumentária pro sběr dat k hodnocení procesů

Každý proces z odsouhlaseného seznamu může být obecně analyzován různými nástroji a postupy, které budou zohledňovat vybrané parametry procesu, např.:

charakter procesu frekvenci opakování procesu míru zapojení žadatelů/příjemců do procesu dostupnost dat a údajů o procesu nastavení procesu v řídící dokumentaci

Pro analýzu procesů je pak možné použít širokou škálu nástrojů a metod od čistě kvalitativních po čistě kvantitativní a taktéž využívat jejich kombinace.

Cílem tohoto kroku je tudíž standardizovat metodiku vyhodnocení procesů tak, aby byla dostatečně validní pro potřeby zpracovávané evaluace, byla zvládnutelná v daném harmonogramu a současně postihla klíčové aspekty prováděného hodnocení. Podrobněji viz níže.

4) Vlastní hodnocení procesů

V rámci tohoto kroku bude provedeno vlastní hodnocení procesů na základě údajů, které budou zjištěny z provedených šetření a analýz (dotazníková šetření, strukturované, polostrukturované a hloubkové rozhovory, kvantitativní analýza dat z informačních systémů, obsahová analýza dat z dokumentace apod.).

5) Identifikace slabých míst procesů

11


Syntézou zjištění a závěrů, které vyplynou z předchozího kroku, budou identifikována konkrétní slabá místa jednotlivých procesů. Tato slabá místa budou v rámci celé množiny zjištění prioritně označena na stupnici významné – středně významné – málo významné a zadavatel se tak bude moci ve výsledcích lépe orientovat.

6) Návrh doporučení

Pro vybraná slabá místa (zejména pro slabá místa s nejvyšší prioritou) budou navržena nápravná opatření, která slabá místa odstraní nebo eliminují jejich dopad na jednotlivé procesy.

3.2 Přístup k evaluačním otázkám

Při definování zadání pro Evaluaci řízení a administrace technické pomoci OP PIK bylo zadavatelem formulováno celkem 16 evaluačních otázek. Tyto otázky se v pojetí evaluátora člení do 6 základních oblastí:

1) Oblast: Mapování procesů – tvoří jádro procesní evaluace a poskytuje základ pro tematické analýzy dalších evaluačních otázek.

a. EO 1: Je metodické prostředí ŘO OP PIK v oblasti TP trvalé, přehledné a uživatelsky přívětivé?

b. EO 2: Odpovídá nastavení TP potřebám ŘO OP PIK? Nedochází v praxi k častým odchylkám od metodik, různým výkladům a z toho plynoucím pochybením?

c. EO 3: Jsou v metodickém prostředí OP PIK v oblasti TP uplatňovány procesy či jejich části, které lze označit jako nadbytečné? Z čeho vyplývá potřeba provádění nadbytečných procesů? Přetrvává tato potřeba? Jaký dopad na implementaci OP PIK by mělo zrušení každého nadbytečného procesu?

d. EO 4: Neobsahuje metodické prostředí OP PIK v oblasti TP tzv. hluchá místa, tedy situaci, kdy platná metodika danou problematiku vůbec neupravuje?

2) Oblast: Alokace programu – je zaměřena na alokaci prostředků pro realizaci technické pomoci. Tuto problematiku, navazující na procesní analýzu, zkoumají jak z pohledu výše alokace jako takové, tak i jejího využívání a distribuce a procesů souvisejících s monitoringem.

a. EO 5: Byla vhodně nastavena výše alokace na TP? Je potřebné/vhodné tuto alokaci nějak upravit?

b. EO 6: Je pravidelně vyhodnocováno čerpání TP? Odpovídají odhady výdajů skutečnosti?

c. EO 7: Jsou stanoveny kvantifikovatelné cíle TP, které by umožňovaly řídit efektivitu aktivit TP? Jsou hodnoceny přínosy schvalovaných projektů vzhledem k cílům TP? Je prováděna reflexe realizovaných činností TP jako podklad pro další činnost (sestavování rozpočtu apod.)?

d. EO 8: Je sledování přínosů TP prostřednictvím indikátorové soustavy vhodným způsobem měření dosahovaných výsledků? Byly vhodně zvoleny indikátory technické

12


pomoci pro účely monitorování? Pokrývají zvolené indikátory všechny aktivity TP? Byly vhodně nastaveny cílové hodnoty indikátorů, resp. výchozí hodnoty u výsledkových indikátorů?

3) Oblast: Indikátory – zahrnuje ověřování systému monitoringu věcného plnění technické pomoci.

a. EO 7: Jsou stanoveny kvantifikovatelné cíle TP, které by umožňovaly řídit efektivitu aktivit TP? Jsou hodnoceny přínosy schvalovaných projektů vzhledem k cílům TP? Je prováděna reflexe realizovaných činností TP jako podklad pro další činnost (sestavování rozpočtu apod.)?

4) Oblast: Realizace projektů TP – je zaměřena na samotnou realizaci technické pomoci prostřednictvím podpořených projektů. Zaměřuje se především na procesní stránku a věcné plnění jednotlivých aktivit.

a. EO 9: Byla výše finančních limitů pro projekty TP nastavena adekvátně? Proběhlo hodnocení a výběr projektů transparentním způsobem?

b. EO 10: Jsou v rámci projektů realizována relevantní dílčí plnění odpovídající nastaveným cílům a aktivitám? Je administrace projektů nastavena efektivním způsobem?

c. EO 11: Je dokumentace k projektům TP řádně archivována?d. EO 12: Jsou Pravidla pro výběr dodavatelů pro projekty realizované v rámci TP

nastavena efektivně? Je zajištěno proškolení a vzdělávání pracovníků zapojených do přípravy a realizace výběrových řízení spadajících pod TP?

5) Oblast: Lidské zdroje, administrativní kapacita – analyzuje především, zda technická pomoc poskytuje dostatečnou administrativní kapacitu, a to ať už v kvantitativním slova smyslu (počet osob zajišťujících realizaci programu), tak i kvalitativním (odpovídající kvalifikace).

a. EO 13: Je velikost a struktura administrativní kapacity ŘO a ZS OP PIK optimální?b. EO 14: Jaký je vývoj míry fluktuace zaměstnanců a jaké jsou její nejčastější příčiny?

Jsou zaměstnanci dostatečně motivováni za účelem snížení fluktuace?c. EO 15: Jsou zajištěny odpovídající vzdělávací akce pro zaměstnance? Dodavatel

zhodnotí, zda jsou zaměstnanci řádně proškoleni a zda jsou spokojeni s nabídkou a přínosem vzdělávacích akcí.

6) Oblast: Publicita – je analyzována opět z pohledu procesů, které jí zajišťují – není tak hodnocen vlastní obsah opatření publicity.

a. EO 16: Je systém tvorby a vyhodnocování publicitních opatření nastaven efektivně? Bude-li odpověď na evaluační otázku negativní, navrhne dodavatel způsob vyhodnocování publicitních opatření.

Alokace programu

13


3.2.1 EO 1: Je metodické prostředí ŘO OP PIK v oblasti TP trvalé, přehledné a uživatelsky přívětivé?

Postup řešení 1) Analýza interní dokumentace, kterou je řízena TP OPPIKJe prvním krokem, který předchází veškeré činnosti při zpracování samotné evaluace a je vstupem pro rozpracování samotné metodiky řešení celého evaluačního projektu.

2) Zpracování základní procesní mapy řízení TP OPPIK na základě analýzy interní dokumentace rozpracované do úrovně jednotlivých procesů v podobě procesních diagramů (viz níže)Procesní mapa TP OPPIK člení a strukturuje procesy probíhající v rámci realizace TP OPPIK. Zpracovaná procesní mapa vychází z primárně z Operačního manuálu OPPIK. Každý proces je definován jednoznačným názvem a identifikátorem. Procesy jsou seskupeny do tematických celků, které kopírují strukturu definovanou operačním manuálem.

Procesní mapa TP OPPIKProcesní mapa je souhrnem všech procesů identifikovaných v rámci TP OPPIK.

ID Název procesu Nositel

S2A Koordinace OP – Evaluace (PO5)

S2A.01 Indikativní evaluační plán EJ OP PIK

S2A.01.01 Sestavení a schvalování indikativního evaluačního plánu EJ OP PIK

S2A.01.03 Aktualizace (v ročních intervalech) a připomínkování EJ OP PIK

S2A.01.04 Vyhodnocení plnění EP ŘO

S2A.02 Evaluační studie RE

S2A.02.01 Příprava VŘ a výběr dodavatele RE

S2A.02.03 Řízení evaluační zakázky RE

S2A.03 Doporučení z evaluačních zpráv RE

S2A.04 Zpráva o plnění EP RE

S2B Koordinace OP – Indikátory (PO5)

S2B.01 Návrh intervenční logiky/TZ pro každý specifický cíl OP ROP

S2B.02Stanovení cílových hodnot indikátorů na úrovni investičních priorit a specifických cílů OP PIK

ROP

S2B.03 Návrh Soustavy indikátorů OP PIK vč. agregační mapy ROP

S2B.04 Zavedení nového indikátoru ROP

14



S2B.05 Sledování a vyhodnocování průběžného plnění indikátorů ROP

S3A Koordinace OP – Monitorování – zprávy (PO5)

S3A.01 Výroční/Závěrečná zpráva OP PIK RM

S3A.02 Výroční zpráva o implementaci finančních nástrojů RM

S3A.03 Zpráva o plnění evaluačního plánu programu RM

S3A.04 Strategický realizační plán OP PIK RM

S3A.05 Vyhodnocení SRP RM

S4 Koordinace OP – Publicita

S4.01 Zpracování ročního komunikačního plánu IKZ

S4.02 Dohled nad realizací komunikačního plánu IKZ

S5 Koordinace OP – Lidské zdroje

S5.01 Analýza administrativní kapacity RŠV

S5.02 Vytvoření kompetenčního modelu RMET

S5.03 Nábor zaměstnancůvedoucí pracovník MPO/API

S5.03.01 Výběrové řízení do pracovního poměru

S5.03.02 Výběrové řízení do služebního poměru MPO

S5.04 Adaptacevedoucí pracovník MPO/API

S5.05 Hodnocení zaměstnancůvedoucí pracovník MPO/API

S5.06 Systém vzdělávání MMR-NOK

S5.06.01 Plán vzdělávacích akcí RŠV

S5.06.02 Přihlášení na vzdělávací akci RŠV

S6A Koordinace OP – Finanční vztahy k EK – alokace a realokace (PO5)

S6A.03.01 Finanční plán (PO5) ŘO

IP2 Interní projekty – Technická pomoc MPO

IP2.01 Vyhlašování výzev pro interní projekty RPDIP

IP2.02 Žádost o podporu PIP

IP2.03 Hodnocení žádosti o podporu RPDIP

IP2.04 Jednání výběrové komise předseda VK

IP2.05 Schválení limitu výdajů na realizaci projektu RPDIP

IP2.06 Změny žádosti o podporu po Schválení PIP

15



limitu výdajů na realizaci projektu

IP2.07 Výběrová řízení PIP

IP2.08 Kontrola a proplácení faktur PIP

IP2.09 Vyúčtování faktur – zařazení do Žádosti o platbu PIP

IP2.10 Monitoring IP PIP

IP3 Interní projekty – Technická pomoc API

IP3.01 Vyhlašování výzev pro interní projekty RPDIP

IP3.02 Žádost o podporu API

IP3.03 Hodnocení žádosti o podporu RPDIP

IP3.04 Jednání výběrové komise předseda VK

IP3.05 Výběrová řízení API

IP3.06 Změny žádosti o podporu po Rozhodnutí RPDIP

IP3.07 Zálohová žádost o platbu RPDIP

IP3.08 Kontrola a proplácení faktur RPDIP

IP3.09 Vyúčtování faktur – zálohy RPDIP

IP3.10 Monitoring IP API

IP3.11 Kontroly na místě RK

3) Dopracování procesní mapy řízení TP OPPIK na základě individuálních rozhovorů s vybranými zástupci implementační strukturyPrvotní procesní mapa zpracovaná v rámci vstupní zprávy na základě analýzy poskytnuté dokumentace, bude v rámci rozhovorů s pracovníky ŘO a ZS (dle nominace ze strany zadavatele), kteří se podílejí na realizaci/řízení procesů TP, dopracována do finální podoby a struktury, která bude předložena zadavateli.Součástí práce na procesní mapě bude také zpracování procesních diagramů a procesních karet se standardní sadou informací a údajů:

ID procesu Název procesu Vlastník procesu (nositel) Výstup procesu Dokumentace, která upravuje (definuje) průběh procesu Frekvence procesu

4) Ověření stability metodického prostředí na základě změn řídící dokumentace (frekvence a komplexita prováděných změn)V rámci tohoto kroku bude posouzena frekvence změn řídící

16


dokumentace a jejich význam a komplexita. Bude zpracován popisný výstup, který shrne „vývoj“ dokumentu a jeho dopad na realizaci TP OPPIK.

5) Dotazníkové šetření mezi pracovníky implementační struktury Pracovníci implementační struktury, kteří se zajišťují realizaci TP OPPIK budou v rámci dotazníkového šetření dotazováni na objektivní i subjektivní aspekty změn řídící dokumentace a s nimi spojených dopadů na realizaci procesů TP OPPIK.

6) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázkuPosledním krokem celého řešení bude syntéza poznatků z předchozích kroků a šetření.

Zdroje dat

Interní dokumentace Dotazníkové šetření (společné též pro další EO) Záznamy z rozhovorů Procesní mapa

Metody sběru a analýzy dat

Desk research/obsahová analýza Průzkumy uživatelů Individuální (řízené) polostrukturované rozhovory Metoda syntézy

Relevantní rizika a limity navrženého řešení, postup jejich eliminace

Viz rizika č. 2, 3, 5 a 7 uvedená v části 2.6

3.2.2 EO 2: Odpovídá nastavení TP potřebám ŘO OP PIK? Nedochází v praxi k častým odchylkám od metodik, různým výkladům a z toho plynoucím pochybením?

Řešení 1) Analýza dosavadních pochybení a míst s nejasným výkladem identifikovaných v auditních a evaluačních zprávách zpracovaných v minulostiPo analýze zjištění formulovaných v dříve zpracovaných auditních a evaluačních zprávách budou identifikována místa, kde může potenciálně docházet k nejčastějším odchylkám.

2) Individuální rozhovory s gestory příslušných procesů identifikovaných v procesní mapěPo zpracování procesní mapy a procesních diagramů budou s gestory příslušných procesů probíhat rozhovory, které budou

17


zaměřeny na identifikaci reálného průběhu procesu od „psané“ podobny procesu. Řada těchto míst bude předběžně identifikována již při zpracování procesní mapy, resp. procesních diagramů.Při rozhovorech budou popisovány důvodu odchylek v průběhu procesů a dále pak dopady na výstupy procesů.

3) Fokusní skupiny se zástupci implementační struktury (ŘO, ZS)V rámci fokusní skupiny bude řízena diskuse zejména směrem k identifikaci souladu fungování TP OPPIK s reálnými potřebami ŘO.Druhým významným okruhem bude hodnocení, jak případně odchýlený reálný průběh procesů od dokumentací nastaveného upravit.

4) Identifikace míst, kde je reálná praxe procesů řízení TP OPPIK odchýlená od procesní mapy řízení TP OPPIKV tomto kroku budou shrnuty výstupy a zjištění z předchozích kroků řešení této evaluační otázky a identifikovaná místa budou strukturovaně popsána a pojmenována (viz navazující krok).

5) Strukturovaný popis těchto míst/odchylekJednotlivé odchylky reálného průběhu procesu od nastavení procesu definovaného v dokumentaci budou popsány strukturovanou formou (viz aspekty v následující tabulce).

Identifikace procesu

Identifikace kroku procesu

Reálný průběh procesu

Příčiny odchylky

Zhodnocení vlivu odchylky na následná pochyben

6) Zhodnocení srozumitelnosti reálného průběhu procesu na různých úrovních implementační struktury u vybraných procesů s identifikovanou odchylkou reálného průběhu od průběhu daného metodikouPro vybrané procesy, které budou identifikovány primárně při individuálních rozhovorech a fokusní skupině, bude prostřednictvím dotazníkového šetření hodnocena srozumitelnost reálného průběhu procesu pro pracovníky ŘO a ZS.

7) Zhodnocení vlivu odchylky na následná pochybeníZ informací zjištěných v předchozích krocích bude zhodnoceno,

18


zda identifikované odchylky mají vliv na následná pochybení, která jsou podchycena evaluačními zprávami či audity, případně jsou identifikována přímo pracovníky ŘO a ZS.

8) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázkuV rámci tohoto kroku budou shrnuty závěry z jednotlivých fází řešení.

9) Verifikace a doplnění návrhů na optimalizaci při kulatých stolechPosledním krokem celého řešení této EO je provedení verifikace zpracovaných návrhů na úpravy procesů ze strany zástupců ŘO a ZS.

Zdroje

Auditní a evaluační zprávy Interní dokumentace Dotazníkové šetření (společné též pro další EO) Záznamy z rozhovorů Procesní mapa Závěry fokusních skupin Kulaté stoly

Metody

Desk research/obsahová analýza Průzkumy uživatelů Individuální (řízené) polostrukturované rozhovory, skupinový

rozhovor Fokusní skupiny Metoda syntézy

Rizika / limity a eliminace 5, 6 a 7

3.2.3 EO 3: Jsou v metodickém prostředí OP PIK v oblasti TP uplatňovány procesy či jejich části, které lze označit jako nadbytečné? Z čeho vyplývá potřeba provádění nadbytečných procesů? Přetrvává tato potřeba? Jaký dopad na implementaci OP PIK by mělo zrušení každého nadbytečného procesu?

Řešení 1) Individuální rozhovory s gestory příslušných procesů identifikovaných v procesní mapěPři realizaci individuálních rozhovorů budou identifkována

19


místa, která jsou nadbytečná. Typicky se jedná o činnosti, které jsou vykonávány tzv. „ze zvyku“. Byly realizovány v minulosti a po změně metodických postupů tyto činnosti dále probíhají.Tyto rozhovory budou probíhat společně pro navazující evaluační otázky (zejména EO 2-4).

2) Zhodnocení nadbytečnosti procesůProcesy, respektive jejich části, které budou v předchozích krocích identifikovány jako nadbytečné, budou rozděleny do několika kategorií:

Jednoznačně nadbytečné Pravděpodobně nadbytečné Nepravděpodobně nadbytečné

3) Analýza důvodů provádění nadbytečných procesůDůvody nadbytečnosti procesů budou identifikovány na základě provedeného desk research interní dokumentace, rozhovorů s gestory procesů a dále na základě provedeného dotazníkového šetření.

4) Posouzení potřebnosti dalšího provádění jednotlivých procesůNa základě provedeného vyhodnocení důvodů zachování nadbytečných procesů či jejich částí bude dále posouzena potřebnost (nezbytnost) jejich dalšího provádění.

5) Definice zakomponování procesu do řídící dokumentace a procesní mapy, je-li reálná potřeba jeho dalšího prováděníV případě, že v předchozím kroku budou nadbytečné procesy vyhodnoceny jako nezbytné, bude navržen způsob jeho zakomponování do řídící dokumentace a jejím prostřednictvím do procesní mapy.

6) Strukturovaný popis dopadu zrušení daného nadbytečného procesu, pokud neexistuje reálná potřeba jeho dalšího prováděníPro každý proces či jeho část, kdy je navrženo jeho zrušení, bude zpracován strukturovaný popis předpokladů a dopadů jeho zrušení.


Zdůvodnění nadbytečnosti procesu

Předpoklady pro zrušení procesu

Přínosy a dopady zrušení

20


procesu

Doporučení pro průběh rušení procesu (harmonogram, informační strategie, úpravy související dokumentace atd.)

7) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázkuV rámci tohoto kroku budou shrnuty závěry z jednotlivých fází řešení a bude formulována odpověď na evaluační otázku a dílčí podotázky.

8) Verifikace a doplnění návrhů na optimalizaci při kulatých stolechPosledním krokem celého řešení této EO je provedení verifikace zpracovaných návrhů na úpravy procesů ze strany zástupců ŘO a ZS.

Zdroje

Auditní a evaluační zprávy Interní dokumentace Záznamy z rozhovorů Procesní mapa Kulaté stoly

Metody


rozhovor Metoda syntézy

Rizika / limity a eliminace 5, 6 a 7

3.2.4 EO 4: Neobsahuje metodické prostředí OP PIK v oblasti TP tzv. hluchá místa, tedy situaci, kdy platná metodika danou problematiku vůbec neupravuje?

Řešení 1) Stanovení procesů, jejichž vykonávání není definováno v relevantní dokumentaciV průběhu zpracování procesní mapy a jejího dalšího ověřování při zpracování navazujících evaluačních otázek, budou identifikovány případné procesy, které nejsou v metodickém prostředí upraveny a současně tyto procesy jsou nezbytné a musí být v rámci TP OPPIK realizovány.

21


2) Individuální rozhovory s gestory těchto procesů a zjištění důvodů pro vykonávání procesuPři individuálních rozhovorech s gestory procesů budou u identifikovaných procesů, které nejsou upraveny metodikou, zjištěny důvody jejich realizace a bude potvrzena nezbytnost jejich realizace v rámci implementace TP OPPIK.

3) Vyhodnocení, zda je daný proces nadbytečný či nikolivHlavním zdrojem informací pro vyhodnocení nadbytečnosti / nezbytnosti daného procesu budou rozhovory s gestory procesů TP OPPIK.

4) V případě nadbytečnosti procesu budou definovány podmínky pro zrušení procesuStejně jako v případě EO 3 budou pro procesy, které nejsou upraveny stávající metodikou a současně jsou nadbytečné, definovány podmínky jeho zrušení v podobě strukturovaného popisu předpokladů a dopadů jeho zrušení.


Zdůvodnění nadbytečnosti procesu

Předpoklady pro zrušení procesu

Přínosy a dopady zrušení procesu

Doporučení pro průběh rušení procesu (harmonogram, informační strategie, úpravy související dokumentace atd.)

5) V případě, že proces není nadbytečný, bude navrženo opatření pro doplnění stávající dokumentace a proces bude zanesen do procesní mapyPro procesy, které jsou upraveny stávající metodikou a současně budou vyhodnoceny jako nezbytné, bude navržen způsob zakomponování do řídící dokumentace a jejím prostřednictvím do procesní mapy.

6) Verifikace a doplnění návrhů na optimalizaci při kulatých stolechPosledním krokem celého řešení této EO je provedení verifikace zpracovaných návrhů na úpravy procesů ze strany

22


zástupců ŘO a ZS.

Zdroje Interní dokumentace Záznamy z rozhovorů Kulaté stoly

Metody


rozhovor Metoda syntézy

Rizika / limity a eliminace 3 a 7

Alokace programu

3.2.5 EO 5: Byla vhodně nastavena výše alokace na TP? Je potřebné/vhodné tuto alokaci nějak upravit?

Řešení 1) Analýza nastavení výše alokace a její struktury v průběhu programového období

Pro potřeby Vstupní zprávy byla zpracována následující předběžná zjištění:Pro PO 5 je stanovena alokace ve výši cca 2,9 % z celkové alokace programu. Její rozdělení na specifické cíle vychází, dle programového dokumentu, ze zkušeností s realizací technické pomoci v OPPI a ve vazbě na alokaci a aktivity OPTP.Celková alokace TP v OP PIK činí 125 600 816 EUR (podpora EU, míra spolufinancování činí 85 % - celková alokace tak, včetně spolufinancování z veřejných zdrojů, činí cca 147,8 mil. EUR). Struktura alokace je následující:

Oblast zásahů Alokace (příspěvek EU, v EUR)

Příprava, provádění, monitorování, a kontrola (tj. především osobní náklady)

106 825 944

Hodnocení a studie 3 754 974

Informace a komunikace 15 019 898

Pro TP nebyla vyčleněna žádná část alokace jako výkonnostní rezerva.Podrobné rozdělení alokace TP do jednotlivých let implementace programu není stanoveno.

Analýza se dále zaměří na zpřesnění výše alokace a její struktury, vč.

23


vývoje v čase. Tato analýza bude zpracovaná na základě analýzy dokumentů (zejm. výročních zpráv o implementaci).

2) Identifikace faktorů, které měly vliv na změnu alokace a její struktury

V tomto kroku bude pro sběr dat využito především individuálních rozhovorů s 1 – 2 pracovníky ŘO zapojených do hlavních procesů TP OP PIK. Doplňkově bude využito také rozhovorů s relevantním pracovníkem ZS, zodpovědným za implementaci projektů TP v této instituci.

3) Analýza průběhu čerpání TP OPPIK dle strukturyDosavadní zjištění:Do 31. 12. 2018 bylo v rámci PO 5 OP PIK závazkováno cca 2,127 mld. Kč, tedy 81,75 mil EUR (prostředky EU – tedy bez spolufinancování). Tato částka tedy představuje kumulativní výši prostředků požadovaných projekty, které byly v rámci PO 5 schváleny k realizaci (celkem 38 interních projektů). Dle výroční zprávy o implementaci bylo k 31. 12. 2018 v rámci TP OP PIK vyčerpáno (proplaceno) celkem cca 27,44 mil. EUR (příspěvek EU), tedy cca 22 % alokace. Největší část čerpaných prostředků byla určena na mzdové prostředky ŘO, ZS a s nimi související povinné odvody na sociální zabezpečení, zdravotní pojištění a FKSP. S činností implementujících pracovníků souvisely také výdaje vynakládané na provoz budov a pracovní pomůcky a potřeby. Pracovníci se zúčastňovali tuzemských i zahraničních školení a seminářů. Kontrolní skupiny ŘO prováděly kontroly v místě realizace projektů po celé ČR. K této činnosti byly nakoupeny osobní automobily a z projektů TP byly hrazeny i pohonné hmoty, opravy, pojištění, dálniční známky pro vozový park. ZS realizoval monitorovací návštěvy u příjemců dotace, k tomu užíval též vozový park nakoupený zčásti z projektů TP. Dále byly hrazeny výdaje související s jednáními, jako např. Monitorovací výbor, rady pro fondy, jednání se zástupci EK. Finanční prostředky směřovaly rovněž na nákup propagačních předmětů a předmětů povinné publicity.

Analýza bude dále zpřesněna na základě analýzy projektových žádostí a zpráv o provádění interních projektů a případně dalších vstupů.

4) Projekce čerpání dle aktuálního plánu aktivit a činností v dalším období

Bude zpracována na základě aktuálních dat čerpání prostředků a analýzy realizovaných interních projektů podpořených v rámci TP OP PIK. Jejich finanční plány budou představovat klíčový vstup pro projekci. Aktuální hodnota schválených a realizovaných (případně

24


ukončených) individuálních projektů TP dosahuje, co se výše příspěvku EDU týče, cca 81,75 mil. EUR. Celková výše závazkovaných prostředků tedy prozatím nedosahuje alokace programu – ta je vyčerpaná z cca dva třetin. Budou proto analyzovány další případné projektové záměry pro TP a projekce bude o tato data doplněna.Validita analýzy bude ověřována prostřednictvím individuálního rozhovoru.

5) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázkuPosledním krokem celého řešení této EO je provedení verifikace zpracovaných návrhů na úpravy procesů ze strany zástupců ŘO a ZS.

Zdroje Interní dokumentace Administrativní data týkající se projektů TP OPPIK z MS2014+ Záznamy z rozhovorů

Metody

Desk research/obsahová analýza Základní matematické a statické metody Individuální (řízené) polostrukturované rozhovory Metoda syntézy

Rizika / limity a eliminace 2

3.2.6 EO 6: Je pravidelně vyhodnocováno čerpání TP? Odpovídají odhady výdajů skutečnosti?

Řešení

1) Zhodnocení procesu vyhodnocování čerpání TP (četnost, pravidelnost, výstupy z procesu)

Pro proces vyhodnocování čerpání TP se vztahují procesy související s implementací interních projektů (části IP1 – IP3 Operačního manuálu. Dané procesy jsou podrobně analyzovány v rámci hodnocení evaluačních otázek 1 - 4. Při jejich vyhodnocení budou tedy analyzovány rovněž procesy vyhodnocování čerpání TP. Čerpání TP je vyhodnocováno minimálně jednou ročně pro potřeby zpracování výroční zprávy o implementaci programu. Přesný proces analýzy bude výstupem analýzy procesů interních projektů.

2) Analýza přesnosti odhadů výše výdajů při plánování prostředků pro čerpání TP pomocí porovnání odhadů s reálným čerpáním základními matematickými a statistickými ukazateli

Doplňková analýza při zpracování projekce čerpání v předchozí evaluační otázce.

25


3) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázkuPosledním krokem celého řešení této EO je provedení verifikace zpracovaných návrhů na úpravy procesů ze strany zástupců ŘO a ZS.

Zdroje

Interní dokumentace Administrativní data týkající se projektů TP OPPIK z MS2014+ Projektová dokumentace Záznamy z rozhovorů

Metody


Rizika / limity a eliminace 2, 6

Indikátory

3.2.7 EO 7: Jsou stanoveny kvantifikovatelné cíle TP, které by umožňovaly řídit efektivitu aktivit TP? Jsou hodnoceny přínosy schvalovaných projektů vzhledem k cílům TP? Je prováděna reflexe realizovaných činností TP jako podklad pro další činnost (sestavování rozpočtu apod.)?

Řešení

1) Identifikace stanovených cílů TPPro potřeby Vstupní zprávy byla zpracována následující předběžná zjištění:Cíle TP jsou v programovém dokumentu formulovány následovně:

SC 5.1: Zajištění efektivního řízení a administrace operačního programu

SC 5.2: Zajištění informovanosti, publicity a absorpční kapacity operačního programu

Tyto specifické cíle jsou kvantifikovány následujícími ukazateli výsledku:

SC ID Ukazatel Měrná jednotka

Vých. hodnota (2014)

Cílová hodnota (2023)

5.1 82510 Míra stabilizace zaměstnanců imple-

% 53 65

26


mentační struktury

5.2 80210 Míra úspěšnosti projektových žádostí

% 94,37 95

Dále jsou formulovány následující ukazatele pro výstupy TP:

ID Ukazatel Měrná jednotka

Cílová hodnota (2023)2

80500

Počet napsaných a zveřejněných analytických a strategických dokumentů (vč. evaluačních)

doku-menty

30

80901

Počet uskutečněných kontrol na místě

kontroly 1 600

82000

Počet uskutečněných školení,seminářů, workshopů a konferencí

aktivity 1 300

82500

Počet pracovních míst financovanýchz programu

FTE -

Dosažené hodnoty daných monitorovacích indikátorů jsou zpracovány v následujících tabulkách (započítány kumulativní hodnoty, kterých bylo dosaženo a vykázáno, tedy skutečné plnění):

Indikátory výsledku3:

ID Ukazatel 2016 2017 2018 2019

82510 Míra stabilizace zaměstnanců imple-mentační struktury

51,78 48,67 56,53 50,55

80210 Míra úspěšnosti projektových žádostí

94,2 94,8 94,65 94,01

Indikátory výstupu

ID Ukazatel 2016 2017 2018 20194 % z cíl. hodn.

80500

Počet napsaných a zveřejněných

0 4 6 12 40

2 Výchozí hodnoty jsou pro všechny indikátory nulové. Cílové hodnoty vycházejí z předložené 7. revize programu, která je aktuálně schvalována EK.3 Zde i níže jsou data uvedena až od roku 2016 jednak z důvodu schválení programu v dubnu roku 2015, jednak z důvodu zahájení financování projektů z TP OPPIK až od roku 20164 Data k 30. 9. 2019

27


analytických a strategických dokumentů (vč. evaluačních)

80901

Počet uskutečněných kontrol na místě

0 193 425 598 37,4

82000

Počet uskutečněných školení,seminářů, workshopů a konferencí

172 333 590 764 58,8

82500

Počet pracovních míst financovanýchz programu

302,71 332,2 369,46

386,2 -

Uvedeny jsou hodnoty prokázané ve zprávách o realizaci. Pokud by byly započítány hodnoty indikátorů, které mají být naplněny závazkovanými projekty, pochopitelně by byly vyšší.

Nad rámec uvedeného jsou sledovány následující interní ukazatele výsledku nebo výstupu:

ID Ukazatel Měrná jednotka

Výsledek / výstup

Cílová hodnota (2023)

82520

Počet trvale zaměstnaných pracovníků implementační struktury

FTE výsledek 217

80600

Počet jednání orgánů, pracovních či poradních skupin

jednání výstup 100

82200

Nákup materiálu, zboží a služeb potřebných k zajištění implementace programu

Kč výstup 1,2 mld.

82300

Počet nově pořízeného vybavení

inventární čísla

výstup 1 300

80810

Míra čerpání prostředků programu

% výsledek 100

80200

Počet vytvořených informačních materiálů

unikátní materiály

výstup 20

82200

Nákup materiálu, zboží a služeb potřebných k zajištění implementace

Kč výstup 0,6 mld.

28


programu

80103

Počet vytvořených komunikačních nástrojů

nástroje výstup 1

Aktuální hodnoty těchto dodatečných indikátorů prozatím hodnotitel nemá k dispozici.

2) Zhodnocení jejich definice z pohledu reálné kvantifikaceBude do hloubky analyzována metodika nápočtu daných indikátorů, a to zejména pro potřeby vykazování aktuálních hodnot ve Výroční zprávě programu, případně v dalších reportovacích schématech. Na základě těchto vstupů, doplněných výsledky z individuálních rozhovorů, bude konfrontována definice daného indikátoru, stanovená v agregační mapě a dalších dokumentech, s aplikovanou metodikou kvantifikace hodnot a jejich nápočtu za účelem monitoringu.

3) Analýza vyhodnocování přínosů jednotlivých projektů k cílům TP OPPIK

Metodika monitoringu programu stanovuje následující postup pro monitorování TP:

Závazně bude sledován indikátor výstupu pro plnění aktivit školení žadatelů OP PIK, stejně jako implementační struktury, seminářů, workshopů, konferencí, a dále indikátor sledující zrealizované analytické studie a evaluace. Tyto aktivity mají přispět ke zvýšení absorpční kapacity programu s pevnou vazbou na zvýšení míry povědomí veřejnosti o fondech EU. Tím je plněn výsledkový indikátor navržený MMR-NOK a zakomponovaný do textu OPTP, sledovaný centrálně na úrovni MMR-NOK. Ve vztahu k interním potřebám programu pak plnění výstupových indikátorů programu směřuje na vyšší míru stabilizace zaměstnanců implementační struktury (indikátor výsledku) a vyšší míru úspěšnosti projektových žádostí.

Monitoring projektů dále rozpracovává část IP1 – 3 Operačního manuálu. Tyto procesy jsou podrobně analyzovány v evaluačních otázkách 1-4 a výstupy této analýzy budou jedním ze zdrojů dat pro vyhodnocení EO 7.

Informace o skutečném procesu vyhodnocování přínosů projektů k cílům TP OPPIK bude zpracováno především na základě individuálních rozhovorů se 2 zástupci ŘO a 2 zástupci ZS (předpoklad; osoby, které mají na starosti realizaci interních projektů). Praxe monitoringu bude srovnána s výsledky dosaženými v kroku 2 a s požadavky operačního manuálu.

29


4) Zhodnocení reálného dopadu prováděného vyhodnocování přínosů projektových aktivit na další fungování a cílení TP OPPIK

Zdrojem informací budou rozhovory (viz výše) a syntéza dosavadních informací zpracovaná evaluátorem.

5) Vyhodnocení oblastí, ve kterých se vyhodnocení předchozích aktivit projevuje (věcné zaměření projektových aktivit, rozpočet, rušení / definování nových aktivit atd.)

Jde o syntézu předchozích poznatků, která bude ověřena v rámci kulatého stolu.6) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na

evaluační otázkuPosledním krokem celého řešení této EO je provedení verifikace zpracovaných návrhů na úpravy procesů ze strany zástupců ŘO a ZS.

Zdroje


Metody



3.2.8 EO 8: Je sledování přínosů TP prostřednictvím indikátorové soustavy vhodným způsobem měření dosahovaných výsledků? Byly vhodně zvoleny indikátory technické pomoci pro účely monitorování? Pokrývají zvolené indikátory všechny aktivity TP? Byly vhodně nastaveny cílové hodnoty indikátorů, resp. výchozí hodnoty u výsledkových indikátorů?

Řešení 1) Zhodnocení indikátorů z pohledu pokrytí spektra projektových aktivit v rámci TP

Hodnocení bude provedeno na základě obsahové analýzy projektové dokumentace interních projektů. Budou abstrahovány a kvantifikovány významné aktivity interních projektů a k nim budou přiřazeny relevantní indikátory výstupu. Dále budou prostřednictvím metody intervenční logiky / teorie změny konstruovány kauzální vazby mezi jednotlivými výstupy a cíli programu a na tomto základě bude zhodnoceno pokrytí TP

30


indikátory výsledku.

2) Zhodnocení indikátorů z pohledu funkčního využití pro reálné sledování plnění aktivit v rámci TP

Hodnocení bude realizováno prostřednictvím syntézy poznatků získaných při hodnocení EO 7 a 8 a dále prostřednictvím individuálních rozhovorů – viz EO 7.

3) Syntéza poznatků a vyhodnocení vhodnosti sledování přínosů TP prostřednictvím indikátorové soustavy obecně a zvolené indikátorové soustavy

Syntéza předchozích poznatků.

4) Analýza výchozích a cílových hodnot indikátorůAnalýza bude v tomto kroku zpracována na základě dokumentové analýzy a matematicko-statistických metod, kdy bude modelován další trend plnění monitorovacích indikátorů. Využito bude dále výsledků předchozích evaluací, především potom závěrečné zprávy z evaluace „Analýza absorpční kapacity a návrh cílových hodnot indikátorů Operačního programu podnikání a inovace pro konkurenceschopnost 2014-2020“.

5) Zhodnocení přesnosti definovaných hodnot u indikátorůSyntéza poznatků z bodu 4

6) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázku

Posledním krokem celého řešení této EO je provedení verifikace zpracovaných návrhů na úpravy procesů ze strany zástupců ŘO a ZS.

Zdroje


Metody

Desk research/obsahová analýza Základní matematické a statické metody Individuální (řízené) polostrukturované rozhovory Teorie změny Metoda syntézy


31


Realizace projektů TP

3.2.9 EO 9: Byla výše finančních limitů pro projekty TP nastavena adekvátně? Proběhlo hodnocení a výběr projektů transparentním způsobem?

Řešení 1) Identifikace finančních limitůFinanční limity budou identifikovány na základě analýzy dokumentace související s implementací IP. Klíčovými dokumenty bude především výzva pro předkládání IP, kde příjemcem je ŘO (proces IP2 dle Operačního manuálu), resp. ZS - API (proces IP3).

2) Zhodnocení způsobu nastavení výše limitůIdentifikované limity budou podrobně analyzovány ve vztahu k projektovým dokumentacím předložených IP. Zodpovědnost za proces formulace výzev leží na pracovníkovi v pozici RPDIP (referent poskytovatele dotace pro interní projekty). Proces nastavení výše limitů a obecně podmínek pro IP bude proto ověřován také prostřednictvím individuálního rozhovoru s pracovníkem na této pozici.

3) Analýza procesu hodnocení a výběru projektů TP, realizace individuálních rozhovorů

Dle Operačního manuálu jsou v rámci ŘO odděleny pozice RPDIP (viz výše) a PIP – tedy pracovník interního příjemce. Role při zpracování, hodnocení, výběru a implementaci IP je rozdělena mezi tyto osoby. V případě IP API je jmenován zodpovědný pracovník v pozici Příjemce IP, který má zodpovědnost za přípravu, realizaci a monitoring.Relevantní procesy hodnocení, výběru, schvalování a realizace IP jsou podrobně popsány v operačním manuálu – procesy IP1 – IP3 a relevantní přílohy. Pro tyto procesy budou zpracovány procesní mapy – viz EO 1 – 4. Následně budou prostřednictvím individuálních rozhovorů analyzována praxe daných procesů, jejich soulad s procesy popsanými v OM a případné odchylky. Tyto aktivity budou částečně předmětem EO 1-4, při zpracování hodnocení EO 9 budou otázky doplněny dotazy na transparentnost a efektivitu daných procesů.Respondenty IP budou minimálně osoby v pozici RPDIP, PIP a pověřené osoby API. Minimálně tedy budou individuální rozhovory vedeny se třemi osobami.

32


4) Posouzení souladu hodnocení a výběru projektů TP s nastavenými postupy a metodikami

Jde o syntézu předchozích zjištění. Budou identifikovány případné odchylky praxe schvalování IP od stanovených procesů.



Zdroje

Interní dokumentace Projektová dokumentace Individuální rozhovory Záznamy z rozhovorů

Metody Desk research/obsahová analýza Individuální (řízené) polostrukturované rozhovory Metoda syntézy

Rizika / limity a eliminace 5 (v souvislosti s potřebou zpětné rekonstrukce postupů)

3.2.10 EO 10: Jsou v rámci projektů realizována relevantní dílčí plnění odpovídající nastaveným cílům a aktivitám? Je administrace projektů nastavena efektivním způsobem?

Řešení 1) Identifikace projektových cílů a navázaných projektových aktivit v rámci projektů TP OPPIK

Analýza navazuje na EO 7. Aktivity projektů budou dále rozpracovány, kategorizovány a přiřazeny k cílům TP prostřednictvím logických rámců / teorií změn, viz EO 8 krok 1. Analýza bude zpracována na základě dokumentové analýzy a doplňkově bude využito individuálních rozhovorů s pracovníky zodpovědnými za implementaci IP.

2) Identifikace očekávaných / reálných výstupů v rámci jednotlivých projektů TP OPPIK

Bude zpracováno současně s analýzou v kroku 1.

3) Zhodnocení vazby projektových aktivit na očekávané / reálné výstupy

Bude zpracováno současně s analýzou v kroku 1. Klíčové bude rozpracování aktivit a jejich systematizace v rámci logického rámce.Reálné výstupy projektů budou analyzovány na základě průběžných / závěrečných zpráv o realizaci IP, doplňkově budou využity

33


rozhovory.

4) Posouzení administrativní kapacity realizace projektů TP OPPIK z pohledu reálných objemů úkonů při administraci (počty zpracovávaných monitorovacích a dalších zpráv)

Bude zpracováno na základě realizovaných rozhovorů. Předběžná zjištění budou ověřována prostřednictvím fokusní skupiny. Dále bude analyzováno kvantitativně. Budou podrobně zmapovány procesy implementace IP (v rámci EO 1-4) a na základě analýzy dokumentace i rozhovorů budou odhadnuty časové dotace potřebné pro jednotlivé úkony / procesy. V rámci mapování procesů bude také identifikována jejich četnost při implementaci IP. Na tomto základě bude kvantitativně odhadnuta administrativní náročnost implementace IP a s tím propojena administrativní kapacita dostupná pro implementaci.

5) Zhodnocení zastupitelnosti při administraci projektů TP OPPIKZastupitelnost bude analyzována v rámci analýzy administrativní kapacity a také v rámci fokusní skupiny.

6) Fokusní skupiny pro doplnění kvalitativních informací k otázce efektivity administrace

Předběžná zjištění evaluace budou předmětem diskuze ve fokusní skupině. Jejím účelem bude ověřit a kvalitativně interpretovat zjištění v oblasti administrace IP.



Zdroje

Interní dokumentace Projektová dokumentace Individuální rozhovory Záznamy z rozhovorů Fokusní skupiny

Metody

Desk research/obsahová analýza Individuální (řízené) polostrukturované rozhovory Metoda syntézy Fokusní skupina


3.2.11 EO 11: Je dokumentace k projektům TP řádně archivována?

Řešení 1) Identifikace zásad a pravidel archivace z interních předpisů implementační struktury a nadřazené dokumentace

34


Bude zpracováno na základě dokumentové analýzy pravidel souvisejících s archivací.2) Zhodnocení projektové dokumentace projektů TP OPPIK

z pohledu splnění identifikovaných pravidel a zásadPlnění předpisů bude ověřeno na místě ve spolupráci s pracovníky ŘO / ZS odpovědnými za daný proces.


Na základě výsledků analýzy a ověření na místě budou formulována případná doporučení v této oblasti.

Zdroje Interní dokumentace Projektová dokumentace

Metody Desk research/obsahová analýza Metoda syntézy


3.2.12 EO 12: Jsou Pravidla pro výběr dodavatelů pro projekty realizované v rámci TP nastavena efektivně? Je zajištěno proškolení a vzdělávání pracovníků zapojených do přípravy a realizace výběrových řízení spadajících pod TP?

Řešení 1) Analýza Pravidel pro výběr dodavatelů pro realizované projekty

Pravidla pro výběr dodavatelů v interních projektech jsou zpracována v Operačním manuálu (IP 1 – 3) a především v příloze D12_1_M. Příloha IP1_3_M OM dále specifikuje podmínky pro využívání externích služeb v rámci IP, a to včetně výčtu služeb, pro které je přípustné externí dodavatele využívat.Tato a případná další relevantní pravidla pro výběr dodavatelů budou zpracována do hodnotícího rámce („checklistu“), podle nějž budou vyhodnocena realizovaná VŘ.2) Zhodnocení, zda výstupy získané od vybraných dodavatelů

odpovídají požadavkům zadavatele a mají očekávanou přidanou hodnotu

Klíčové bude opět využití dokumentové analýzy. Přidaná hodnota výstupů bude ověřovaná prostřednictvím individuálních rozhovorů (min. 2-3 individuální rozhovory, dle typu veřejných zakázek – např. pracovník zodpovědný za výstupy VŘ v oblasti studí a evaluací, pracovník zodpovědný za VŘ v oblasti propagace a komunikace, pracovník zodpovědný za VŘ v oblasti vzdělávání a lidských zdrojů, atd.). Dále bude pro posouzení přidané hodnoty a „kvality“ výstupů využito také fokusní skupiny. Pro každý typ výstupu bude sestaven

35


pouze vzorek výstupů, které budou vyhodnocovány v rámci FS. Při sestavení vzorku bude, pokud to bude možné, kladen důraz na to, aby byly výsledkem VŘ s odlišně nastavenými pravidly pro výběr.

3) Zmapování vývoje hodnotících kritérií využívaných při výběru dodavatelů

Bude realizováno prostřednictvím dokumentové analýzy jednotlivých veřejných zakázek.

4) Posouzení provázanosti kvality výstupů a vývoje hodnotících kritérií

Bude výsledkem individuálních rozhovorů a fokusních skupin. Pokud to bude možné, budou využity také kvantitativní metriky – například počet vznesených připomínek, počet kol připomínkového řízení, případné dodatky smluv, atd.

5) Dotazníkové šetření mezi vybranými zaměstnanci implementační struktury zapojenými do výběru dodavatelů v rámci projektů TP OPPIK cílené na vzdělávací aktivity v oblasti přípravy a realizace výběrových řízení

Bude využito pro vyhodnocení odborných znalostí příslušných zaměstnanců v oblasti realizace VŘ. Doplňkově bude také využito individuálních rozhovorů.

6) Fokusní skupiny pro doplnění kvalitativních informací ve vztahu k proškolení i efektivitě procesů

Bude realizováno v rámci FS organizovaných v kroku 4.



Zdroje

Interní dokumentace Nadřazená dokumentace Projektová dokumentace Dotazníkové šetření Individuální rozhovory Záznamy z rozhovorů Fokusní skupiny

Metody

Desk research/obsahová analýza Individuální (řízené) polostrukturované rozhovory Dotazníkové šetření Fokusní skupina Metoda syntézy

36


Rizika / limitySpecifické riziko: Vazba mezi pravidly pro výběr dodavatelů a následně získanými výstupy není zcela přímá, proto je hodnocení efektivity nastavení jako vícevrstevného hlediska komplikovanější

EliminaceDodavatel bude klást důraz na hodnocení „vrstvy“ aspektu efektivity přenesené do podoby kvality výstupů získaných nastaveným procesem

37


Lidské zdroje, administrativní kapacita

3.2.13 EO 13: Je velikost a struktura administrativní kapacity ŘO a ZS OP PIK optimální?

Řešení 1) Kvantifikace úkonů zajišťovaných v rámci hlavních procesů implementace s OPPIK ŘO a ZSZ pohledu cílů evaluace je podstatné zhodnotit administrativní kapacitu ŘO a ZS OP PIK vztaženou na reálný objem vykonávaných aktivit v rámci hlavních procesů implementace OPPIK ŘO a ZS ve zvoleném časové období.Cílem celého řešení je tedy posouzení rovnice:

Počet realizovaných úkonů * časová náročnost na tyto úkony < = > počet určených FTE * fond pracovní doby

Klíčovým bude právě ověření rovnosti či nerovnosti rovnice, ze které vyplyne, zda administrativní kapacita ŘO a ZS na realizaci definovaných hlavních procesů je podhodnocena, nadhodnocena nebo je v rovnováze.

Prvním bodem celého řešení EO je určení období, pro které bude administrativní kapacita hodnocena. S ohledem na relevanci výstupů evaluace pro zadavatele, se jako optimální jeví zhodnocení za období roku 2019, kdy budou v brzké době známy konečné údaje za celý rok a současně bude řešen aktuální stav v době zpracování evaluace.

Hlavní procesy, které představují dominantní zátěž administrativní kapacity celé implementační struktury, jsou definovány v Operačním manuálu OP PIK 2014–2020 a to konkrétně v:

bloku Taktické řízení – konkrétně definované agendy:o T5A – Podpůrné nástroje pro hodnocení –

ekonomické hodnocenío T5B – Podpůrné nástroje pro hodnocení – CBA

a hodnocení socioekonomických dopadůo T5D – Podpůrné nástroje pro hodnocení – ověření

statutu MSP

bloku Operativního řízení – konkrétně definované agendy:

o D1 – Dotace – Žádost o podporu I. stupeň (předběžná žádost o podporu)

o D2 – Dotace – Žádost o podporu II. stupeň (žádost o podporu)

o D3 – Dotace – Posudek interního hodnotitele

38


(věcné hodnocení)o D4 – Dotace – Výběrová komiseo D5 – Dotace – Schvalování projektůo D6 – Dotace – Rozhodnutí o poskytnutí dotace –

podpis žadateleo D7 – Dotace – Rozhodnutí o poskytnutí dotace –

podpis poskytovatele dotaceo D8 – Dotace – Přezkumná komise pro zamítnuté

projektyo D9 – Dotace – Změny projektu před vydáním

rozhodnutío D10 – Dotace – Změny projektů po vydání

rozhodnutío D11 – Dotace – Odnětí dotaceo D12 – Dotace – Kontrola VŘo D16 – Dotace – Kontrola ŽoP I. stupeň – úplnost

a finanční kontrolao D17 – Dotace – Kontrola ŽoP II. stupeň (průběžné,

závěrečné, IoP projektu)o D18 – Dotace – Kontrola na místěo D19 – Dotace – Kontrola ŽoP I. stupeň – věcnáo D20 – Dotace – Postup podle § 14e zákona

o rozpočtových pravidlecho D21 – Dotace – Kontrola ŽoP II. stupeň –

autorizaceo D22 – Dotace – Období trvalosti projektu

Nosnými úkony hlavních procesů implementace OPPIK, které jsou zásadní pro řízení administrativní kapacity ŘO a ZS OPPIK (pokrývají největší objem pracovního vytížení) a budou tudíž řešeny při vypracování odpovědi na EO 13, jsou zejména tyto:

Počet provedených (zkontrolovaných) ekonomických hodnocení žadatele (T5A) včetně opakování, pokud byl žadatel vyzván k opravě

Počet provedených (zkontrolovaných) ekonomických hodnocení žadatele (T5B) včetně opakování, pokud byl žadatel vyzván k opravě

Počet provedených (zkontrolovaných) ověření statutu MSP žadatele (T5D) včetně opakování, pokud byl žadatel vyzván k opravě

Počet zkontrolovaných žádostí o podporu I. stupeň (předběžná žádost o podporu) (D1) včetně opakování, pokud byl žadatel vyzván k opravě

Počet zkontrolovaných žádostí o podporu II. stupeň

39


(předběžná žádost o podporu) (D2) včetně opakování, pokud byl žadatel vyzván k opravě

Počet zpracovaných posudků interního hodnotitele (věcné hodnocení) (D3)

Počet zpracovaných arbitrážních hodnocení (D3) Počet zadaných externích posudků (D3) Počet realizovaných hodnotících komisí (D4) Počet vydaných RoPD (D6-7) Počet realizovaných přezkumných řízení (D8) Počet zpracovaných opravných posudků (D8) Počet změn projektů před vydáním rozhodnutí

posuzovaných pouze PM API (D9) Počet změn projektů před vydáním rozhodnutí

posuzovaných v plném rozsahu (D9) Počet změn projektů po vydání rozhodnutí (D10) Počet řešených řízení o odnětí dotace (D11) Počet kontrol zakázek před Rozhodnutím dle PpVD (D12)

včetně opakování, pokud byl žadatel vyzván k opravě Počet kontrol zakázek před Rozhodnutím dle ZzVZ (D12)

včetně opakování, pokud byl žadatel vyzván k opravě Počet kontrol zakázek po Rozhodnutí dle PpVD v I. stupni

(D12) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrol zakázek po Rozhodnutí dle PpVD ve II. stupni (D12) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrol zakázek po Rozhodnutí dle PpVD ve III. stupni (D12) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrol zakázek po Rozhodnutí dle ZzVZ v I. stupni (D12) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrol zakázek po Rozhodnutí dle ZzVZ ve II. stupni (D12) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrol zakázek po Rozhodnutí dle ZzVZ ve III. stupni (D12) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrol ŽoP v I. stupni (úplnost a finanční kontrola) (D16) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrolovaných průběžných zpráv (D17) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrolovaných závěrečných zpráv (D17) včetně opakování, pokud byl příjemce vyzván k opravě

Počet kontrolovaných IoP projektu (D17) včetně

40


opakování, pokud byl příjemce vyzván k opravě Počet realizovaných kontrol na místě (D18) Počet kontrol ŽoP v I. stupni (věcná) (D19) Počet krácených ŽoP dle §14e (D20) Počet kontrol ŽoP ve II. stupni (autorizace) (D21) Počet administrovaných průběžných zpráv o udržitelnosti

projektu (D22) včetně opakování, pokud byl příjemce vyzván k opravě

Počet administrovaných závěrečných zpráv o udržitelnosti projektu (D22) včetně opakování, pokud byl příjemce vyzván k opravě

Seznam procesů vychází z Operačního manuálu, nicméně dostupnost dat k procesům bude záviset především na možnosti jejich vytěžení z MS2014+/BIP. Konečný výčet procesů řešených z pohledu celkové administrativní kapacity ŘO a ZS OPPIK bude finalizován souběžně se zpracováním procesní mapy procesů TP OPPIK v rámci EO 1.

2) Zhodnocení časové náročnosti jednotlivých úkonů (pomocí dat ze systému MS2014+, individuálních rozhovorů s pracovníky zajišťujícími tyto procesy, případně dotazníkového šetření)V rámci tohoto kroku bude zpracovatel evaluace získávat hodnoty časové náročnosti pro realizaci 1 úkonu.V průběhu přípravy předložené vstupní zprávy byl rozšířen okruh zdrojů informací využitých pro řešení EO, resp. kvantifikace časové náročnosti také o provedená měření a šetření ze strany implementační struktury OPPIK v průběhu řízení procesů a jejich optimalizace při řízení implementace OPPIK.Pokud budou pro některé úkony poskytnuty údaje o časové náročnosti plynoucí z již provedených měření (kvalifikovaných odhadů) ze stany ŘO a ZS, budou využity. V dalších případech budou zjišťovány primárně formou individuálních rozhovorů s určenými pracovníky implementační struktury (ŘO nebo ZS), kteří jsou přímo zapojeni do daných hlavních procesů implementace OPPIK (např. vedoucí příslušných oddělení nebo odborů).Alternativou pro individuální rozhovory pro kvantifikaci údajů může být specificky cílené dotazníkové šetření na definované pracovníky ŘO a ZS. Využití této metody bude zváženo po domluvě se zadavatelem na základě průběhu obsazení rozhovorů respondenty.

3) Posouzení administrativní kapacity realizace vybraných procesů implementace OPPIK z pohledu reálných objemů úkonů v procesech

41


V této fázi bude porovnána reálná absorpční kapacita ŘO a ZS (tj. počet FTE na pozicích, které daný proces řeší) s reálným objemem procesů (počet úkonů a jejich časová náročnost).Po dohodě se zadavatelem (dle jeho reálných potřeb a dostupnosti informací), bude administrativní kapacita procesů řešena ve vztahu k jednotlivým programům podpory realizovaným v rámci OPPIK nebo ve vztahu k prioritním osám OPPIK.Cílem bude klasifikace procesů, dle míry jejich kapacitního pokrytí implementačních strukturou a současně určení těch částí organizační struktury, které jsou kapacitně nedostatečně zajištěné, pokud takové budou.ŘO a ZS vykonávají ještě další procesy mimo hlavní, které budou předmětem hodnocení kapacity, tedy procesy řídící a podpůrné. Tyto procesy částečně zatěžují též útvary, které primárně řeší procesy hlavní. Z tohoto důvodu bude administrativní kapacita hodnocena nejen jako přímá (ne)rovnost kapacity a objemu práce, ale musí být zohledněna i rezerva kapacity pro zapojení do dalších procesů.

4) Porovnání skutečné administrativní kapacity ŘO a ZS s poznatky a doporučeními EKV rámci tohoto kroku bude současná struktura ŘO a ZS posouzena z pohledu provedených hodnocení a doporučení vydaných EK5. Toto posouzení bude mít spíše podpůrný charakter, protože struktura programů napříč ESIF a celou EU může být značně variabilní minimálně z pohledu počtu řešených projektů v rámci jednotlivých výzev či celého OP.

5) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázkuNosným výstupem celého řešení EO budou poznatky zjištěné v krocích 1 až 3, které budou následně doplněny závěry a doporučeními EK.

Zdroje

Interní dokumentace New assessment of ESIF administrative costs and burden Dotazníkové šetření Záznamy z rozhovorů MS2014+ Vlastní šetření ŘO/ZS při měření časové náročnosti jednotlivých

úkonů

Metody

Desk research/obsahová analýza Individuální (řízené) polostrukturované rozhovory Dotazníkové šetření Základní matematické a statistické metody Metoda syntézy

5 EK: New assessment of ESIF administrative costs and burden (2018).

42



3.2.14 EO 14: Jaký je vývoj míry fluktuace zaměstnanců a jaké jsou její nejčastější příčiny? Jsou zaměstnanci dostatečně motivováni za účelem snížení fluktuace?

Řešení 1) Analýza vývoje fluktuace zaměstnanců v průběhu programového obdobíFluktuace zaměstnanců je v podkladech poskytnutých zadavatelem (Roční/pololetní zpráva o administrativní kapacitě) hodnocena procentuálním vyjádřením počtu FTE, které ukončily své působení v implementační struktuře (z důvodu ukončení ve zkušební době, dohodou, výpovědí a uplynutím doby určité) na celkovém počtu FTE za hodnocené období.

RokŘO ZS

Počet FTE Fluktuace Počet FTE Fluktuace

20166 150,51 11,29 % 139,94 7,60 %

2017 197,78 11,63 % 150,07 18,66 %

2018 211,06 8,53 % 160,97 16,15 %

2019 (1.p.) 208,49 9,59 % 166,8 18,59 %

Z uvedených hodnot vyplývá poměrně stabilní fluktuace na ŘO, a naopak rostoucí fluktuace na ZS, kde dosahuje vyšších hodnot a snižují efektivitu fungování ZS.Dodavatel předpokládá při zpracování evaluace výpočet také rozšířeného ukazatele fluktuace, do kterého budou zahrnuty hodnoty „Počet ukončených/změněných úvazků – pouze mateřská/rodičovská dovolená, důchod, úmrtí, stáž“. Důvodem je fakt, že odchod pracovníků zachycený v tomto ukazateli má pro implementační strukturu často silnější dopad (odchod zkušených pracovníků), než odchod zaměstnance v rámci zkušební doby zahrnutý do standardního ukazatele fluktuace uvedeného výše).

2) Analýza opatření implementační struktury cílených na snížení fluktuace v průběhu programového obdobíV rámci individuálních rozhovorů se vedoucími pracovníky personálních útvarů ŘO a ZS budou definována opatření, která implementační struktura aplikovala s cílem snížení fluktuace zaměstnanců v průběhu programového období.

6 Data uvedena až od roku 2016 jednak z důvodu schválení programu v dubnu roku 2015, jednak z důvodu zahájení financování projektů z TP OPPIK až od roku 2016 – viz poznámka pod čarou č. 3.

43


3) Zhodnocení kvantitativního dopadu opatření na změnu míry fluktuaceNa základě časového zařazení provedených opatření, bude hodnocen jejich reálný vliv na dosažené hodnoty fluktuace.

4) Dotazníkové šetření mezi zaměstnanci implementační strukturyToto dotazníkové šetření bude provedeno mezi všemi zaměstnanci implementační struktury, tedy jak zaměstnanci ŘO, tak též ZS.Dotazníkové šetření bude koncipováno formou anonymního online nástroje, kde budou zaměstnanci dotazováni na otázky vázané na jejich motivaci k práci, hlavní motivační faktory a spokojenost s jejich nastavením na pracovišti. Dále pak budou dotazování na faktory fluktuace. Posledním okruhem dotazníkového šetření budou otázky cílené na EO 15 (blíže popsány v řešení této EO).

5) Individuální rozhovory s vybranými pracovníky implementační struktury (min. 5-6 individuálních rozhovorů)Do individuálních rozhovorů pro tuto EO by měli být zapojeni vedoucí pracovníci personálních útvarů ŘO a ZS (vždy alespoň jeden zástupce za MPO a za API).Dále pak pracovníci vybraných útvarů, které se přímo podílejí na hlavních procesech implementace OPPIK. Tyto rozhovory budou spojeny s individuálními rozhovory realizovanými při řešení dalších EO (zejména EO 1 a EO 3).

6) Fokusní skupinyDo fokusní skupiny předpokládá zpracovatel zapojení zástupců implementační struktury jak ze strany ŘO, tak též ZS. Konkrétně by bylo vhodné zapojit vedoucí pracovníky těch útvarů, které se přímo podílejí na hlavních procesech implementace OPPIK, protože se jedná o útvary s největším personálním obsazením.

7) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázkuPosledním krokem celého řešení bude syntéza poznatků z předchozích kroků a šetření.

Zdroje Interní dokumentace Data k vývoji počtu zaměstnanců implementační struktury a

jejich fluktuaci v průběhu programové období Dotazníkové šetření Fokusní skupina

44


Záznamy z rozhovorů

Metody

Desk research/obsahová analýza Individuální (řízené) polostrukturované rozhovory (vedoucí

personálních útvarů ŘO a ZS, pracovníci útvarů ŘO a ZS podílejících se na hlavních procesech implementace OPPIK)

Dotazníkové šetření (společné též pro další EO) Základní matematické a statistické metody Fokusní skupina (nominace stejná jako u předchozích EO) Metoda syntézy


3.2.15 EO 15: Jsou zajištěny odpovídající vzdělávací akce pro zaměstnance? Dodavatel zhodnotí, zda jsou zaměstnanci řádně proškoleni a zda jsou spokojeni s nabídkou a přínosem vzdělávacích akcí.

Řešení 1) Analýza procesu vzdělávání zaměstnanců z interní dokumentace implementační struktury a projektové dokumentace projektů cílených na vzdělávání pracovníků implementační strukturyProces vzdělávání zaměstnanců je realizován systematicky dle aktuálních potřeb plynoucích jednak z požadavků na danou pracovní pozici (zajišťovanou pracovní agendu) a dále pak z pravidelných hodnocení zaměstnance. Tato hodnocení provádí bezprostředně nadřízený 1x ročně. Jedním z důležitých výstupů hodnocení může být podnět pro absolvování jasně definovaných školení.Definované potřeby školení jsou následně zaneseny do Plánu vzdělávacích akcí.

2) Dotazníkové šetření mezi zaměstnanci implementační strukturyV rámci dotazníkového šetření cíleného na všechny zaměstnance ŘO a ZS bude zpracován blok otázek cílených na hodnocení nastaveného systému vzdělávání. Hodnocení se bude dělit do několika základních aspektů:

Dostupnost a flexibilita školení Nabídka školení Přínos školení pro zaměstnance (pracovní agendu) Odborná a technická úroveň školení

3) Syntéza poznatků z jednotlivých kroků a formulace odpovědi

45


na evaluační otázkuPosledním krokem celého řešení bude syntéza poznatků z předchozích kroků a šetření.

Zdroje

Interní dokumentace Projektová dokumentace specificky určených projektů Dotazníkové šetření (společné též pro další EO) Záznamy z rozhovorů

Metody

Desk research/obsahová analýza Dotazníkové šetření Základní matematické a statistické metody Metoda syntézy


Publicita

3.2.16 EO 16: Je systém tvorby a vyhodnocování publicitních opatření nastaven efektivně? Bude-li odpověď na evaluační otázku negativní, navrhne dodavatel způsob vyhodnocování publicitních opatření.

Řešení 1) Identifikace skupiny procesů, které se váží k tvorbě a vyhodnocování publicitních opatření

Procesy relevantní pro tvorbu publicitních opatření jsou předepsány v části S4 Operačního manuálu a dále jsou definovány v Metodickém pokynu NOK pro publicitu a komunikaci ESI fondů.Procesy související s publicitními opatřeními a komunikací obecně jsou zastřešeny ve Společné komunikační strategii ESI fondů v ČR v programovém období 2014 – 2020 a specificky pro OP PIK zpracovány ve formě komunikační strategie OP PIK.Klíčovým procesem pro publicitní opatření jsou periodicky zpracovávané Roční komunikační plány. RKoP zpracovává osoba na pozici Informační a komunikační zástupce (IKZ) a podléhá schválení Monitorovacího výboru OP PIK (na základě stanoviska MMR zpracované národním koordinátorem. Na realizaci aktivit navržených v RKoP dohlíží IKZ a pro jejich plnění jsou využity prostředky z prioritní osy 5 Technická pomoc. Za monitoring implementace RKoP a obecně naplňování komunikační strategie je rovněž zodpovědný IKZ. Publicitní opatření jsou realizována prostřednictvím interních projektů. V tomto smyslu jsou proto pro hodnocení procesů spojených s tvorbou a vyhodnocováním publicitních projektů

46


relevantní také procesy spojené s implementací interních projektů, popsaných v částech IP1–IP3 Operačního manuálu. Dané procesy jsou podrobně analyzovány v rámci hodnocení evaluačních otázek 1–3.

2) Posouzení souladu reálného průběhu s postupy danými interními a nadřazenými dokumenty (dle konkrétního průběhu procesů v rámci vybraných projektů podpořených z TP OPPIK)

Posouzení souladu bude zpracováno na základě analýzy dokumentů vztahujících se k publicitě (mj. také 4 interních projektů zaměřených na publicitu a výstupech s jejich implementace / monitoringu) a dosažených výstupů. Dalším vstupem pro analýzu v tomto kroku budou individuální rozhovory, realizované v kroku 3. Kroky 2 a 3 se tedy při hodnocení budou prolínat.

3) Individuální rozhovory s gestory těchto procesůIndividuální rozhovory budou realizovány s IKZ a případně s dalšími osobami – pracovníky ŘO a ZS zapojenými do procesů implementace TP. V tomto smyslu budou individuální rozhovory zaměřeny především na implementaci interních projektů (2 projekty ŘO a 2 projekty ZS); otázky směřované na publicitu budou spojeny s dalšími otázkami spojenými s analýzou jiných evaluačních otázek – zejm. EO 1–4 a 7–8).

4) Vyhodnocení efektivity průběhu procesů, kterými jsou realizována a vyhodnocována publicitní opatření

Efektivita procesů bude vyhodnocena na základě individuálních rozhovorů a analýzy dokumentů realizovaných v kroku 1–2. Dále budou do analýzy zapojeny zprávy z jiných evaluací OP PIK, které se problematice publicity a komunikace věnovaly.

5) Syntéza poznatků z jednotlivých kroků a formulace odpovědi na evaluační otázku. V případě, že procesy budou vyhodnoceny jako nedostatečně efektivní, bude navržen způsob vyhodnocování publicitních opatřeníPosledním krokem celého řešení bude syntéza poznatků z předchozích kroků a šetření.Součástí syntézy bude návrh doporučení pro zvýšení efektivity procesů spojených s publicitními opatřeními a obecněji komunikací programu, a to především v oblasti jejich monitoringu a vyhodnocování.

Zdroje

Interní dokumentace Dokumentace projektů zaměřených a publicitní opatření

realizované z TP OPPIK Záznamy z rozhovorů

47


Metody Desk research/obsahová analýza Individuální (řízené) polostrukturované rozhovory Metoda syntézy


3.3 Optimalizační opatření a jejich upřesnění

Optimalizační opatření budou navržena dodavatelem na základě zjištění z prováděných analýz. Konkrétní úpravy, přesné vymezení dalších kroků, jejich personální a časová náročnost, očekávané výsledky i rizika – to jsou témata vhodná k diskuzi se širším plénem osob znalých dané problematiky.

Za tímto účelem budou uspořádány dva kulaté stoly / workshopy, v jejichž rámci budou návrhy optimalizačních opatření diskutovány. Dojde tak k jejich věcné verifikaci, ale také upřesnění dopadů implementace do řídící struktury programu (personální, časové, dopady na výstupy a výsledky, rizika, atd.). Jeden kulatý stůl / workshop bude realizován se zástupci ŘO a druhý se zástupci ZS.

3.4 Evaluační metody

3.4.1 Dotazníkové šetření

Evaluační otázka

Využití dotazníku pro evaluační

otázku (ANO/NE)Cílová skupina Indikativní otázky dotazníku

EO 1 ne

EO 2 ne

EO 3 ne

EO 4 ne

EO 5 ne

EO 6 ne

EO 7 ne

EO 8 ne

EO 9 ne

EO 10 ne

EO 11 ne

EO 12 ano vybraní zaměstnanci

Dotazníkové šetření bude pokrývat následující tematické okruhy:

48


Evaluační otázka



implementační struktury (ŘO/ZS) zapojení do výběru dodavatelů

Úroveň znalostí a odbornosti při administraci VŘ.

Jednoznačnost procesů při vyhlašování a administraci VŘ.

Obecná zkušenost s realizací VŘ.

EO 13 alternativa k rozhovorům

Vybraní pracovníci ŘO / ZS zapojení přímo do hlavních procesů OPPIK

Konkrétní sada otázek pro opakovaná pro každý proces bude pokrývat zejména tyto okruhy otázek: Jaká je celková délka procesu Jaká je časová náročnost na realizaci

procesu ze strany pracovníka implementační struktury?

Liší se časová náročnost u jednotlivých programů podpory / prioritních os?

Co jsou důvody výrazných odlišností v časové náročnosti procesů napříč programy?

Co zejména ovlivňuje délku procesu? Co primárně ovlivňuje časovou

náročnost realizace procesu ze strany pracovníka implementační struktury?

EO 14 ano všichni pracovníci ŘO a ZS

Hlavními tematickými okruhy otázek pro dotazníkové šetření bude: Spokojenost s náplní práce Vnímání organizace práce v rámci

implementační struktury Vnímání pracovního vytížení Vnímání fungování týmu a spolupráce

s dalšími útvary implementační struktury

Spokojenost s ohodnocením práce Spokojenost s dalšími benefity Vnímání faktorů fluktuace

zaměstnanců Hodnocení těchto faktorů z pohledu

daného zaměstnance

EO 15 ano všichni pracovníci ŘO a ZS

Hlavními tematickými okruhy otázek pro dotazníkové šetření bude: Spokojenost s náplní vzdělávání Hodnocení flexibility, šíře a kvality

nabídky

49


Evaluační otázka



Hodnocení provázání nabídky kurzů s reálnými potřebami pro výkon dané agendy

EO 16 ne

50


3.4.2 Individuální rozhovory

Evaluační otázka

Personální útvar ŘO

Personální útvar ZS

Pracovník útvaru ŘO, zapojeného přímo do hlavních procesů implementace OPPIK

Pracovník útvaru ZS, zapojeného přímo do hlavních procesů implementace OPPIK

Pracovník útvaru ŘO, zapojeného přímo do hlavních procesů TP OPPIK / osoby na pozici PIP

Pracovník útvaru ZS, zapojeného přímo do hlavních procesů TP OPPIK

IKZ RPDIP

EO 1

ano (předpoklad 2-3 osoby)dotazy ke zpracovanému návrhu procesní mapy a jejím členění do procesůvalidace jednotlivých procesů

ano (předpoklad 2-3 osoby)dotazy ke zpracovanému návrhu procesní mapy a jejím členění do procesůvalidace jednotlivých procesů

EO 2

ano (předpoklad 2-3 osoby viz EO 1)dotazy zaměřené na souladu nastavení TP s potřebami ŘOdotazy k odchylkám, nejednotným výkladům a nejednoznačnému vnímání postupů

ano (předpoklad 2-3 osoby viz EO 1)dotazy zaměřené na souladu nastavení TP s potřebami ŘOdotazy k odchylkám, nejednotným výkladům a nejednoznačnému vnímání postupů

EO 3

ano (předpoklad 2-3 osoby viz EO 1)dotazy k identifikaci nadbytečných procesů a jejich zhodnocení

ano (předpoklad 2-3 osoby viz EO 1)dotazy k identifikaci nadbytečných procesů a jejich zhodnocení

EO 4ano (předpoklad 2-3 osoby viz EO 1)dotazy k určení procesů

ano (předpoklad 2-3 osoby viz EO 1)dotazy k určení procesů

51


Evaluační otázka







IKZ RPDIP

neupravených metodikoudotazy k identifikaci nadbytečných procesů a jejich zhodnocení

neupravených metodikoudotazy k identifikaci nadbytečných procesů a jejich zhodnocení

EO 5

Ano, 1-2 osobyOtázky zaměřené na stanovení alokace TP a změn / úprav této alokace i očekávaných potřeb.

Doplňkově 1 osoba.

EO 6Viz výše, především ve vztahu k procesům monitoringu

Viz výše, především ve vztahu k procesům monitoringu

EO 7

Ano, 2 pracovníci zodpovědní za implementaci IP (předpoklad)Způsob kvantifikace a nápočtu indikátorů;Metodika monitoringu, periodicita sběru dat, atd.

Ano, 2 pracovníci zodpovědní za implementaci IP (předpoklad)Způsob kvantifikace a nápočtu indikátorů;Metodika monitoringu, periodicita sběru dat, atd.

EO 8

Viz výšeRelevance indikátorů, jednoznačnost definic, atd.

Viz výšeRelevance indikátorů, jednoznačnost definic, atd.

EO 9Ano, 1-2 osoby (pozice PIP)

Ano, 1 osoba zodpovědná za přípravu a implementaci IP.

Ano, předpoklad 1 osoba

52


Evaluační otázka







IKZ RPDIP

Procesy vyhlášení výzvy pro IP, podmínky pro předkládání IP, transparentnost hodnocení, …

Procesy vyhlášení výzvy pro IP, podmínky pro předkládání IP, transparentnost hodnocení, …

Zpracování výzvy pro IP, nastavení podmínek a limitů, hodnotící proces

EO 10 Ano, viz EO 9 Ano, viz EO 9 Ano, viz EO 9

EO 11

EO 12

Ano, předpoklad cca 3 osobyHodnocení výstupů dodavatelů, souvislost s nastavenými podmínkami pro výběr

EO 13 nepředpokládá se

nepředpokládá se

ano (předpoklad cca 5 osob)dotazy k časové náročnosti jednotlivých procesů a jejich případné odlišnosti napříč jednotlivými programy podpory / prioritními osami

ano (předpoklad cca 5 osob)dotazy k časové náročnosti jednotlivých procesů a jejich případné odlišnosti napříč jednotlivými programy podpory / prioritními osami

EO 14ano (předpoklad 1 osoba)

ano (předpoklad 1 osoba)

nepředpokládá se, může být doplňkovou otázkou v rámci rozhovorů při řešení jiných EO


53


Evaluační otázka







IKZ RPDIP

EO 15

ano (předpoklad 1 osoba viz EO14)

ano (předpoklad 1 osoba viz EO14)



EO 16

ano (předpoklad 1 osoba)dotazy zaměřené na implementaci a vyhodnocování publicitních projektů

ano (předpoklad 1 osoba)dotazy zaměřené na implementaci a vyhodnocování publicitních projektů

ano, 1 os.Viz EO 16

54


3.4.3 Fokusní skupina

Evaluační otázka

Použity FS (ANO/NE); počet FS

Okruh respondentů FS Indikativní otázky pro FS

EO 1

EO 2 ano

Vybraní pracovníci ŘO / ZS zapojení přímo do hlavních procesů OPPIKVybraní pracovníci ŘO / ZS zapojení přímo do hlavních procesů TP OPPIK

Hlavní tematické okruhy: Soulad TP s reálnými potřebami ŘO Jak pracovat s odchylkami průběhu

procesů – upravit procesy dle psané dokumentace vs. upravit psanou dokumentaci

EO 3

EO 4

EO 5

EO 6

EO 7

EO 8

EO 9

EO 10 ano

Vybraní pracovníci ŘO a ZS zapojení do zpracování, řízení a monitoringu IP

Hlavní tematické okruhy: Ověřit a kvalitativně interpretovat

zjištění v oblasti administrace IP Soulad mezi administrativní

náročností a kapacitou pro řízení IP

EO 11

EO 12 ano

Vybraní pracovníci ŘO a ZS, kteří pracují s výsledky VŘ (studie a evaluace, propagace programu, vzdělávání, atd.)

Využito pro: posouzení přidané hodnoty a „kvality“

výstupů VŘ – hodnocení vzorku výstupů.

Hodnocení efektivity školení a znalostí v oblasti VŘ

EO 13

EO 14 ano

Vybraní pracovníci ŘO / ZS zapojení přímo do hlavních procesů OPPIKVybraní pracovníci

Hlavní tematické okruhy: Důvody fluktuace Dopad fluktuace na reálné zajištění

činnosti ŘO a ZS Operativní řešení fluktuace v rámci

55


Evaluační otázka

Použity FS (ANO/NE); počet FS

Okruh respondentů FS Indikativní otázky pro FS

ŘO / ZS zapojení přímo do hlavních procesů TP OPPIK

implementační struktury

EO 15

EO 16

56


3.4.4 Kulatý stůl

Evaluační otázka

Použity kulatého stolu (ANO/NE); počet FS

Okruh respondentů Indikativní témata

EO 1 ne

EO 2 ano


Hlavní tematické okruhy: Posouzení návrhů na optimalizaci

probíhajících procesů

EO 3 ano


Hlavní tematické okruhy: Posouzení návrhů na zrušení

nadbytečných procesů či jejich částí

EO 4 ano


Hlavní tematické okruhy: Posouzení návrhů na zrušení

nadbytečných procesů či jejich částí

EO 5 ano

Vybraní pracovníci ŘO / ZS zapojení přímo do hlavních procesů TP OPPIK

Hlavní tematické okruhy: Reflexe závěrů a doporučení

ohledně alokace TP, přenositelnost zkušenosti pro nový OP K (OP TAK)

EO 6 ne

EO 7 ne

EO 8 ne

EO 9 ano

Vybraní pracovníci ŘO / ZS zapojení přímo do hlavních procesů TP OPPIK

Hlavní tematické okruhy: Reflexe doporučení v oblasti

přípravy, zpracování, hodnocení, implementace a monitoringu IP

EO 10 ano Vybraní pracovníci ŘO / ZS zapojení

Hlavní tematické okruhy:

57


Evaluační otázka

Použity kulatého stolu (ANO/NE); počet FS

Okruh respondentů Indikativní témata

přímo do hlavních procesů TP OPPIK

Reflexe doporučení v oblasti přípravy, zpracování, hodnocení, implementace a monitoringu IP

EO 11 ne

EO 12 ano

Vybraní pracovníci ŘO / ZS zapojení přímo do administrace VŘ

Hlavní tematické okruhy: Závěry a doporučení ve vztahu

k efektivitě procesů spojených s VŘ.

EO 13 ne

EO 14 ano


Hlavní tematické okruhy: Důvody fluktuace Dopad fluktuace na reálné zajištění

činnosti ŘO a ZS Operativní řešení fluktuace v rámci

implementační struktury

EO 15 ne

EO 16 ne

58


4 Harmonogram průběhu prací na projektuHarmonogram je nastaven dle data podpisu smlouvy k 19. 11. 2019

I. etapa

59

Měsíce r. 2019 11 12 1

Týdny od podpisu 1 2 3 4 5 6 7 8 9

Podpis smlouvy (předpoklad 29.10.) X

Vstupní schůzka

Předání podkladů, desk research

Identifikace procesů (částečné plnění EO 1)

Sestavení instrumentária pro sběr dat k hodnocení procesů

Zpracování metodických podkladů (návrh dotazníku, scénáře, atd.)

Předání návrhu Vstupní zprávy X

Připomínkové řízení

Finální verze Vstupní zprávy X

Přehled zjištění (I. etapa) X

Průběžná komunikace se zadavatelem (email. hlášení) X X


II. etapa

Měsíce r. 2020 1 2 3 4 5 6 7

Týdny od podpisu 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 32

II-a. etapa: Analýza7

Rozpracování procesních map

Sběr a analýza kvantitativních dat (MS 2014+ a příp. další zdroje), data mining

Obsahová analýza projektů TP a příp. dalších zdrojů

Realizace Individuálních rozhovorů

Dotazníkové šetření

Základní identifikace odchylek, nadbytečností, chybějících procesů, atd.

Fokusní skupiny

Zpracování odpovědí na evaluační otázky

Návrh optimalizačních opatření a jejich konzultace

II-b. etapa: verifikace a upřesnění optimalizačních opatření

Kulaté stoly / workshopy

Finalizace optimalizačních

7 S ohledem na harmonogram stanovený v zadávací dokumentaci vychází očekávané zahájení analýzy do 2. poloviny prosince. Uchazeč si uvědomuje, že v tomto čase není vhodné aplikovat metody s přímou účastí cílové skupiny, první cca 2-3 týdny analýzy jsou proto vyhrazeny datovým a obsahovým analýzám.

60


opatření

Předání návrhu ZZ X

Připomínkové řízení

Finální verze ZZ X

Přehled zjištění (II. etapa) X

Prezentace ZZ (dle dohody)

Průběžná komunikace se zadavatelem (email. hlášení) X X X X X X X X X X X X

61


5 Realizační tým

Zodpovědnou osobou za I. a II. etapu řešení je Klára Štanderová v pozici vedoucí projektu.

Nad rámec vedoucího projektu byla zřízena pozice projektového koordinátora, kterou obsadil senior expert společnosti, Lukáš Maláč; toto opatření zajistí nejen zastupitelnost řídící složky, ale také hladkou koordinaci aktivit jednotlivých členů týmu. Koordinátor projektu je hlavní kontaktní osobou pro zadavatele.

Dalšími členy týmu jsou experti Ladislav Čermák, analytik Marek Petráš a analytik-junior Josef Lochman. V případě potřeby budou do realizace zapojeny další kapacity zpracovatele.

62


6 Přílohy

1. Rozdělení procesů pro potřeby evaluace TP OPPIK

63

Documents

mpo.cz€¦ · Web viewEvaluace řízení a administrace technické pomoci OP PIK. Evaluace řízení a administrace technické pomoci OP PIK. Evaluace řízení a administrace