Tag: badania ewaluacyjne

Ewaluacja służy tym samym:

• Poznaniu mechanizmów funkcjonowania programu / projektu;
• Usprawnieniu  zarządzania i realizacji projektów/ programów;
• Stałemu ich ulepszaniu, poprzez identyfikację mocnych i słabych stron;
• Dokonywaniu diagnozy występujących problemów oraz wskazaniu stosownych rekomendacji;
• Identyfikacji potrzeb beneficjentów;
• Określeniu stopnia zgodności z wstępnymi założeniami;
• Określeniu efektów programów oraz działań instytucji w kontekście założonych celów;
• Wskazaniu kierunków rozwoju;
• Podniesieniu przejrzystości działań;
• Bardziej efektywnemu wykorzystaniu zasobów;
• Promowaniu działań finansowanych ze środków publicznych.

Ewaluacja Ex-ante jest prowadzona na etapie poprzedzającym wdrażanie Programu. Jej główny cel stanowi zweryfikowanie, na ile uzasadnione jest podjęcie planowanych interwencji i czy zakładane rezultaty mają szansę zostać osiągnięte. W poniższym artykule zostały przedstawione najważniejsze informacje na temat ewaluacji wstępnej.

Spójność wewnętrzna w ewaluacji Ex-ante

W ramach badań ewaluacyjnych przed wdrożeniem Programu weryfikacji jest poddawana między innymi spójność wewnętrzna. Polega ona najprościej rzecz ujmując na tym, iż działania zaplanowane do realizacji powinny stwarzać realną możliwość osiągnięcia celów mając na uwadze zakładane do wykorzystania środki finansowe oraz pozostałe zasoby. Zapewniona powinna być zarazem możliwość prowadzenia stałego monitoringu uzyskiwanych efektów i – w miarę potrzeby – wprowadzenia niezbędnych modyfikacji oraz udoskonaleń z punktu widzenia beneficjentów.

Badania ewaluacyjne – spójność zewnętrzna

Analizie podlega kwestia tego, czy założenia programowe są zgodne z zapisami strategii zarówno na poziomie regionalnym, krajowym, jak i europejskim. Mogą być to chociażby takie dokumenty jak strategie rozwoju miast, strategie rozwiązywania lokalnych problemów społecznych czy programy na rzecz walki z uzależnieniami.

Założenia projektowe powinny znajdować odzwierciedlenie w lokalnych potrzebach i problemach oraz stanowić na nie właściwą odpowiedź.

Badania Ex-ante – w jaki sposób się je prowadzi?

W badaniach ewaluacyjnych Ex-ante wykorzystywana jest przede wszystkim metoda analizy danych zastanych (desk research). Badacze dokonują dogłębnego przeglądu dostępnych dokumentów strategicznych i projektowych, starając się poddać weryfikacji kryterium spójności. Analizie podlega także literatura naukowa oraz publikacje eksperckie wpisujące się w tematykę założeń Programu.

Analiza desk research służy następnie stworzeniu narzędzi do badań ilościowych oraz jakościowych. Uczestnikami badań ewaluacyjnych poprzedzających wdrażanie Programu zwykle są osoby odpowiedzialne za zarządzanie, monitoring oraz realizację poszczególnych działań. Można z nimi przeprowadzić m.in. następujące badania:

• IDI – indywidualne wywiady jakościowe pozwalają pozyskać pogłębione informacje na temat kontekstu projektu/Programu. Dzięki temu można się dowiedzieć, jakie były przesłanki ku temu, aby podjąć się jego realizacji oraz jakie zostały zaplanowane działania na wypadek, gdyby zanotowano problemy z osiągnięciem zakładanych wskaźników;

• FGI – grupowe wywiady fokusowe stwarzają możliwość skonfrontowania opinii i przemyśleń przedstawicieli różnych instytucji zaangażowanych we wdrażanie Programu czy zarządzanie nim. Są one zazwyczaj prowadzone w grupach 7-osobowych pod nadzorem odpowiednio przygotowanego moderatora;

• Badania ankietowe – pomiar o charakterze ilościowym realizowany w celu uzyskania danych o charakterze reprezentatywnym. Są one najczęściej wykorzystywane z zamiarem pozyskania informacji od beneficjentów (bezpośrednich oraz ostatecznych).

Podsumowanie

Ewaluacja Ex-ante pełni zatem bardzo ważną rolę, umożliwiając dokonanie niezbędnych usprawnień w założeniach projektowych. Jej przeprowadzenie pozwala znacząco zwiększyć szansę uzyskania zakładanych wartości wskaźników, a tym samym zaspokojenia potrzeb beneficjentów. 

Badania ewaluacyjne ex-post to termin ekonomiczny wprowadzony przez Komisję Europejską w celu obiektywnego oceniania projektów, programów lub polityki. Ewaluacja ta polega na ocenie projektu lub programu operacyjnego po jego zakończeniu, a także uwzględnia analizy danych na temat zakresu i trwałości ich oddziaływania. 

W jakim celu prowadzi się badania ewaluacyjne?

Badania te prowadzone są w celu uzyskania odpowiedzi na pytanie, czy wcześniejsze postanowienia zostały spełnione, a także by ocenić rezultaty działań. Metoda ta pozwala również skutecznie zaplanować kolejne aktywności i jest coraz szerzej wykorzystywana zarówno w większych, jak i mniejszych projektach.

Jak prowadzi się badania ex-post?

Ewaluacja ex-post musi zostać uwieczniona na dokumencie będącym raportem końcowym projektu współfinansowanego ze środków europejskich. Raport przeprowadza się zawsze po zakończeniu projektu i musi on zawierać m.in.:

•    charakterystykę projektu, 
•    analizę wyników badań, 
•    analizę i ocenę procesu realizacji,
•    wszelkie niezbędne dokumenty pomocne w procesie ewaluacji.

Kto dokonuje ewaluacji ex-post?

Osoba zajmująca się ewaluacją nazywana jest ewaluatorem i jest ona niezależna od stron uczestniczących w projekcie oraz ma odpowiednią wiedzę - np. ekspert akademicki lub firma badawcza. 

Korzyści

Ewaluacja ex-post gwarantuje poprawę jakości, skuteczności i spójności pomocy funduszy europejskich, a także pomaga w zwiększeniu efektywności zarówno planowania, jak i realizowania projektów i programów operacyjnych. Korzyści, jakie instytucje mogą osiągnąć z realizacji badań ex-post, dotyczą szczególnie stałego rozwoju możliwego dzięki obiektywnej ocenie.

Kryteria oceny

W procesie ewaluacji ex-post wyróżniamy następujące kryteria oceny:
•    efektywność 
•    użyteczność
•    skuteczność i trwałość

Inne rodzaje ewaluacji

Ewaluacja ex-post została wprowadzona do słownika ekonomicznego wraz z ewaluacją ex-ante oraz ewaluacją bieżącą. Terminów tych używa się w zależności od tego, w którym momencie przeprowadzane zostają ewaluacje.
 

Ewaluacja Mid-term jest prowadzona w celu diagnozy stopnia, w jakim udało się osiągnąć zakładane wskaźniki rezultatu w połowie realizacji Programu. Badanie tego typu powinna przeprowadzić zewnętrzna firma ewaluacyjna, aby możliwe było zachowanie obiektywizmu w trakcie dokonywanych pomiarów.

Warto zaznaczyć, że komisja europejska podjęła decyzję, iż w perspektywie programowania 2014-2020 (podobnie jak 2007-2013) realizacja ewaluacji Mid-term ma charakter jedynie fakultatywny. Nie znaczy to jednak bynajmniej, że nie jest uzasadnione jej wykonanie.

Ewaluacja Mid-term – dlaczego warto ją wykonać?

Badania ewaluacyjne mid-term dostarcza cennych wniosków, dzięki którym można się dowiedzieć, jakie jest prawdopodobieństwo osiągnięcia wskaźników Programu, mając na uwadze dotychczas podjęte działania. Dzięki przeprowadzonym analizom można zidentyfikować obszary wymagające usprawnień, po czym podjąć aktywność w celu ich wdrożenia.  Badanie ewaluacyjne mid-term pozwala więc zwiększyć skuteczność i efektywność interwencji, uwzględniając zmieniający się kontekst społeczny oraz instytucjonalny.

Jakie metody są wykorzystywane?

Ewaluacja w środkowej części realizacji Programu uzasadnia przeprowadzenie badań zarówno z zastosowaniem technik ilościowych, jak i jakościowych. Badania mogą być wykonane m.in. na dotychczasowych beneficjantach, osobach odpowiedzialnych za zarządzanie Programem i poszczególnymi projektami, a także ich wdrażanie oraz monitoring. W tym celu można zrealizować m.in. badania ilościowe CATI (telefoniczne) lub CAWI (internetowe). Aby jednak możliwe było osiągniecie wysokiego response rate, warto wcześniej dostarczyć respondentom list polecający, podpisany przez przedstawiciela instytucji zlecającej badanie ewaluacyjne.

W celu uzyskania pogłębionych danych w obszarze badawczym prowadzone są natomiast najczęściej badania jakościowe – zarówno indywidualne (IDI, TDI), jak i grupowe (FGI). Wykorzystanie w ramach jednej ewaluacji Mid-term różnego rodzaju metod, technik i narzędzi pozwala spełnić tak ważne przecież w przypadku ewaluacji Programów unijnych kryterium triangulacji metodologicznej.

Firmy ewaluacyjne – jak wybrać najlepszą spośród nich?

Kluczową kwestią decydującą o tym, czy ewaluacja dostarczy podmiotowi realizującego Program z Funduszy Europejskich, jest wybór profesjonalnej firmy ewaluacyjnej. Należy wobec tego zwrócić szczególną uwagę zwłaszcza na następujące aspekty:

• Od jakiego czasu firma ewaluacyjna działa na rynku?
• Ile projektów i dla jakich instytucji dotychczas zrealizowała?
• Czy może pochwalić się referencjami od dotychczasowych klientów?
• Czy posiada w swoim zespole wykwalifikowanych badaczy z doświadczeniem?
• Za pomocą jakich metod i technik badawczych zamierza przeprowadzić badanie ewaluacyjne?
• Na jakie pytania badawcze deklaruje uzyskać odpowiedzi?
• Czy przedstawiona koncepcja metodologiczna jest spójna z celami badania?
• Czy zaproponowana logika badania umożliwi zweryfikowanie stopnia osiągnięcia zakładanych wskaźników?

Podsumowanie

Pomimo więc faktu, iż Komisja Europejska nie wymaga przeprowadzenia ewaluacji mid-term, warto jednak się na to zdecydować, gdyż uzyskane w jej ramach wnioski pozwalają usprawnić podejmowaną interwencję, a co za tym idzie zwiększyć prawdopodobieństwo uzyskania docelowych wartości wskaźników. Aby jednak ewaluacja tego typu miała uzasadnienie, należy szczególną uwagę zwrócić na wybór profesjonalnej firmy badawczej. 

Bieżące ewaluacje on-going są prowadzone w trakcie trwania projektów zaplanowanych w ramach wdrażania Programu unijnego. Ich realizacja zazwyczaj ma miejsce w pełnym okresie realizacji. Nie jest wymagana przez Komisję Europejską, natomiast mimo to nie warto z niej rezygnować. Jakie są tego powody? Tego i jeszcze więcej można dowiedzieć się z treści niniejszego artykułu.

Badania on-going – skuteczny monitoring

Przede wszystkim przeprowadzenie badań ewaluacyjnych on-going daje szansę systematycznego monitoringu podejmowanych interwencji. Dzięki temu możliwe staje się dostrzeżenie w porę ewentualnych błędów i nieprawidłowości, które stanowiłyby spore zagrożenie pod kątem możliwości osiągnięcia wartości docelowych wskaźników.

Ewaluacja bieżąca pozwala poddać wstępnej ocenie podjęte wydatki, a także pozyskać opinie na temat dotychczasowej realizacji od beneficjentów. Dzięki wdrożeniu na czas koniecznych zmian, efekty realizacji projektów będą znacznie lepsze, niż gdyby podjęto decyzję o rezygnacji z badania on-going.

Kogo można badać?

W ramach badań ewaluacyjnych on-going zazwyczaj pozyskuje się opinie mając na uwadze następujące grupy:

1. Beneficjentów bezpośrednich (np. przedstawicieli instytucji do których kierowane jest wsparcie);

2. Beneficjentów końcowych (zazwyczaj są to członkowie społeczności lokalnej, którzy będą korzystać z efektów interwencji);

3. Osoby zarządzające realizacją poszczególnych projektów;

4. Reprezentacji instytucji odpowiedzialnych za wdrażanie Programu;

5. Osoby zajmujące się monitoringiem realizowanej interwencji.

Stosowane techniki i metody badawcze

W ramach ewaluacji on-going zaleca się wykorzystanie kilku różnorodnych metod i technik, tak aby spełnione zostało kryterium triangulacji metodologicznej. Aby zapewnić otrzymanie danych z różnych punktów widzenia, konieczna jest także triangulacja członków zespołu badawczego. Najlepiej sprawdza się połączenie w ramach ewaluacji technik jakościowych oraz ilościowych, a także wsparcie ich analizą danych zastanych (desk research), odnoszących się ściśle do realizacji projektu/Programu.

W przypadku badania beneficjentów ostatecznych, zasadne jest przeprowadzenie przede wszystkim badań o charakterze ilościowym – np. ankiet telefonicznych (CATI), elektronicznych (CAWI) lub z użyciem aplikacji na smartfonie (CAPI). Z beneficjentami docelowymi oraz osobami odpowiedzialnymi za zarządzanie i monitoring warto zrealizować jednocześnie pomiary jakościowe – np. indywidualne wywiady pogłębione lub badania fokusowe (FGI).

Podsumowanie

Nie warto zatem rezygnować z przeprowadzenia ewaluacji on-going tylko dlatego, że w obecnej perspektywie finansowania Komisja Europejska tego nie wymaga. Ewaluacja bieżąca pozwala bowiem usprawnić interwencję, a tym samym znacząco zwiększyć szansę osiągnięcia wartości założonych wskaźników. 

Podejmując działania, które nakierowane są na poprawienie skuteczności realizowanych projektów czy programów, warto zwrócić uwagę nie tylko na potrzeby beneficjentów, ale także na takie kwestie, jak: komunikacja między członkami zespołu, trafność wprowadzanych zmian czy nowe możliwości dalszego rozwoju. Skupienie się na tych obszarach, pozwoli na lepsze zaprojektowanie działań oraz zwiększenie skuteczności kolejnych edycji realizowanego programu.

Korzyści, które skłaniają do realizacji badania

Przeprowadzane procesy badawcze, nakierowane na ewaluacje, mają na celu:

• rozpoznanie mechanizmów, które są obecne w realizowanym programie/projekcie;
• przewidywanie efektów programu w odpowiedzi na założone cele;
• usprawnianie działań, dzięki podnoszeniu ich przejrzystości;
• maksymalne wykorzystanie dostępnych zasobów.

Biorąc pod uwagę powyższe korzyści, można powiedzieć, iż badania ewaluacyjne zorientowane są na wytyczenie kierunków dalszego rozwoju przy jednoczesnej analizie dotychczasowych działań. Dzięki systematycznemu przyglądaniu się realizowanemu projektowi bądź programowi, można uskuteczniać podejmowane działania, co następnie pozytywnie przełoży się na osiągane efekty.

Funkcje, które nakierowują procesy badawcze

Wśród funkcji badań ewaluacyjnych należy wymienić:

• potwierdzenie bądź zaprzeczenie społecznej użyteczności zaproponowanego programu/projektu;
• pozyskiwanie wiedzy oraz wyników badań we wskazanym zakresie wraz ze wskazaniem związków przyczynowo-skutkowych między podjętym działaniem, a osiągniętym efektem;
• gromadzenie wiedzy, ułatwiającej wdrążanie kolejnych programów/projektów lub modyfikowanie już istniejących wraz z ustaleniem celów odpowiadających zebranym informacjom.

Co może podlegać pod realizację procesu badawczego?

Procesy badawcze, które są nakierowane na ewaluacje, mogą orientować się wokół:

• oceny stopnia, w jaki zostają zrealizowane postawione cele;
• bilansu zysków i strat;
• trafności celów realizowanego badania do rzeczywiście istniejących problemów;
• dopasowania celów programu do potrzeb skonkretyzowanej grupy odbiorców badania;
• oceny stopnia, w jaki efekty programu są trwałe.

Takie procesy badawcze dają szansę na usprawnienie dotychczas podejmowanych działań oraz wzmacniają ich skuteczność. Dzięki właściwemu zrozumieniu istoty prowadzonego programu, można dostosowywać jego przebieg do pojawiających się potrzeb i oczekiwań jego odbiorców, a przy tym przewidzieć jego efekty. Wszystko to pozwala na zaplanowanie działań nakierowanych na osiąganie wyznaczonych celów.

W ramach naszych badań, przywiązujemy szczególną wagę do triangulacji metodologicznej. Oznacza to, że stosujemy różnorodne metody i techniki, odpowiednie dla celów i przedmiotu badania. Zaangażowani są również eksperci z różnych dziedzin, co pomaga uniknąć subiektywizmu.

Posiadamy 18-letnie doświadczenie w przeprowadzaniu różnych rodzajów badań ewaluacyjnych:

Ex-post - badania przeprowadzane po zakończeniu projektu lub Programu.

Ex-ante - ocena początkowych założeń Programu, ze szczególnym uwzględnieniem spójności zewnętrznej i wewnętrznej.

On-going - ewaluacje w trakcie realizacji Programu.

Mid-term - ewaluacja w środkowej fazie realizacji Programu, umożliwiająca weryfikację osiągnięcia wcześniej założonych celów.

W naszych badaniach korzystamy z różnych technik, obejmujących ilościową ankietyzację i jakościowe wywiady:

CATI - ankietyzacja telefoniczna z użyciem oprogramowania do rejestracji rozmów.

CAWI - badania ankietowe online.

CAPI - ankiety w terenie przy użyciu aplikacji na urządzeniach mobilnych.

IDI - indywidualne wywiady pogłębione w celu zdobycia informacji na temat potrzeb i motywacji.

FGI - grupowe badania fokusowe, podczas których uczestnicy wspólnie dochodzą do wniosków.

Analizy desk research - zbieranie i analizowanie ogólnodostępnych danych.

Badania tajemniczego klienta - ocena jakości obsługi klienta w ramach projektów.

Badania user experience (UX) - analiza użyteczności portali internetowych finansowanych z funduszy Unii Europejskiej.

Ewaluacja stanowi obiektywną ocenę projektu, programu lub polityki. Służy do określenia jego  znaczenia i wartości, przy zwróceniu uwagi na zagadnienia szczególnie istotne dla zainteresowanych. Może dotyczyć wszystkich etapów ocenianego przedsięwzięcia: planowania, realizacji i mierzenia rezultatów. Głównym celem ewaluacji jest dostarczenie rzetelnych oraz przydatnych informacji, które pozwolą ocenić wartość przedsięwzięcia, przy uwzględnieniu odpowiednich kryteriów i standardów.

 Ewaluacja służy tym samym:

• Poznaniu mechanizmów funkcjonowania programu / projektu;

• Usprawnieniu  realizacji projektów / programów;

• Stałemu ich ulepszaniu, poprzez identyfikację mocnych i słabych stron, diagnozę występujących problemów oraz wskazanie stosownych rekomendacji;

• Określeniu stopnia zgodności z wstępnymi założeniami;

• Określeniu efektów programów oraz działań instytucji w kontekście założonych celów;

• Wskazaniu kierunków rozwoju;

• Podniesieniu przejrzystości działań;

• Bardziej efektywnemu wykorzystaniu funduszy;

Proces ewaluacji prowadzony jest w Polsce w celu ustalenia efektywności pomocy UE oraz w celu oszacowania jej oddziaływania w odniesieniu do celów danego Programu, a także analizy wpływu na specyficzne problemy strukturalne. Wytyczne w zakresie ewaluacji programów operacyjnych na lata 2007-13  definiują ewaluację jako osąd (ocenę) wartości interwencji publicznej, dokonany przy uwzględnieniu odpowiednich kryteriów i standardów. Osąd ten dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów.

Przystępując co przeprowadzania ewaluacji precyzyjnie ją planujemy, by jak najskuteczniej wykorzystać czas i posiadane zasoby. Im lepiej zaplanowana ewaluacja, tym większa szansa na przeprowadzenie jej w taki sposób, który dostarczy istotnych, wiarygodnych i rzetelnych informacji, odpowiadających potrzebom i zainteresowaniom jej odbiorców i użyteczność i efektywność. Proces ewaluacji można podzielić na następujące etapy:

• Planowanie ewaluacji
• Projektowanie ewaluacji
• Zbieranie i analiza danych
• Raportowanie

 Wykorzystywanie wyników ewaluacji   

Podsumowanie dokonanych analiz jest raport końcowy z ewaluacji, prezentujący wyniki dokonanych analiz oraz odpowiedź na rozważane zagadnienia badawcze. Dbając o najwyższą jakość realizowanych badań, przestrzegamy w szczególności wytycznych opracowanych przez Polskie towarzystwo Ewaluacyjne. Forma raportu i sposób prezentacji danych są dostosowane do celu ewaluacji oraz potrzeb danego projektu. 

Struktura raportu obejmuje zazwyczaj następujące elementy:
 

• Streszczenie raportu
• Spis treści
• Wprowadzenie
• Opis zastosowanej metodologii oraz źródła informacji wykorzystywanych w badaniu
• Opis wyników ewaluacji
• Wnioski i rekomendacje
• Aneksy (np. zastosowane narzędzia badawcze; tabele statystyczne; lista osób, z którymi z którymi przeprowadzono wywiady podczas badania)

Prowadzimy ewaluacje strategiczne (służące do oceny NSRO / PO dla priorytetów krajowych i wspólnotowych) oraz ewaluacje operacyjne (wspierające monitorowanie NSRO / PO). Kluczowymi naszymi Klientami są instytucje sektora publicznego, instytuty naukowe i uczelnie wyższe oraz podmioty komercyjne zobligowane do prowadzenia badań ewaluacyjnych realizowanych projektów współfinansowanych ze środków Unii Europejskiej.

Rodzaje realizowanych ewaluacji:

• ex-antem - poprzedzające etap wdrażania programu/strategii lub projektu 
• mid-term (on-going) - przeprowadzane, gdy w ramach inwestycji zrealizowano około 50% działań
• ex-post - realizowane na etapie powdrożeniowym

Dane do ewaluacji pozyskujemy metodami ilościowymi jak: