Dołącz do czytelników
Brak wyników

Prawo pod lupą , Otwarty dostęp

14 grudnia 2020

NR 77 (Listopad 2020)

Ocenić działania, czyli kilka słów o ewaluacji w pomocy społecznej

67

Potrzeba ewaluacji podejmowanych działań kojarzy się często z biznesem i funkcjonowaniem firm lub też działaniami opartymi na funduszach Unii Europejskiej. Jednak również w pomocy społecznej ewaluacja może okazać się wręcz niezbędnym narzędziem.

Pomimo tego, że środki wydawane na działania w obszarze polityki społecznej pochodzą zasadniczo z publicznej kasy i często przewyższają kwoty, jakimi dysponuje większość firm, ewaluacja w obszarze polityki społecznej ciągle spotyka się z barierami ze strony samych realizatorów działań. Będąc przekonanym o konieczności prowadzenia ewaluacji jako stałego elementu działań zarówno polityki, jak i pomocy społecznej, postaram się przybliżyć Państwu pokrótce to pojęcie.

POLECAMY

Ewaluację można definiować na różne sposoby i każda z definicji uwypukla zwykle jakiś jej aspekt. Dla zilustrowania przytoczmy kilka z nich:

  • „Ewaluacja to „proces polegający na sprawdzeniu i ocenie, czy dane działania przyniosły oczekiwane rezultaty, co przyczyniło się do ich osiągnięcia, a co było barierą”1.
  • „Ewaluacja to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć rzetelnych i przydatnych informacji pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym”2.
  • „Ewaluacja to próba udzielenia odpowiedzi na pytanie, czy prowadzone przez nas działania mają sens, czy są realizowane zgodnie z oczekiwaniami tych, do których zostały skierowane, czy przynoszą zamierzone efekty, a jeśli nie, to jakie są źródła niepowodzenia?”3

Ewaluacja ma więc przede wszystkim walor praktyczny. Pozwala na uzyskanie informacji zwrotnej o prowadzonych działaniach, niezbędnej do dokonywania ewentualnych zmian w profesjonalny sposób. Z powyższych definicji wynika, że ewaluacja pełni co najmniej trzy cele: formatywny – służący poprawie jakości realizowanego projektu/programu, konkluzywny – stanowiący podstawę dla podjęcia wiążących decyzji o projekcie/programie (o jego zakończeniu, kontynuacji, zmianie) oraz proceduralny, realizowany wówczas, gdy przeprowadzenie ewaluacji jest spełnieniem wymogu formalnego, np. nałożonego przez sponsora projektu. Warto zauważyć, że ewaluacja może posiadać także walor promocyjny. Jej przeprowadzanie może poprawiać wizerunek instytucji/organizacji wdrażającej dany projekt/program i zwiększać jej wiarygodność, co zwykle przekłada się na większe poparcie społeczne dla prowadzonych przez nią działań, gdyż taka instytucja/organizacja jawi się jako taka, która podejmuje właściwe działania, która „wie, co robi”.

Obszary ewaluacji w pomocy społecznej

Potrzebę działań ewaluacyjnych w obszarze pomocy społecznej można uzasadnić, wskazując w jak wielu obszarach może mieć ona zastosowanie. Literatura przedmiotu4 wskazuje na sporo takich obszarów. Są to przykładowo:

  • skuteczność świadczeń pomocy społecznej (np. ocena skutków pracy z rodziną, środowiskiem, ocena skuteczności zawieranych kontraktów socjalnych);
  • jakość i standard świadczonych usług społecznych (np. usług opiekuńczych, specjalistycznych, w tym również usług zlecanych np. w zakresie prowadzenia noclegowni);
  • realizacja projektów i programów (np. określanie adekwatności celów programu do potrzeb adresata, ocena realizacji projektów społecznych, w tym projektów finansowanych z funduszy Unii Europejskiej);
  • zaspokajanie potrzeb społecznych w gminie/powiecie/województwie (np. ocena wdrażania lokalnych strategii rozwiązywania problemów społecznych);
  • system organizacyjny (np. analiza funkcjonowania ośrodka pomocy społecznej, domu pomocy społecznej i innych placówek pomocy społecznej w celu wprowadzenia zmian organizacyjnych);
  • system kształcenia kadr pomocy społecznej (np. ocena oferty pod kątem jej adekwatności do potrzeb szkoleniowych zgłaszanych przez pracowników, ewaluacja szkoleń);
  • współpraca między instytucjami pomocy społecznej na poziomie struktur samorządowych oraz międzysektorowych (np. wypracowanie reguł współpracy między OPS i organizacjami pozarządowymi lub między OPS, a szkołami i policją, powiatowymi urzędami pracy itp.).

Niezależnie od tego, w jakim obszarze chcemy przeprowadzić ewaluację, musi być ona dobrze przemyślana i zaplanowana. Dlatego powinniśmy zadać sobie wcześniej odpowiednie pytania. Przedstawiam propozycję zestawu pytań, które planujący ewaluację powinien sobie postawić:

  • Czego chcemy się dowiedzieć?
  • Kogo i kiedy będziemy badać?
  • Kiedy chcemy przeprowadzić ewaluację: na początku, w trakcie czy na końcu działania?
  • Kto będzie odbiorcą ewaluacji?
  • Ile mamy pieniędzy i innych zasobów na przeprowadzenie ewaluacji?
  • W jaki sposób chcemy zebrać dane?
  • Jak chcemy wykorzystać wnioski z ewaluacji?5

Zadanie sobie wymienionych pytań pozwoli nieco wyostrzyć nasze myślenie o tym, co i dlaczego chcemy zrobić, ocenić nasze zasoby i racjonalnie oszacować posiadane możliwości i potrzeby.

Jedno z powyższych pytań (nr 3) zwraca uwagę na moment przeprowadzenia ewaluacji. Jest to ważne zagadnienie, które należy rozwinąć, albowiem ewaluację dzieli się zasadniczo na dwa rodzaje, wyróżnione ze względu na dwa kryteria:

  1. moment, w którym jest przeprowadzana;
  2. podmiot, który ją przeprowadza.

Pamiętaj

Ewaluację określaną ze względu na moment jej przeprowadzenia dzielimy na:

  • ewaluację ex-ante (przed rozpoczęciem realizacji działań);
  • ewaluację on-going (w trakcie realizacji działań);
  • ewaluację ex-post (po zakończeniu realizacji działań).

Ewaluacja ex-ante (przeprowadzana przed rozpoczęciem działań):

  • ocenia na ile planowana interwencja jest trafna z punktu widzenia oczekiwań i potrzeb danej grupy, sektora, beneficjentów;
  • weryfikuje spójność logiczną projektu (w zakresie planowanych celów i rezultatów oraz sposobów ich osiągania);
  • służy identyfikacji potencjalnych trudności, które mogą się pojawić.

Ewaluacja bieżąca (on-going) – realizowana w dowolnym momencie realizacji projektu – jest bieżącym rejestrowaniem postępów, weryfikacją poprawności realizacji projektu, zgodności realizacji działań z harmonogramem oraz identyfikacją potencjalnych trudności. Jest traktowana jako uzupełniająca forma ewaluacji lub bieżący monitoring działań.

Ewaluacja okresowa (mid-term) – realizowana mniej więcej w połowie podjętych działań:

  • poddaje analizie osiągnięte na tym etapie rezultaty;
  • ocenia poczynione na etapie projektowania założenia (cele, wskaźniki);
  • może przyczynić się do modyfikacji sposobu realizacji projektu/programu oraz aktualizacji przyjętych założeń;
  • jest jedną z rzadziej stosowanych ewaluacji.

Ewaluacja końcowa (ex-post) – prowadzona po zakończeniu całego projektu:

  • pozwala ocenić stopień osiągnięcia założonych celów, efektywność interwencji, jej trafność, użyteczność i trwałość;
  • stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych działań.

Ewaluację określaną ze względu na podmiot, które ją przeprowadza dzielimy na: zewnętrzną – przeprowadzaną przez niezależny podmiot, zewnętrzny wobec realizatora projektu; wewnętrzną – przeprowadzaną przez podmiot znajdujący się w strukturach organizacyjnych realizatora projektu, jednak zachowujący pewną niezależność wobec projektu; autoewaluację – przeprowadzaną przez członków realizujących dany projekt.

Ważne

W praktyce dokonujemy ewaluacji przez pryzmat najważniejszych z naszego punktu widzenia kryteriów, choć – jak wiadomo – im więcej ich zastosujemy, tym uzyskamy pełniejszy obraz ewaluowanych działań.

Kryteria ewaluacji

Dokonując ewaluacji, robimy to zawsze ze względu na jakieś kryterium. Kryterium ewaluacji stanowi swoisty pryzmat, poprzez który oceniamy realizowany projekt, program czy prowadzone działania. Najczęściej wyróżnia się następujące kryteria ewaluacji:

  • trafność (działań w stosunku do założonych celów);
  • adekwatność (podjętych działań w stosunku do potrzeb);
  • skuteczność (stopień osiągnięcia celów projektu);
  • efektywność (stosunek nakładów do efektów);
  • użyteczność (stopień przydatności);
  • trwałość (utrzymywanie się efektów działań po ich zakończeniu).

Opisując je nieco szerzej, powiemy, że: trafność pozwala ocenić stopień dostosowania podjętych działań do założonych celów programu/projektu; adekwatność – pozwala ocenić, w jakim stopniu projekt odpowiada na problemy występujące w danym obszarze i/lub realne potrzeby odbiorców; skuteczność – oceni, w jakim stopniu są zrealizowano cele projektu; efektywność wskaże na stosunek poniesionych nakładów do uzyskanych wyników; użyteczność oceni stopień przydatności działań dla ich odbiorców, a trwałość wskaże na stopień, w jakim efekty działań utrzymują się po zakończeniu projektu/programu6. Istnienie wielu kryteriów nie oznacza, że w przypadku każdej ewaluacji należy je wszystkie stosować. 

Biorąc pod uwagę to, co zostało wyżej powiedziane, zobaczymy, jak może wyglądać przykładowa matryca zawierająca przyporządkowanie pytań ewaluacyjnych do poszczególnych rodzajów ewaluacji (wyróżnionych ze względu na moment jej przeprowadzenia) oraz kryteriów ewaluacji.7

Ostateczny kształt i liczba pytań zależą od zakresu badania ewaluacyjnego, które zamierzamy przeprowadzić.

Tab. 1. Matryca pytań ewaluacyjnych

Rodzaj ewaluacji 

Kryterium ewaluacji Pytania ewaluacyjne
Projekt systemowy PO KL
Ewaluacja ex-ante trafność Czy planowane działania i sposób ich realizacji są zgodne z założonymi celami projektu?
Czy poszczególne elementy projektu (cele, działania, rezultaty) są połączone ze sobą w logiczny sposób?
adekwatność Czy projekt odpowiada na potrzeby odbiorców?
Ewaluacja mid-term trafność Czy realizowane działania są zgodne z założonymi celami projektu?
adekwatność Czy realizowane działania odpowiadają potrzebom odbiorców?
skuteczność Czy osiągane są zakładane cele/rezultaty?
efektywność Czy środki finansowe przeznaczone na realizację projektu są wydawane w optymalny sposób?
użyteczność Jak są ocenianie poszczególne formy wsparcia przez odbiorców?
Ewaluacja ex-post  trafność Czy cele i działania projektu okazały się spójne?
Czy i jakie elementy projektu zostały zmienione? Na jakiej podstawie?
adekwatność  Czy projekt odpowiadał potrzebom i oczekiwanion odbiorców?
skuteczność W jakim zakresie udało się zrealizować zaplanowane cele?
Jakich zadań nie udało się zrealizować? Dlaczego?
efektywność Czy trafnie oszacowano budżet projektu? Jakie koszty zakładano?
Jakie były rzeczywiste koszty projektu?
Czy osiągnięte efekty można było realizować za pomocą mniejszych nakładów?
użyteczność Czy uczestnicy projektów są zadowoleni z uzyskanego wsparcia?
Czy uzyskane informacje, wiedza oraz umiejętności są przydatne?
trwałość  Czy rezultaty projektu mają trwały chartakter?

Metody ewaluacji

Ewaluacja opiera się na zebranych informacjach, dlatego każdy plan ewaluacji musi zawierać opis metod gromadzenia informacji (danych), inaczej mówiąc opis metod badawczych. W badaniu ewaluacyjnym najczęściej wykorzystane są następujące metody badawcze:

1. Analiza danych zastanych (Desk research):
Jest to metoda badawcza, wykorzystująca „dane wtórne” (dane statystyczne, raporty z badań, publikacje naukowe, itp.) zgromadzone wcześniej przez różne podmioty badawcze lub podmiot poddawany ewaluacji. W trakcie badania desk research, zwłaszcza przy ewaluacji ex-post szczególna uwaga poświęcona jest kwestii osiągnięcia zakładanych wskaźników rezultatów. Wadą tej metody jest to, iż dostępne informacje nie zawsze odpowiadają w pełni na pytania badawcze. Dlatego metoda ta często uzupełniana jest innymi, pozwalającymi pozyskać brakujące informacje.

2. Ankieta papierowa (PAPI – Paper and Pencil Interview):
Ankieta papierowa (PAPI) to tradycyjny sposób zbierania informacji, za pomocą bezpośredniego wywiadu z respondentem przy użyciu ankiety papierowej. Jej odmianą jest ankieta audytoryjna – technika badawcza polegającą na rozdaniu i zebraniu ankiet od wybranej grupy osób, które wypełniają ją w obecności ankietera. Zaletą metody jest obecność ankietera, który może rozwiać wątpliwości pojawiające się w trakcie badania, wadą jest niewątpliwie czasochłonność tej techniki przy dużej próbie badawczej, wynikająca z konieczności przekształcenia danych z formy papierowej na elektroniczną.

3. Ankieta internetowa (CAWI – Computer Assisted Interview):
Z powodu wspomnianej niedoskonałości ankiety papierowej stosuje się jej wersję internetową zwaną CAWI. Jest to wspomagany komputerowo wywiad internetowy, w którym ankietę umieszcza się na stronie WWW, prosząc respondenta o wypełnienie i wysłanie jej w formie elektronicznej. Dzięki tej metodzie można w stosunkowo szybki i tani spos...

Artykuł jest dostępny w całości tylko dla zalogowanych użytkowników.

Jak uzyskać dostęp? Wystarczy, że założysz bezpłatne konto lub zalogujesz się.
Czeka na Ciebie pakiet inspirujących materiałow pokazowych.
Załóż bezpłatne konto Zaloguj się

Przypisy