Místo staré dobré tlusté evaluační zprávy…
Tlusté evaluační zprávy nikdo nečte a je tedy pošetilé si myslet, že pokud veškeré evaluační snažení zhmotníme pouze do zprávy, změníme tím svět. To se ve zkratce snažím říkat účastníkům kurzu Evaluační minimum. Evaluační zpráva je polotovar, ze kterého by následně měly vycházet různé jiné produkty, které se ke komunikaci závěrů evaluace hodí lépe.
Většina evaluátorů si přeje, aby jimi přinesené evaluační důkazy byly využity těmi, kdo rozhodují o veřejných politikách, programech, projektech či službách. Jak ale ukazují zkušenosti (a dobře je shrnuje Karol Olejniczak), šanci, že se tak stane, máme pouze pokud se potkají čtyři okolnosti:
Evaluace dorazí ve správný čas, kdy je uživatelé potřebují (timing —na časování).
Informace poskytované evaluací odpovídají informačním potřebám uživatelů (relevance).
Závěry jsou věrohodné, neboť vznikly výzkumem s kvalitní metodologií (credibility — důvěryhodnost).
A informace jsou dostupné, tj. způsob presentace a komunikační kanál odpovídají preferencím těch, ke komu se mají dostat (accessibility — přístupnost).
Zkušenost z projektu Společně na svobodu
Pokud starou dobrou tlustou závěrečnou evaluační zprávu nikdo důležitý nepreferuje, nabízí se otázka, jaká podoba by mohla být lepší. V dnešním blogu bych se rád podělil o ukázky možných výstupů, které jsme vytvořili v rámci projektu Společně na svobodu.
Tento projekt v letech 2018 až 2020 realizovalo RUBIKON Centrum ve spolupráci s Vězeňskou službou ČR. Projekt ve stručnosti snažil co nejlépe integrovat propouštěné vězně do společnosti, klíčovými prvky intervence byla intenzivní spolupráce věznice a neziskové organizace a individualizovaná podpora klientů před i po propuštění z výkonu trestu.
Práce s klienty v projektu až na drobné výjimky skončila v srpnu 2020 a během září se tak v hrubých obrysech začaly vynořovat poznatky o tom, jak to vlastně dopadlo.
Co jsme tedy tvořili kromě dlouhé zprávy?
Prvním výstupem byla série tří krátkých on-line konzultací s poradci, kteří v rámci projektu pracovali s klienty. Ty sloužily jednak k šíření čerstvých informaci o výsledcích, na což všichni netrpělivě čekali, a jednak k ověření smysluplnosti některých dílčích závěrů. Zde všichni chtěli odpověď na otázku, mělo to, co jsme ty dva roky dělali, a kde jsme zažívali mnoho zklamání, nějaký smysl? A uklidňující odpověď byla, že ano.
Záhy na to následovala presentace na evaluační konferenci NOK, cílená na odbornou evaluátorskou veřejnost, kde jsem kromě efektů intervence detailněji diskutoval samotný design evaluace a některé zádrhele z něj vyplývající (což jsou věci, které „běžné“ uživatele moc nezajímají).
Závěrečná zpráva byla ještě v podobě raných draftů, ale začaly už práce na dvou videích o projektu a jeho evaluaci. V prvním jsme s pomocí Petra Čtvrtníčka, který jako známá osobnost dlouhodobě podporuje RUBIKON, vysvětlili samotnou intervenci.
V druhém jsem se ve velmi zhuštěné podobě pokusil vysvětlit hlavní závěry evaluace širší veřejnosti já.
Následovalo několikatýdenní připomínkování závěrečné zprávy. Připomínky dle očekávání žádné nepřišly, ale považovali jsme za důležité dát příležitost zapojených partnerům (například pracovníkům zapojených věznic) se k závěrům vyjádřit, především pro pocit, že byli u toho a nešlo to mimo ně. Proces připomínkování byl ale doplněn o (z našeho pohledu mnohem důležitější) delší presentace hlavních závěrů na různých fórech (ať v rámci Vězeňské služby nebo Ministerstva spravedlnosti). A tady jsme měli pocit, že závěry byly slyšeny a pochopeny. A myslíme si, že se to projevilo při dojednávání navazující spolupráce mezi RUBIKON Centrem a Vězeňskou službou.
Protože jsme věděli, že závěrečnou zprávu nikdo moc číst nebude, je její součástí samostojné infografické shrnutí, které jsme vyladili s pomocí grafičky. Toto považujeme za výstup, kterým se ráda bude chlubit třeba právě Vězeňská služba, aby ukázala, jak je dobrá.
Pro strýčka příhodu vznikla i (méně hezká) anglická verze infografického shrnutí.
A stará dobrá tlustá závěrečná zpráva? Ta nakonec vznikla taky, včetně přílohy s případovými studiemi klientů, protože si ji potřebuje odškrtnout donor — Řídicí orgán Operačního programu Zaměstnanost na MPSV. Ale Štěpán Rezek si ji s láskou přečte. Asi jako jediný a z hlediska fungování systému trestní justice asi poněkud nedůležitý člověk.
Proč se to povedlo
Na závěr je dobré si shrnout, co bylo potřeba, aby něco podobného mohlo vzniknout.
Samotná intervence skončila v srpnu, evaluační výstupy vznikaly následujících pět měsíců. Vytvoření více komunikačních nástrojů pro evaluaci tak vyžaduje čas, hodně času, takové množství času, jaké je velmi často věnováno na celou evaluaci.
Velké portfolio evaluačních výstupů pochopitelně není zadarmo, kromě vlastní práce potřebujete tu a tam zaplatit nějaké další odborníky (v našem případě filmaře a grafika). Většina výstupů přitom původně nebyla plánována, ale vytvořili jsme je namísto původně plánované větší závěrečné konference a s využitím rozpočtu na ni původně plánovaného.
V neposlední řadě bylo důležité, že jsme byli přesvědčení, že to stojí za to, vzhledem k poměrně silnému evaluačnímu designu a pozitivním zjištěným efektům. Dělat video jako výstup z dojmologické evaluace opírající se jen o názory zapojených aktérů, by mi přišlo podivné.
A byla to zábava. Moc mě bavila možnost si s evaluačními výstupy pohrát a přemýšlet nad tím, co kdo o evaluaci potřebuje vědět.
Co vy? Jaké zajímavé evaluační výstupy jste vytvořili? Podělte se, pochlubte se.
