Tak tedy o interní evaluaci
Tak dlouho jsem přemýšlel o reakci na příspěvek Martina Nekoly, až se mi z toho vyklubala delší text, který snad snese samostatný příspěvek.
S rolí interního evaluátora mám nějaké zkušenosti, jednak z ministerského působení v evaluačních jednotkách a jednak ze současného volnonožství na pomezí externě-interní evaluace, kdy také minimálně s jedním klientem začínám mít dlouhodobý vztah přesahující jednotlivé projekty a snažím se podpořit růst někoho opravdu interního.
Nejprve bych uvedl několik myšlenek doplňujících či glosujících myšlenky Martinovy a následně se podělil o svoje určité dilema, o tom, čím by interní evaluace být měly (anebo neměly).
Spatřuji ještě jeden důležitý účel interních evaluací, a to je dostatečné osahání si evaluací na to, aby organizace dokázala nakupovat a využívat evaluace externí. Toto je obzvláště důležité na u „interních evaluátorů“ na těch evaluačních jednotkách (obvykle na ministerstvech odpovědných za nějakou část ESIF), která ve větší míře evaluace zadávají externě. Martinův postesk na častou nízkou míru zkušeností těchto evaluátorů sdílím. Zastávám při tom názor, že jen pokud jsem alespoň nějak schopen si představit, jak nějakou evaluaci provést, pak pouze pak jsem schopen ji i kvalitně zadat externě. Zažil jsem proměnu evaluační jednotky NOK před několika lety. Už tehdy měli několik let praxe zadávání externích evaluací a poměrně intenzívně se evaluačně vzdělávali na školeních a konferencích. Jako jejich tehdejší šéf jsem je přesvědčil, že si jednu menší evaluaci uděláme vlastními silami. S trochou nejistoty se do toho pustili. Trvalo to mnohem déle, než předpokládali, pochopili spoustu praktických problémů s kvalitou a čištěním dat a dalších evaluačních peripetií. Ale vzešli z toho výrazně obohaceni a další zadávačky byly zase o stupeň lepší, a i dodavatelé chválili větší míru vzájemného porozumění. Myslím, že aktuálně vím alespoň o třech evaluačních ministerských týmech, které tu a tam dělají něco sami interně a je to podle mne znát i na kvalitě jejich zadávání externích evaluací. Aneb, chcete-li evaluace zadávat externě, dělejte si je současně i interně.
Martin se také trochu dotýká tématu nezávislosti evaluátora. Osobně mám pocit, že jde o přeceňované téma (možná trochu přikrmované konzultantským byznysem) a vždycky si vzpomenu na svého evaluačního učitele Alberta Martiniho, který v kontextu diskuze o (ne)závislosti (interní) evaluace vždycky říkal, že způsob organizace evaluace je úplně jedno. A to, na čem závisí, je, jestli organizace má T.I.T.L.E. tedy True Intent To Learn for Evaluation (tedy něco jako skutečné odhodlání se z evaluace poučit). Pokud jej má, interní evaluace bude upřímná (také nepoužívám slovo objektivní) a externí využitá. Pokud jej nemá, interní evaluace bude zkresleně-sebeoslavná a externí buď také taková (přeci toho evaluátora platím) nebo skončí nečtena v šuplíku. Otázka za milion je tady pochopitelně jak organizacím pomoci T.I.T.L.E. získat. Ale k tomu se ještě dostanu. Přijde mi, že skutečná potřeba externí evaluace je relativně vzácná, nejspíš v případě nějakého většího pilotu už poměrně známého řešení, kdy mám důvod si myslet, že prosazení řešení může pomoci robustní a externí evaluace. Tedy v případě evaluace, jejímž hlavním účelem je prokázání jsme efektivně utratili peníze, případně advokace řešení směrem k nějaké vnější entitě. Tedy typ projektů, které se snažil podporovat tým Markéty Pěchoučkové v rámci sociálních inovací na MPSV ve výzvě OPZ č. 82 (proč proboha pro ty výzvy nemůžeme používat nějaké lidské pojmenování!?).
A teď k tomu mému dilematu. Začal jsem si ho uvědomovat někdy v letech 2017–2018, kdy jsem paradoxně zrovna (vice)prezidentoval České evaluační společnosti. Začal jsem si klást otázku, jestli náhodou nejedu na mrtvém koni a jestli proto, abych mohl lépe naplňovat často deklarovaný účel evaluací — lepší projekty, politiky, služby — nemám přestat být evaluátorem.
Možná silněji vnímám účel evaluací v rovině učení se, než v rovině skládání účtů (akontability). Koneckonců i vývoj myšlení o akontabilitě směřuje, po řadě problémů souvisejících s přílišným tlakem na jednotlivé její aspekty (Veselý 2013), tak jak je popsal Hood (1991), k přerámování v myšlence, že klíčová má být akontabilita za (organizační) učení se (Perrin 2015).
Jenže tady vnímám stín pozitivistických kořenů evaluace, který se zatím příliš nedaří příliš překračovat. Quinn a Sonenshein (2008) popisují několik strategií, jak prosadit změnu v lidském systému. Evaluace se přitom klasicky opírají o tu, kterou můžeme nazvat empiricko-racionální ve smyslu „prozkoumám problém, přinesu argumenty o potřebných změnách, čímž v racionální rovině přesvědčím lidi, aby začali něco dělat jinak“, případně v kombinaci se strategií mocensko-donucovací ve smyslu „racionálně přesvědčím šéfa, a on tu změnu směrem dolů přikáže“. Evaluátoři sice občas připustí, že něco jako confirmation bias může existovat, nebo i nějaký jiný z kognitivních biasů, kterými jako lidé trpíme (Heick 2019), ale že bychom natolik změnili svůj způsob práce s evidencí tak, aby se změny v reakci na evaluaci dostavovaly pravidelně a ne jen výjimečně, jsem si zatím nevšiml.
Chceme-li se tedy dostat k lepším projektům, politikám a službám přes organizační učení, jak na to? Jsou i další cesty. Quinn a Sonenshein (2008) mluví o normativně-reedukativní strategii (která úzce souvisí s tím, čemu se říká double-loop learning) a transformativní strategii, representovanou, pokud tomu dobře rozumím, například Theory U (Scharmer and Kaufer 2013).
V praktické rovině se podobnými věcmi zabývá skupina kolem Human Learning Systems (Knight et al. 2017; Lowe and Plimmer 2019) (nová jejich publikace s mojí nepatrnou stopou vyjde 15. června). Přistup Human Learning Systems vychází z předpokladů, že
zaměření se na vztahy mezi lidmi vytváří lepší pracovní postupy a lepší pracovní místa;
upřednostnění společného učení se nad prostým výkonem práce vytváří bezpečný prostor pro inovaci a trvalé zlepšování se;
přemýšlení v systémech, tedy chápání věcí jako propojených a vzájemně závislých, vede k lepším výsledkům pro všechny.
V českém prostředí se těmto myšlenkám celkem blížila výzva č. 83 OPZ (“Nová řešení pro tíživé sociální problémy” — ony ty výzvy jména mají, bohužel takové, že je nikdo nepoužívá), také od týmu Markéty Pěchoučkové, s cílem zlepšit různé (sociální) služby s předpokladem využívání Human Centred Design (HCD 2013) jako metodologie změny. Začalo se zde mluvit o roli „průvodce změnou“, což se prolíná s rolemi interního evaluátora v podobě „agenta změny“ nebo „pomocníka organizačního učení“, až na to, že šlo zpravidla o externího konzultanta. Ze svého angažmá v jednom z těchto projektů mám z role externího průvodce změnou možnost pozorovat proměny organizace. Chci zmínit dva momenty, které mi přijdou důležité.
Zaprvé, že vzhledem k tomu, že se zde našla i nadaná a zdatná interní průvodkyně změnou, se podařilo během pár měsíců vybudovat způsob uvažování o službách tak, že front-line tým si formuluje problém s fungováním své služby a experimentálně si vyvíjí řešení — během pár týdnů dokáží vyvinout prototyp, otestovat jej na klientech, na základě rychlé zpravidla kvalitativní zpětné vazby jej vyhodnotit, upravit, poslat do celoorganizačního pilotního provozu, ten vyhodnotit už metodologicky robustněji a pak případně rozhodnout o začlenění do běžného fungování. Je v tom mnoho z evaluace, ale také mnoho dalšího, skloubeno do komplexního uvažování o kontinuálním vývoji poskytované služby. A především je v tom skutečné odhodlání se učit (nejen z evaluace).
Zadruhé, na nebohé organizace účastnící se výzvy 83 jsou zpravidla nasazeni dva externí konzultanti — vedle průvodce změnou i celkem klasický evaluátor. V reflexivních debatách organizovaných MPSV o tom, jak se projekty vyvíjejí, jsem pojmenovával svoji obavu z toho, že to je „overkill“, kdy hrozí spíše zmatení organizace, než lepší učení se.
S mým drahým kolegou Jeremy Coxem jsme nedávnou diskutovali, jaké superschopnosti by měl mít takový průvodce změnou maximalizující zlepšování služeb nejen v rámci jedné organizace, ale holisticky napříč organizacemi tak, jak příslušnou životní situaci zažívají klienti. Dospěli jsme k těmto čtyřem oblastem:
Schopnost být dobrým koučem, a to pro více organizací v partnerství kolem určitého problému;
Schopnost naplňovat a u druhých rozvíjet roli system stewarda (Hallsworth 2011);
Designerská role (tedy technická schopnost vytvářet kvalitní služby a jejich systémy v komplexním prostředí s citem pro potřebu individualizace a zvládání variability);
Schopnost vytvářet prostředí, kde učení je opravdovou prioritou.
Ve zmíněné výzvě se role průvodce změnou zpravidla ujali lidé s designerskou zkušeností. A někdy uspěli lépe a někdy hůře. Evaluační kompetence a zkušenosti pro takovou práci také nejsou k zahození, ale vyžadováno je mnohem více.
Co mi z toho plyne, respektive co je otázkou, kterou si na základě toho kladu? Je role průvodce změnou, jak jsem ji výše popsal, rolí označitelnou za interního evaluátora? A pokud ne, je vedle ní ještě pro interního evaluátora místo? A jak by tedy mělo vypadat vzdělávání v interních evaluacích?
Sám si asi odpovídám, že na pojmenování nezáleží a je důležité, aby to někdo dělal. Jen mám spíš dojem, že to znamená nezůstat věrný evaluaci, protože je potřeba její mnohem širší pojetí, aby člověk zůstal věrný poslání evaluace.
Použitá literatura:
Hallsworth, Michael. 2011. System Stewardship : The Future of Policy Making? Working Paper. Institute for Government. https://www.instituteforgovernment.org.uk/publications/system-stewardship.
HCD. 2013. HCD: Design Zaměřený Na Člověka. http://eknihy.knihovna.cz/kniha/hcd-design-zamereny-na-cloveka.
Heick, Terry. 2019. ‘The Cognitive Bias Codex: A Visual Of 180+ Cognitive Biases |’. TeachThought. 3 July 2019. https://www.teachthought.com/critical-thinking/the-cognitive-bias-codex-a-visual-of-180-cognitive-biases/.
Hood, Christopher. 1991. ‘A Public Management for All Seasons?’ Public Administration 69 (1): 3–19. https://doi.org/10.1111/j.1467-9299.1991.tb00779.x.
Knight, Annabel Davidson, Toby Lowe, Marion Brossard, and Julie Wilson. 2017. A Whole New World: Funding and Commissioning in Complexity. London: Collaborate and Newcastle University. https://www.humanlearning.systems/uploads/A%20Whole%20New%20World%2C%20Funding%20and%20Commissioning%20in%20Complexity.pdf.
Lowe, Toby, and Dawn Plimmer. 2019. Exploring the New World: Practical Insights for Funding, Commissioning and Managing in Complexity. London: Collaborate for social change, Northumbria University. http://wordpress.collaboratei.com/wp-content/uploads/1.-Exploring-the-New-World-Report-MAIN-FINAL.pdf.
Perrin, Burt. 2015. ‘Bringing Accountability up to Date with the Realities of Public Sector Management in the 21st Century: New View of Accountability’. Canadian Public Administration 58 (1): 183–203. https://doi.org/10.1111/capa.12107.
Quinn, Robert E, and Scott Sonenshein. 2008. ‘Four General Strategies for Changing Human Systems’. In Handbook of Organization Development, 10. Thousand Oaks: Sage Publications. https://us.sagepub.com/sites/default/files/upm-binaries/17525_Chapter_5.pdf.
Scharmer, Otto, and Katrin Kaufer. 2013. Leading from the Emerging Future: From Ego-System to Eco-System Economies. 1st edition. San Francisco: Berrett-Koehler Publishers.
Veselý, Arnošt. 2013. ‘Accountability in Central and Eastern Europe: Concept and Reality’. International Review of Administrative Sciences 79 (2): 310–30. https://doi.org/10.1177/0020852313477762.
