Effectevaluatie PAO bij Sterker Sociaal Werk
Met Sterker Sociaal Werk heb ik vandaag een participatief actie-onderzoekstraject (PAO) traject uitvoerig geëvalueerd met behulp van de ‘effectencalculator’, dat is een methode voor het evalueren van nieuwe aanpakken in het sociaal domein. Een mooie sessie die mij ontzettend veel inzichten opgeleverd heeft voor onze aanpak van PAO in de opleiding Maatschappelijk Werk & Dienstverlening(MWD)/Social Work(SW) en voor onze samenwerking met het werkveld en met studenten. Wat is hiervan van waarde?
Een nieuw paradigma voor onderzoek & innovatie
Halverwege 2016 begonnen we bij MWD HAN met een nieuw type afstuderen. In plaats van kwalitatief of kwantitatief onderzoek in de laatste fase van de opleiding (gericht op ‘iets te weten komen’) startten studenten met participatief actieonderzoek, kortweg PAO (gericht op collectief ‘leren / veranderen’). PAO is een type onderzoek dat in de praktijk niet altijd herkend wordt als onderzoek, maar eerder als projectmatig werken, ervaringsgericht werken, samenlevingsopbouw of ontwerpend werken.
Als MWD opleiding hebben we voor PAO gekozen, omdat dit een strategie is voor verandering, specifiek een strategie voor empowerment van mensen. Empowerment is de kern van het sociaal werk en studenten hebben in het kader van directe hulpverlening aan cliënten al volop kennis mee gemaakt met empowerende technieken (bijv. systeemgericht werken, netwerkbenadering). In de laatste fase van hun opleiding leren ze deze technieken óók te hanteren om te werken met kwesties die vragen om beroepsontwikkeling en/of ontwikkeling van organisaties en netwerken. We schreven hier al over in het blog PAO om te doen wat nodig is.
Studenten starten hun PAO op tijdens hun stageperiode waarin ze 4 dagen/week in een praktijkcontext werken en ze gaan een half jaar ná hun stage door in de rol van procesbegeleider van het PAO. Ze kennen dan de context, ze hebben hun netwerk in die context en ze hebben draagvlak gevonden in die context.
Evaluatie: wat is van waarde?
Een half jaar nadat de eerste lichting studenten hun PAO heeft afgerond wordt het tijd om de PAO’s wat grondiger met praktijk en studenten te evalueren. Met behulp van de Effectencalculator, een narratieve methode die met de transformatie van het sociaal domein ontwikkeld is om waarde & winst van nieuwe aanpakken te meten.
Het PAO van één de studenten die stage liep bij Sterker Sociaal Werk in Nijmegen hebben we vandaag geëvalueerd. Bij de evaluatiesessie was de student zelf aanwezig, de begeleider van deze student en de projectleider onderzoek en ontwikkeling van Sterker.
We hebben samen het PAO-proces gereconstrueerd met behulp van het werkblad. Dat is de eerste stap van de effectencalculator (bovenste deel werkblad). We richten ons vooral op aanpak & beleving, in tweede instantie op tijd & kosten. We besluiten bij de start om de focus van de tweede stap van de calculator ná reconstructie van de werkelijke aanpak te kiezen:
a. beschrijving van een (hypothetische) klassieke aanpak (gericht op iets te weten komen), of
b. beschrijving van een ‘volgens het boekje’ PAO aanpak (gericht op ontwerpend veranderen)
Stap 1: De daadwerkelijke aanpak
Een samenvatting van het de daadwerkelijke aanpak, het PAO proces:
Startsituatie is dat student als stagiair groepsmaatschappelijk werker meerdere vragen opvangt naar een terugkombijeenkomst ná de SOVA training. Zorg van ouders is dat kennis en vaardigheden van kinderen die deelgenomen hebben aan de SOVA training onvoldoende beklijven op langere termijn. Centrale focus van PAO werd: ‘helpt een terugkombijeenkomst om de kennis en vaardigheden m.b.t. SOVA te behouden?’ In overleg met stagebegeleider, onderzoekscoördinator en groepswerkcoördinator wordt besloten om dit te gaan onderzoeken. De student startte met vooronderzoek bij ouders en collega’s: wat is het precies dat ouders missen op langere termijn en waar moet een goede terugkombijeenkomst aan voldoen? Met die informatie formuleerde student met een aantal collega-groepswerkers een aantal ontwerpeisen voor de terugkombijeenkomst: creatief, interactief, dynamisch. In een tweetal ontwerpsessies werd de terugkombijeenkomst voorbereid. De student deed een 0-meting voorafgaand aan de terugkombijeenkomst: in hoeverre passen kinderen de geleerde kennis en vaardigheden nog toe? en in hoeverre bieden ouders ondersteuning hierbij? Ze voerde deze meting ook uit bij een controlegroep die geen terugkombijeenkomst kreeg.
De terugkombijeenkomst was teleurstellend qua opkomst. Minder dan de helft van het aantal verwachte kinderen en ouders kwam opdagen (ze gaven aan ‘geen prioriteit’ te kunnen geven aan de bijeenkomst op dat moment). Kinderen en ouders die aanwezig waren waren enthousiast over inhoud en vorm. De opbrengst was echter niet zoals verwacht: uit de nameting bleek dat de terugkombijeenkomst niet bijdroeg aan het beter beklijven van kennis en vaardigheden.
Toch duidden de betrokken groepswerkers de terugkombijeenkomst als het grootste leermoment van het PAO traject. Ze ontdekten immers dat deze interventie niet het antwoord is op de zorg van het beklijven. Er is iets anders nodig. Eindsituatie is dat het vraagstuk van beklijving van SOVA kennis en vaardigheden nog steeds speelt. Maar er zijn wel inzichten bij de groepswerkers ontstaan die effect hebben op de aanpak van het SOVA aanbod. Betrokkenen bij het PAO geven nu meer fysieke, creatievere en interactievere SOVA trainingen en ze stemmen meer af met ouders. De leerwinst gaat zelfs verder dan de SOVA trainingen: ook in het andere werk met cliënten worden elementen van de ontwikkelde terugkombijeenkomst uitgeprobeerd / toegepast. ‘Leren’ rondom groepswerk is meer dan voorheen een thema.
We hebben veel tijd gebruikt om het proces goed te reconstrueren. Een heel werkblad vol met informatie over wat wanneer ondernomen is en wat dat heeft opgeleverd.
Stap2: De aanpak ‘volgens het boekje’
Na de reconstructie hebben we ervoor gekozen om de tweede stap al pratend naar aanleiding van een paar vragen te doen die tijdens de reconstructie ontstonden:
a. De student heeft behoorlijk wat ‘echt’ onderzoek gedaan: enquêtes uitgezet, interviews afgenomen, een controlegroep samengesteld, analyses gedaan, resultaten beschreven. Past dat nog bij PAO?
b. Wat vraagt PAO van de organisatie waar de student werkt?
Gesprek over de eerste vraag leidde tot een snelle versie van de ‘volgens het boekje’ PAO aanpak. In die aanpak had het minder lang geduurd voordat de terugkomst ontwikkeld en uitgevoerd zou worden. Bijv. een snelle ontwerp sessie mét ouders, kinderen, groepswerkers en evt. experts (op gebied van didactiek, beklijven van kennis), daarna een eerste uitvoering en evaluatie: werkt dit voor deze doelgroep, op dit moment in deze context? wat is ook van waarde? wat is nodig? Dan weer (her)ontwerp met een verkenning van nieuwe mogelijkheden, uitvoering/test, evaluatie, etc. Mogelijk zou de aanvankelijke vraag naar een terugkombijeenkomst hebben geleid tot een heel andere aanpak van het versterken van SOVA dan de huidige groepsbijeenkomsten. Of zelfs tot het verleggen van de vraag van SOVA voor kinderen naar verlegenheid van ouders bij opvoeden. Of naar het verbeteren van samenwerking tussen groepswerkers en jongerenwerkers. Met als belangrijkste winst: een meer continue ontwerpende aanpak rondom het groepswerk vanuit de bedoeling, mét de doelgroep en met andere belanghebbenden en/of kennisdragers.
Onze vragen…
#1 Wat vragen we van studenten?
Het ‘volgens het boekje’ traject roept de volgende vraag op: Mogen we wel van HBO studenten verwachten dat ze zo’n stevige procesrol pakken? Zelfs voor ervaren werkers is het lastig om écht te doen wat nodig is, weerstand op te pikken en vragen te verleggen. Dit vraagt soms om in te gaan tegen systemen, structuren, belangen, verhoudingen die veel ‘groter’ zijn dan de student en zelfs dan een ervaren werker.
Een belangrijke vraag die mij puzzelt. Met PAO vragen we inderdaad van onze studenten om bestaande praktijken te helpen transformeren, een ‘change agent’ te zijn die waar nodig anders helpt te kijken, te denken en te doen. Kunnen we dit vragen of forceren we studenten dan een rol te pakken die frustrerend is? Ik kom dit gevoel van frustratie bij meerdere studenten tegen. Zou zo’n rol bijv. haalbaar zijn als de student samen optrekt met een meer ervaren procesbegeleider (uit de organisatie of een docent)?
Kunnen we ook (of beter) tevreden zijn als een student, zoals in deze casus iets toevoegt aan bestaande praktijken, dus bijv. een impuls geeft aan het ontwerpen van betere groepsbijeenkomsten?
#2 Wat vraagt PAO van de praktijk?
De tweede vraag over wat PAO vraagt van de organisatie levert meteen een gesprek op over de ‘klassieke’ aanpak. Het is voor Sterker duidelijk dat PAO intensiever is voor de organisatie, omdat collega’s met PAO betrokken worden bij voor hun werk relevante leer- en ontwerpprocessen rondom kwesties. Daar zit tegelijkertijd ook de winst van PAO: de meest betrokkenen bij PAO hebben gecocreëerd in het traject en zij hebben tevens het meest geleerd van (het ontwerpen van) de terugkombijeenkomst voor hun alledaagse werk. Bij een klassieke aanpak was de student vooral druk geweest met het verzamelen van gegevens, het analyseren en het rapporteren. En dan zou er mogelijk nog niks veranderd zijn in het werk van de groepswerkers en in de zorg van ouders.
Inzichten uit de evaluatie
Ik heb het super zinvol ervaren om in de context met betrokkenen een PAO op deze manier te evalueren. De effectencalculator heb ik ervaren als een bruikbaar analyse-instrument, maar misschien nog meer als een ontwikkelinstrument dat helpt om samen ontdekken wat wel en niet werkt, samen lastige dilemma’s te benoemen. Indirect komt ook ter sprake wat een ‘optimale’ situatie eigenlijk is. Dat is namelijk niet evident, omdat ‘het succes’ van een casus met meerdere criteria beoordeeld kan worden. Is een casus goed als volgens het boekje is gewerkt? Of als het voor de organisatie helemaal naar wens is? Of als de doelgroep tevreden is? Het gesprek dat daarmee ontstaat rond de Effectencalculator is juist daarom ‘ontwikkelend’. De kracht van de Effectencalculator is dat het gesprek vanuit een concrete praktijk gevoerd wordt. Veronderstellingen en uitgangspunten worden tastbaar gemaakt. Tegenstrijdigheden daarbinnen worden zichtbaar en bespreekbaar. Een mooi voorbeeld vond ik dat de student vertelde waarom ze de doelgroep niet betrokken had bij de ontwerpsessies. Ze zei “ik wilde niet nog méér weerstand”. Hoe menselijk en herkenbaar is dat? Mooi om hier eerlijk en ontwikkelingsgericht op te kunnen reflecteren.
Ik wil meer van dit soort sessies doen. Om beter te kunnen analyseren wat de impact is van PAO voor onze HAN omgeving en ook om PAO met de omgeving door te ontwikkelen. Samen over de methode leren en de waarde ervan leren (her)kennen voor het Sociaal Werk. Samen change agents worden zodat de student geen pionier hoeft te zijn, maar co-ontwerper van sociale waarde(n)!
