A kérdőívezés 5+1 halálos bűne
Még mindig emlékszem az első általam összeállított kérdőívre. Összeírtam a kérdéseket, listáztam mindhez opciókat, és azt gondoltam, kész vagyok. A biztonság kedvéért azért megmutattam egy kollégámnak, akinek sokkal több tapasztalata volt ebben. Magam is meglepődtem, hogy minden kérdésben talált valami javítanivalót. Akkor értettem meg, hogy ez nem is olyan egyszerű, mint ahogy kinéz. Azóta kitöltöttem többszáz kérdőívet (ez egyfajta megszállottsággá vált nálam), és a sok rossz példából meg a Prezi többi kutatójától sokat tanultam az elmúlt években.
A kérdőívezés a legnépszerűbb kutatási módszertan, amely azzal kecsegtet, hogy kvalitatív információkat gyűjt be nagy számban, tehát kvantitatív formában. Mivel látszólag pofonegyszerű a szintaxis, a legtöbb kérdőívkészítő komolyabb tájékozódás nélkül készít — sajnos gyakran — torz kérdőíveket, melyek a legkevésbé sem fogják a megkérdezettek, pláne nem egy adott célcsoport véleményét tükrözni.
Mielőtt megosztanám veletek az általam összegyűjtött tipikus hibákat, nézzük meg, mikor érdemes kérdőívet készíteni egyáltalán.
Mikor kérdőívezzünk?
A kérdőívezés nem alkalmas arra, hogy egy teljesen ismeretlen területet térképezzünk fel vele. Az ok nagyon egyszerű: ez esetben egyszerűen nem tudunk a területet jól lefedő opciókat ajánlani a kitöltőknek, de gyakran még a kérdéseink sem lesznek igazán célravezetők. Mielőtt tehát számosítanánk ismereteinket, érdemes pár mélyinterjút készíteni a célcsoport 1–1 tagjával. Az interjú forgatókönyvben összeírjuk kezdeti kérdéseinket, de lehetőségünk van a váratlan válaszok esetén további kérdésekkel tágítani az adott területről meglevő feltételezéseinket. Amikor az interjúkból mintákat kezdünk kihallani, nekiállhatunk a kérdőív elkészítésének.
Vannak olyan speciális területek, melyeknél nem szükséges előzetes interjú, hiszen adottak a válaszlehetőségek. Ilyen egy csoport demográfiai adatainak (nem, életkor, lakóhely, stb.) begyűjtése, ahol pontosan tudjuk, milyen válaszok lehetségesek. Illetve ha egy szolgáltatással vagy termékkel kapcsolatos elégedettséget kívánunk felmérni — ez esetben akár standardizált kérdéseket is feltehetünk (pl. NPS). De még ezen kérdőívek készítésekor is könnyedén bűnbe eshetünk. Hogyan?
1. Rossz kérdések
Igen, lehet rosszul kérdezni, nem is csak egyféleképpen.
Sokan, hogy a kérdőív hosszát csökkentsék, több kérdést kombinálnak egyben, így azonban bizonytalan lesz, hogy melyik kérdésre válaszol majd a kitöltő.
A rossz kérdések leggyakoribb fajtája a befolyásoló kérdésfeltevés, tehát amikor a kérdés sugalmaz egyfajta helyes választ. Ez előfordulhat egyetlen kérdésben is, ám gyakran a kérdések sorozata idéz elő olyan helyzetet, amelyre az emberek hajlamosak lesznek nem a valóságot, hanem inkább lelkiismeretük által sugallt, vagy a kérdésfeltevő által sugalmazott választ adni.
És végül vannak olyan kérdések, melyeket teljesen felesleges feltennünk egy kérdőívben, mert nem valószínű, hogy nagy szórása lesz a válaszoknak.
Érdemes a feltételes (egy korábbi kérdésre adott választól függő) kérdéseket csak akkor mutatni a kitöltőnek, ha az számára aktuális. Nem torzítja ugyan az eredményt, de nagyon bosszantó tud lenni, mikor a kérdés értelmezése után jövünk rá, hogy arra nekünk egy korábbi válasz alapján nem is kell válaszolnunk.
A jó kérdőív kérdés tehát egyszerű, nyitott és nem irányító.
2. Rossz opciók
Olyan emléke mindannyiunknak van, amikor egy kérdőív kitöltésekor nem találjuk azt a választ, melyet magunktól adnánk. Ilyenkor egy rosszul megszerkesztett kérdőívben választani fogunk egy olyan opciót, amely nem fedi a valóságot.
De készíthetünk olyan kérdőívet is, melyben több opció is igaz lehet, ám csak egy kiválasztását engedjük.
Ennek megelőzéseképpen készítsünk interjúkat a kérdőívezés előtt, illetve mindig ajánljunk fel egy “Egyéb”, kényes kérdéseknél pedig egy “Nem kívánok válaszolni” vagy “Egyik sem” választ — így kerülhetjük el, hogy torzuljon a felmérés. Nagyon hasznos lehet a kutatás szempontjából, ha az “Egyéb” válaszoknál további kérdéseket teszünk fel, amennyiben érdekes a korábbi mintától eltérő válaszadó egyéb ismerete a kérdésben.
Szintén gyakori hiba a túl sok, túl hosszú vagy túl bonyolult opció felkínálása. A kérdőívet gyakran ingyen töltik ki az emberek, a saját szabadidejükben segítve nekünk, így érthető módon minél előbb túl akarnak majd esni rajta. Emiatt ha túl sok olvasnivalót kínálunk, nagy valószínűséggel nem fogják sorra venni és kellően mérlegelni, melyik számukra a legigazabb válasz — inkább kiválasztják majd az első elfogadhatót. Ezzel megint csak torzul a kutatásunk.
Ezt elkerülhetjük a válaszopciók randomizálásával, ha azok eredeti sorrendje nem segíti a megértést.
Igyekezzünk tehát valós opciókat kínálni, azokat tömören fogalmazzuk meg, és ne kínáljunk egymást átfedő válaszokat amennyiben csak egyet jelölhet meg a kitöltő. És legyen “Egyéb”, vagy kibújási lehetőség a válaszadás alól.
3. Torz minta
Ha az ember figyelmesen végigolvasná az összes marketing levelet és newslettert, amelyet egy héten kap, rájönne: legalább egy tucatszor kérik meg hosszabb-rövidebb kérdőív kitöltésére. Ez részben jó, hiszen egyre több szolgáltatót érdekli a felhasználói véleménye, másrészt viszont a túl sok megkeresés eredménye általában az, hogy egyiket sem töltjük ki.
Nagy általánosságban elmondhatjuk, hogy a termékekkel és szolgáltatásokkal kapcsolatos kérdőíveket főképp a rajongók és a nagyon elégedetlenek fogják figyelemre méltatni. És bár minden felhasználónk véleménye fontos, ezen két extrém felhasználói csoport azért kevésbé hangsúlyos, hiszen a rajongókat már meggyőztük, és szeretik, amit nekik nyújtunk— az elégedetlenek pedig valamilyen múltbeli negatív élmény miatt valószínűleg már nem sokáig felhasználóink. A nagy többség, az indifferensek táborát azonban nehéz megszólítani, hiszen nem társítanak erős érzelmet a brandhez, ezért — hacsak nem maguk is kutatók, vagy nem hobbijuk a kérdőívkitöltés — nem fogják véleményüket megosztani velünk. Egy személyes vagy távoli interjúra a megfelelő kompenzáció ellenében viszont rávehetők.
Nagy elemszámú kérdőívek esetén szoktak adattisztítást is végezni. Ez azt jelenti, hogy törlik azon sorokat, melyek egymásnak ellentmondó, vagy elképzelhetetlen adatokat tartalmaznak, illetve javítják a valószínűsíthető hibákat. Itt persze nagyon kell vigyáznunk, hogy ne essünk a megerősítési torzítás (confirmation bias) csapdájába, és ne azokat a válaszokat töröljük, melyek a hipotézisünket cáfolják, vagy számunkra kényelmetlen ill. szokatlan tényeket tartalmaznak.
Ez alapján mi is fontoljuk meg, milyen gyakran kérjük meg felhasználóinkat kérdőív kitöltésére. Szintén hasznos ezeket másik e-mailcímről küldeni, mint amelyről a hírlevelek érkeznek — így érhetjük el azokat is, akik a hírlevelünkről már leiratkoztak, vagy saját szűrővel szabadultak meg tőlük.
4. Hiányzó kontextus
Egy interjú során bármilyen félreértés merülne is fel, van lehetőség korrigálásra. Az interjúalany visszakérdezhet, ha nem érti pontosan a kérdést, ahogy mi is feltehetünk pontosító kérdéseket, amennyiben nem teljesen világosak az általa elmondottak. Egy kérdőívben erre nincs lehetőség.
Jó hír viszont, hogy egy kérdőívet is lehet tesztelni — és kell is. Élő interjú során végigmehetünk a már összeállított terven, és megkérhetjük a résztvevőt, hogy magyarázza el, az egyes kérdések mit szeretnének pontosan megtudni. Hasonlóképpen validálhatjuk a felkínált opciókat is.
Ajánlatos az anonim kérdőív végén megkérdezni, hogy kontaktálhatjuk-e a kitöltőt később egy interjú vagy pontosító kérdések okán. Ha nagyon furcsa, vagy az átlagostól eltérő válaszokat kapunk valakitől, így egy személyes interjú során megérthetjük az okokat.
Azt se felejtsük el, hogy a kitöltő pillanatnyi kontextusa is nagyban befolyásolja majd a válaszokat. Az emberi agy a témához köthető helyszínen könnyebben előhívja az azzal kapcsolatos élményeket és emlékeket, ezért helyszíni interjúkkal készíthetjük a legpontosabb kutatást. Kérdőívünket viszont kitölthetik az emberek utazás közben, zajban, sietve, bosszúsan vagy épp feldobva, fáradtan… ezeket a torzításokat sajnos lehetetlen kizárni vagy utólag felismerni.
5. Feltételes mód
Sok szociálpszichológiai kísérlet igazolja, hogy az emberek nagyon ügyetlenek abban, hogy megjósolják: bizonyos helyzetekben hogyan viselkednének. Pozitív énképünk megóvásáért bármire képesek vagyunk — agyunk akár múltbeli emlékeket is képes torzítani annak érdekében, hogy jobb fényben tűnhessünk fel magunk előtt. Nem kérdés tehát, hogy egy feltételes módú kérdésnél az emberek igen nagy része sokkal pozitívabb tetteket tulajdonít majd magának, mint ahogy az a valóságban megesne. Valójában az aktuális szituáció óriási hatással van arra, hogy mit teszünk, plusz a jövőt sokkal optimistábban látjuk, mintsem azt tudjuk magunkról (optimism bias).
Tehát a legtöbb feltételes módú kérdésre a pontos válasz az lenne, hogy “Nem tudom, az adott helyzettől függ.” Az emberek viszont nem így gondolkodnak, és ha feltételes módú kérdéseket teszünk fel nekik, bizony válaszolni fognak.
Minél bonyolultabb a feltételes kérdés, annál nehezebb válaszolnunk rá, és annál torzabb válaszokat kapunk majd. A Netflix kérdésében nehéz elképzelni, hogy mit jelent az pontosan, ha valaki 25% eséllyel marad előfizetőjük a következő 3 hónapban — hogy ezt a hónapot még befejezi, ám a következőben valószínűleg már lemondja? Vagy kicsi a valószínűsége annak, hogy 3 hónap múlva is az előfizetőjük lesz még, amennyiben nem feliratozzák magyarul a tartalmakat? Nem tudni. Amire biztosan tudunk válaszolni, az az, hogy jelenleg tervezzük-e a szolgáltatás lemondását, illetve hogy gondoltunk-e már erre. És ez pontosabban mutatja, milyen valószínűséggel lesz valaki 3 hónap múlva még mindig Netflix ügyfél.
Ami pedig a feltételes kérdések legtorzabb rossz példája, az egy még nem megrendelhető szolgáltatásért vagy még nem megvehető termékért fizetett összeg megbecslésére kéri a kitöltőt. Ennek hátterében még több pszichológiai tényező áll, de a pozitív énkép megtartása itt is érvényesül. Ha megkérdeznénk az embereket, hogy fizetnének-e 1000 Ft-ot egy film megtekintéséért, igen valószínű, hogy igennel válaszolnának, dacára annak, hogy gyakrabban torrenteznek le filmeket mintsem megvegyék azt valamelyik tartalomszolgáltatótól.
De azt is tudnunk kell, hogy a pénz egy olyan absztrakció, melyet még mindig rosszul kezelünk. Minél nagyobb a távolság a valódi pénztől, annál könnyebben költjük. A készpénz átadásához köthető a legnagyobb fájdalomérzet, kártyával már könnyebb fizetni, de egy kaszinóban zsetonokat feltenni a pirosra még annál is könnyebben megy. Hát még ha mindez csak a fejünkben játszódik — olyan játszi könnyedséggel költünk el bármennyi pénzt! Tehát sokkal valószínűbben fizetünk és valószínűsíthetően nagyobb összeget, mint a valóságban.
A Kickstarter és hasonló oldalak épp azért jöttek létre, hogy valós igényt mérjenek fel. Ott ha érdekel minket valami, előbb ki kell azt fizetnünk. Így fel lehet mérni valós igényt, és lehet validálni árat. Kérdőívben sajnos nem.
Ha ez nem lenne elég indok ezen rossz gyakorlat megszűntetésére, akkor vegyük még elő a horgonyzás nevű torzítást (anchoring bias), amely egy tudatalatti gondolkodási hibánk. Ilyenkor az agyunk észrevétlenül átvesz egy tetszőleges, akár teljesen irreleváns referenciapontot, melyhez aztán viszonyít. Egy kérdőív esetén a felkínált első érték lesz ez a referenciapont, amely belövi azt az összegtartományt, amelyben onnantól gondolkodunk. A fenti példa esetén ez a referenciapont az 5000 lesz — ehhez képest a 30000 Ft elég soknak tűnik, mivel mi 5000 Ft körül horgonyoztunk le. Ha ezt a kérdőívet kiküldenénk két példányban — az egyikben növekednének a felkínált tartományok, a másikban pedig csökkennének, akkor a második csoport tagjai jelentősen több pénzt áldoznának a kérdőívben szereplő dologra. Ennyire megbízhatatlan ezt a kérdés.
A pszichológiai háttér hasonlósága miatt említeném meg itt, hogy szintén nem ajánlatos szokásokra rákérdezni — itt megint pozitívabb képet fogunk festeni magunkról a valóságnál. Kérdezzünk inkább egyes szokások legutolsó előfordulására. Persze ügyeljünk arra, hogy ne faggassuk az embereket olyasmiről, ami évekkel ezelőtt esett meg, arra ugyanis megintcsak pontatlan emlékeket fogunk kapni válaszul.
+1. Részrehajló kiértékelés
És ha minden kérdésünk és opciónk tökéletes és az elkerülhető torzításoktól mentes… akkor még mindig lehetünk részrehajlók a kiértékelésnél. A kedvenc megerősítési torzításunk sajnos minimalizálható ugyan, de mivel tudat alatt történik, nem teljesen kizárható akkor sem, amikor analizáljuk a válaszokat.
Ami segíthet, ha minél kevésbé hagyatkozunk a megérzéseinkre, tehát például szabadszavas kérdéseknél cimkézzük a válaszokat, majd a cimkék előfordulását is számszerűsítjük. Hasznos lehet az is, ha a témában kevésbé elmerült kollégánkkal is átnézetjük az eredményeket. Továbbá gyanakodjunk minden esetben, ha a kutatás elsöprően igazolja vágyainkat vagy éppen durván cáfolja a hipotézisünket, különösképpen, ha azt egy másik kutatás alapján állítottuk fel.
De minden kutatásra igaz: soha ne hagyatkozzunk egyetlen módszerre, kombináljuk azt más típusú felmérésekkel — interjúkkal, felhasználói adatok elemzésével — így több forrásból is megerősíthetjük eredményeinket.
Végszó
Az emberek mindig nagyon elcsodálkoznak, mikor elárulom, hogy a Prezinél jóideje nem készítünk semmiféle kérdőíves kutatást. Remélem, hogy aki még mindig olvassa ezt a cikket, már érti, miért.
Jómagam is félve állítanék össze egyet, mert látjátok: számtalanféleképpen el lehet rontani, és bizonyos torzításokat kizárni sem lehet. Persze van olyan helyzet, amikor kérdőívezni kell — ilyenkor a megfelelő előkészület kulcs, ahogy a torzítások ismerete és figyelembevétele is. És próbáljunk meg minél több opcionálisan kitöltendő, nyitott kérdést feltenni. Vagy inkább interjúzni.
A cikk megírása során bemutatott példák sajnos nem a képzelet szüleményei, azokat saját forrásból, vagy nyílt Facebook csoportokban publikált kérdőívekből gyűjtöttem — szerzőiket nem neveztem meg, és igyekeztem felismerhetetlenné tenni őket.
