Uživatelský výzkum — raději žádný nežli vadný

Newsletter

Jedna seriozní softwarová firma mi posílala newsletter. Jednoho dne jsem si uvědomil, že už mi nedávají hodnotu, proto jsem klikl na tlačítko Odhlásit z odběru. Potvrzovací okno se mi vůbec nelíbilo. Posuďte sami, jak to na vás působí.

Hello you!
That’s right, we can’t even bring ourselves to say your name because of how hurt and dissapointed we feel. We thought we had something special here and then you go and spoil it all by saying something stupid like, “Unsubscribe me”. 
However, if you realize the error of your ways, and re-subscribe, we’ll pretend it never happened.
Come back, you know you want to!

Vnímám to jako jednoznačnou aroganci a vůbec mi to nesedí k jejich brandu. Ukázal jsem ho několika lidem v okolí a vnímali to podobně.

Zajímalo mě, jak takový text vznikl, a firma byla tak vstřícná, že mi poskytla základní podrobnosti.

Ahoj Berko,
Jak víš, tak unsubscription e-mail patří k naší nové konferenci xxx, která se koná v Las Vegas.
Rozhodnutí odhlásit se označujeme za hloupost — parafrázujeme písničku Something stupid od Franka Sinatry (kterou zpívával ve Vegas, a která je o dělání chyb — stejně jako koncept xxx konference). 
Testovali jsme copy e-mailu na native speakerech a dost se jim líbilo. Ale samozřejmě to je otázka názoru.

Vypadá to, že někdo měl nápad, že udělá parafrázi na písničku Franka Sinatry, ať je to trošku stylové a zajímavé. Skvělé je, že se rozhodli si svůj nápad ověřit na uživatelích a udělat uživatelský výzkum. Až sem je to správně, hypotézy je dobré ověřovat. Podívejme se na to, jak to pravděpodobně probíhalo a co by šlo případně zlepšit.

Co zlepšit

Zkušený výzkumník by si definoval tři skupiny lidí: target audience, sampling frame a sample a postaral se o to, aby vzorek byl reprezentativní. Odhlašovací email se posílal lidem na celém světě, target audience je tedy celý svět. Sampling frame tedy nemůže být skupinka native speakerů — měli se ptát i jiných skupin lidí. Je možné, a nakonec se to v mém případě potvrdilo, že různé skupiny lidí budou reagovat odlišně.

Zkušený výzkumník by měl vidět, že znění mailu je kulturně podmíněné. Franka Sinatru zná jen určitá skupina lidí, jeho písně ještě míň. Pokud by výzkumník neměl rozpočet nebo čas na reprezentativní vzorek respondentů, test by pravděpodobně i tak udělal na dvou skupinách — na těch, kdo daný kontext (Sinatru, Las Vegas) znají a na těch, kdo ne.

Předpokládám, že Testovali jsme copy e-mailu na native speakerech znamená, že oslovili několik obchodníků v americké pobočce, případně 2–3 klíčové partnery. Výzkumník by hledal hlavně takové lidi, kteří nejsou s firmou tak blízce spojeni. Ti by dali jednak pravdivější odpovědi (nerozhážu si to zbytečně s kolegou) a druhak, jako kolegové, pravděpodobně neodpovídali za sebe, ale zkusili si představit, jak by reagoval někdo jiný (příjemci newsletterů). Když se chceme vcítit do někoho jiného, vždy při tom dochází ke zkreslení.

Představuji si, že respondentům výzkumu poslali e-mail, který začíná vysvětlením kampaně a motivace, zmínkou o Sinatrovi, cíli konference… s následnou prosbou o zpětnou vazbu na text. To se dělá proto, aby co nejvíc lidí reagovalo. V tomto případě jde o framing, tedy vysvětlení kontextu. Ten koncoví uživatele nemají a proto email hodnotí jinak. Respondenti velmi pravděpodobně schválili ideu proto, že chápali pozadí a další okolnost.

Tento jev zákazníkům demonstruji tak, že jednoho z nich nechám bubnovat nějakou známou písničku. Pokud ostatní nevědí, která to je, nepoznají ji. Pokud vědí, slyší ji tam zcela jasně.

Dobrý výzkumník se vždy snaží danou hypotézu vyvrátit, ne potvrdit. Je to proto, že dokud nemáme dvojitě slepé testy (ani zkoumaná osoba, ani výzkumník neví, co je chtěný výstup nebo kde je účinná látka), dochází ke zkreslení výsledků. Když výzkumník ví “co má vyjít” v méně průkazných případech se přikloní k očekávanému výsledku a tím výsledky testu ovlivní. Někdy zásadně. Autoři návrhu nebo designu často chtějí, aby jejich nápad byl schválen a pokud dostanou slovní odpověď, mají velký prostor pro interpretaci.

Tento jev vidíme často v politice. Politik udělá prohlášení a jeho příznivci v tom vidí něco úplně jiného, než odpůrci. Obě skupiny to tam vidí jasně.

Výzkumníci před tím, než se začnou s ověřováním jakéhokoliv nápadu nebo hypotézy, vytvářejí výzkumný plán. Ten zahrnuje i výběr vhodné metody a definici kritérií úspěchu. Tady asi použili kvalitativní testování (několik odpovědí, nejde statisticky vyhodnotit). Kritériem úspěchu pravděpodobně bylo něco jako “Nikdo to nezavrhne, někomu se to bude líbit”. Časté také bývá “pošleme to amíkům a uvidíme”. Lepří by bylo použít kvantitativní metodu s celým aparátem, který s tím souvisí.

Závěrem

Ukazuji některé nedostatky, se kterými se často ve své praxi setkávám. Jak to bylo v tomto případě se jen domnívám.

Ukázali jsme si několik jevů, kterým se zkušený výzkumník vyhne, aby výsledky byly co nejpřesnější. Pokud tyto principy nezná, nedělá správné závěry.

Určitě je dobré dělat alespoň základní uživatelský výzkum v každém projektu. Dává nám to podklady pro naše návrhy a dovolí nám to ověřit výstupy. Nicméně pokud nepoužíváme základní výzkumné techniky správně, díváme se na svět špinavým zkrouceným dalekohledem. Bohužel si toho často nevšimneme a naši loď můžeme navigovat na útesy. Kdybychom navigovali bez tohoto dalekohledu, jistě bychom byli opatrnější a třeba bychom se jim vyhli.

V každém případě je dobré mít co nejlepší dalekohled — umět dělat výzkum bez různých zkreslení.

V programu UXWell Research vás výzkum naučíme dělat dobře, dáme vám správný dalekohled. Ozvěte se, rádi se o tom s vámi pobavíme.

Show your support

Clapping shows how much you appreciated Berka BerkaUX’s story.