Náročné uživatelské testování: Rozhovory s neslyšícími respondenty

Připravujeme web pro jazykovou normu českého znakového jazyka. Absolvovali jsme tak zajímavé a pravděpodobně zatím nejnáročnější uživatelské testování, které jsem zatím vedl:

Čím bylo testování zajímavé?

🔇 4 neslyšící respondenti
🔹 Rozhovory nad speciálními webovými prototypy
🔹 Všechno simultánně tlumočeno do znakového jazyka a zpět
🔹 Kvůli epidemii COVID vše online — přes aplikaci Zoom
🔹 To vše jako praktická část odborného panelu (workshop) — tzn. pod dohledem dalších pozorovatelů, kteří měli zájem takové testování shlédnout

Zvolenou metodou uživatelského testování byl polostrukturovaný rozhovor vedený online za přítomnosti tlumočníka českého znakového jazyka.

Proč polostrukturovaný rozhovor?
Metoda dotazování, která je dostatečně strukturovaná a flexibilní zároveň. Tazatel má dopředu připravené dotazy, jež jsou pro všechny participanty stejné, pokládá je ovšem v libovolném pořadí. Vše se odvíjí dle průběhu rozhovoru.

Limity testování

Před samotným testováním je dobré uvědomit si, že má svá omezení a počítat s nimi při sepisování závěrů.

• Zvolená výzkumná metoda. Polostrukturované rozhovory jsou oproti volným omezené. Všem participantům předkládáme ty samé dotazy bez ohledu na jejich individuální potřeby, zkušenosti a znalosti. Nicméně bez toho by nebylo možné výsledky nijak porovnávat.
• Online forma testování. Testování přes internet přináší celou řadu problémů, které nemusíme při běžném testování řešit. Největší problémy však způsobují různé technikálie, kdy musíme řešit nejrůznější výpadky připojení nebo jiná selhání online komunikačního nástroje.
• Tlumočení do ZJ. Testování s tlumočníkem, tedy dalším prostředníkem komunikace, je vždy náročnější. Tazatel nemá možnost ověřit si, že tlumočník participantovi skutečně vysvětluje vše tak, jak to sám měl na mysli. Další komunikační most může zapříčinit vznik komunikačních šumů, kterým nelze zcela zabránit ani při běžném rozhovoru.
• Prototyp. Testování prototypu nebude nikdy tak přirozené jako testování skutečných nakódovaných webových stránek. Může se stát, že participant nebude wireframům rozumět.

Jak jsme postupovali:
🔸 Připravili jsme wireframy webu a sestavili je do interaktivního prototypu
🔸 Stanovil jsem si cíle testování a teze (tzn. hypotézy, na které jsem se neptal, ale které chci ověřit)
🔸 Připravil jsem si sady otázek ve dvou úrovních abstrakce, na které jsem se oklikou ptal
🔸 Připravil jsem scénář testování
🔸 Na každého respondenta jsem měl asi 30–40 minut

Co bylo jinak při práci s neslyšícími uživateli

Uživatelé znakového jazyka při testování nemohou ovládat počítač a simultánně komunikovat. Používají ruce pro realizaci jazyka a oči pro jeho recepci. A tak je nemožné to, co je při běžném testování přirozené. Například, když vidím, že se uživatel potýká s nějakou překážkou, můžu ho na to upozornit slovy : „teď vidím, že vás něco zarazilo, řekněte mi o tom” a přitom jej nevytrhnout z flow ovládání modelu. Tyto situace jsou při testování s neslyšícími respondenty značně zkomplikovány.

Neslyšící musí přestat ovládat testovanou stránku, aby mohl začít komunikovat. Zároveň se musí dívat na znakujícího, když mu chcete něco na testovaném prototypu ukázat.

Testované stránky

Domovská stránka (homepage, HP) — ve 2 variantách
Na HP jsme byli nuceni použít zástupné geometrické tvary a texty na několika místech. Úvodní text na stránce je nahrazen obdélníky. Ve variantě s „pyramidou“ (Pyramida v návrhu představuje filtr jazykové úrovně.) chybí textace k filtru „jazykové kompetence“.

Kapitola z knihy RRZJ (Referenční rámec znakového jazyka)
Interpretace náhodně vybrané kapitoly z části RRZJ — Porozumění věcnému textu ve vizuálních médiích (Modelová stupnice recepce R5).

Stránka RRZJ s filtrováním dle úrovně jazyka (pyramida) a jazykové kompentence

Low-fidelity wireframy bývají pro testování méně vhodné a předčasné. Je potřeba zodpovědně pracovat s obsahem modelu.

Hypotézy (optimistické):

Při vyhodnocování testování si budeme klást otázku, zda byly tyto teze potvrzeny:

1. Uživatel pochopí, čeho se stránka týká.
2. Uživatel sám navrhne, jak by mu mohla stránka být užitečná.
3. Uživatel navrhne způsob, jak se dobrat výsledku.

Úvod do testování 💪

Před začátkem testování musíme participanta řádně pozdravit, představit se mu a říct mu, co ho zhruba bude čekat, jak dlouho to bude trvat a jaký je zhruba objem obrazovek, před kterým stojí.

Rozptýlení obav 😱

Před začátkem testování je potřeba účastníka ujistit, že při testování nemůže udělat žádnou chybu, nejde totiž o testování uživatele, ale návrhu:

• Netestujeme vás!
• Vy nemůžete udělat chybu.
• Chybný může být pouze náš návrh.
• Není-li vám něco jasné, je to pravděpodobně chyba návrhu a právě ty hledáme.

Instruování participanta

Dále musíme participanty poučit, jak se mají při testování chovat. Nestačí, aby si jen v tichosti proskenovali stránky tak, jako to lidé běžně dělají, když si prohlížejí web. Tazatel nezjistí, na co participant myslí, když mu to zkrátka neřekne.

• Chci, abyste si pečlivě prohlédli stránky, které vám budu ukazovat.
• Řekněte mi, co na nich podle vás vidíte — neumím číst myšlenky.
• Představte si, že si to říkáte pro sebe.

Upozornění na situaci

Tazatel se snaží participanty vytěžit až na „dřeň“, což vyžaduje určité praktiky a postupy, které se mohou participantům jevit zvláštní. Není na škodu je na ně upozornit.

• Občas se vám bude zdát, že se ptám jako malé dítě. Ale na jednoduché otázky se zaprvé lépe odpovídá a zadruhé tematika navrhované stránky mi není tak blízká jako vám.
• Na některé věci se budu ptát opakovaně.
• Některá vaše vyjádření po vás budu opakovat, abych se ujistil, že jsme si vzájemně porozuměli.

Testování stránky

Poté přijde samotné promítnutí testované obrazovky. Necháme participanta, aby si ji v klidu prohlédl a zpracoval první dojmy. Poté se budeme ptát podrobněji na funkcionalitu a účel stránek. Účastníci nakonec dostanou jednoduchý úkol, který by měli v prototypu splnit.

Rychlý sken, po prvních okamžicích na webové stránce

• Komu podle vás patří daný web?
• Které služby web nabízí?
• Pro koho je web určený?
• Která část webu zajímá vás a proč?

Hlubší (obecné) dotazování

Následují dotazy, které se často překrývají mají za úkol přinést do týmu zdánlivě elementární věci, které člověk obvykle neformuluje nahlas. Ideálně cílíme formulace dotazování podle komunikačních typů.

Jaký máte ze stránky dojem, co jste se z ní dozvěděli?

• Můžete mi říct proč …
• Co si myslíte o …
• Jaké činnosti obecně se podle vás web týká?
• Jaké jsou vaše dosavadní zkušenosti s touto činností?
• Kdy jste naposledy prováděl související činnost?
• Znáte / používáte nějaké podobné weby jako je tento? Pokud ano, vzpomenete si na jejich název nebo kde je najít?
• Co vám brání, abyste dokončili zadaný úkol?
• Jak přínosný je pro vás předkládaný web?
• Jak byste zhodnotili vaší zkušenost s webem?

Ukončení testování

Přichází rozloučení se s participantem. Ujistíme se, zda na nás ještě nemá nějaký dotaz. Na závěr mu nezapomeneme poděkovat za účast. Scénář ukončení uživatelského testování:

• Chcete nám ještě něco povědět nebo se nás na něco zeptat?
• Velice děkujeme za váš čas, pomohl jste nám s vytvořením lepšího webu pro všechny jeho budoucí uživatele.

Náš testovací online setup

Bylo to pro mě vyčerpávající a velmi zajímavé a přínosné.

Testování nedělám často, proto to pro mě bylo náročnější, než pro zkušeného facilitátora. Teď nás čeká vyhodnocování, zobecňování
a komunikace zpět do realizačního týmu.

Již z prvních odpovědí vyvstalo spoustu poznatků
k jednotlivým vartiantám, z nichž jedna se ukázala jako jednoznačně nejvhodnější.

– Jakub Goldmann, designer