Recherche et développement pour la plateforme

Test d’utilisabilité du prototype de GCpartage — Partie 2

Ce que l’on a découvert et ce que l’on a changé

Si vous avez besoin de plus de contexte, lisez un article précédent qui porte sur GCpartage ainsi que sur le lancement du projet de test d’utilisabilité.

Vous pouvez également lire cet article en anglais.

Dans cet article

• Commentaires et principaux problèmes liés à l’utilisation
• Résultats quantitatifs
• Limitations du test d’utilisabilité
• Observations finales

Commentaires et principaux problèmes liés à l’utilisation

Cinq problèmes ont été remarqués lors des séances de test d’utilisabilité :

1. Le processus ultérieur à la soumission d’une ressource n’était pas clair pour les utilisateurs
2. Les utilisateurs, bien qu’ils aient tous lu les instructions, avaient des opinions divergentes sur la meilleure manière dont celles-ci devraient être communiquées
3. Les utilisateurs ne savaient pas où aller pour effectuer certaines activités importantes
4. Le processus pour partager le contenu bilingue ne figurait pas dans le flux de travaux
5. Les utilisateurs n’ont pas vu les ressources en dessous de la ligne de flottaison (coupées par l’écran)

Ces observations accompagnées d’autres constatations ont été communiquées à la personne responsable de la conception de l’EU, qui les a utilisées pour améliorer la plateforme.

1. Le processus ultérieur à la soumission d’une ressource n’était pas clair pour les utilisateurs

Deux choses en particulier ont attiré notre attention :

• Personne n’avait réalisé que la ressource serait révisée avant d’être publiée
• Les gens voulaient savoir ce qui allait arriver ensuite

Ce que nous avons entendu

Lorsque la tâche était de partager une ressource, je croyais que ce serait comme sur GCconnex ou GCcollab, où il suffit de téléverser le contenu pour qu’il apparaisse. Je pensais que ce serait publié tout de suite. Je n’ai pas lu la note qui disait : « Notre équipe révisera la ressource et communiquera avec vous. »

Lorsque le texte [merci] est écrit en gros caractères, je le perçois comme étant le message principal. Je ne lis pas le texte plus petit qui est situé en dessous. Si le message est important, accentuez son importance. D’après ce que je comprends, lorsque je clique sur « Soumettre », il n’y a pas d’autres étapes. La ressource est là et tout le monde peut la voir.

Je me demande quelles sont les prochaines étapes. Ce n’est pas clair pour moi. Cette note signifie-t-elle que quelqu’un révisera ce que j’ai soumis? Ou est-ce qu’on communiquera avec moi pour faire des changements, faire la traduction ou rajouter des mots clés? Est-ce que ces choses me compliqueront la vie?

Observations

• L’opinion des utilisateurs sur le fonctionnement d’une interface sera souvent très influencée par les expériences vécues avec des interfaces similaires au sein d’organisations similaires.
• En ce qui concerne le « partage de contenu », les utilisateurs s’attendent à ce que les ressources soient téléversées immédiatement. Ils comparent notre plateforme à d’autres plateformes sociales gouvernementales comme GCwiki et OutilsGC, où le contenu est téléversé immédiatement.
• Les utilisateurs veulent en savoir plus sur le processus. L’incertitude n’est pas réconfortante. Ils aimeraient être informés des échéances si certaines choses prennent plus de temps.
• La répétition entraîne la rétention de l’information. Nous devons répéter le message à plusieurs endroits, au lieu d’un seul!

Ce que nous avons fait

• Ajouté une autre étape pour mettre en évidence le processus de révision.
• Apporté une clarification sur la page « À propos de nous » expliquant ce qui différencie cette plateforme des autres OutilsGC, en soulignant sa capacité accrue pour la repérabilité et la curation de contenu.
• Remplacé le texte « Soumettre une ressource » du bouton de finalisation par « Soumettre une ressource à la révision », car ce texte était lu par les participants du test.
• Informé les utilisateurs du temps d’attente associé à leur soumission et de ce qui sera fait avec le contenu à réviser.
• Exploré la possibilité de générer un courriel automatique qui serait envoyé à la personne ayant soumis la ressource pour confirmer la réception de celle-ci et expliquer quelles seront les prochaines étapes.

Étapes de soumission, avant et après.

Message de remerciement, avant et après.

2. Les utilisateurs, bien qu’ils aient tous lu les instructions, avaient des opinions divergentes sur la meilleure manière dont celles-ci devraient être communiquées

Les gens n’étaient pas tous d’accord en ce qui concerne la nécessité des instructions et l’endroit où elles devraient être placées.

Ce que nous avons entendu

Je ne sais pas si la page continue.

Je ne veux pas avoir l’obligation de lire [des instructions] d’abord. Je m’attendais à voir le téléversement en premier. Je mettrais une petite icône sur laquelle il serait indiqué « Instructions » et je n’aurais pas besoin de les lire si je n’en ai pas besoin. Je ne veux pas devoir défiler la page chaque fois. Si je devais voir cette page chaque fois que je veux téléverser un document, ce serait très irritant.

Ce petit texte de présentation est convivial et je peux facilement voir que je suis à la bonne place. Les étapes sont présentées de façon claire et m’indiquent quelles ressources sont acceptées. Je peux voir que ma liste de vérification serait une bonne option.

Les sites Web internes et externes du gouvernement ne présentent pas les étapes de façon très claire. Pour cette raison, à mon arrivée, ma première réaction a été de me dire en lisant : « Oh génial, j’ai une étape n° 1, n° 2 et n° 3, et ça me dit exactement quoi faire! » Souvent, avec les interfaces du gouvernement, on essaie de faire les choses soi-même au début, et finalement on se retrouve à cliquer sur le bouton « Aide » en se demandant : « Que dois-je faire? » Alors ça a bien fonctionné pour moi d’avoir les renseignements avant même de commencer mes tâches, et d’interrompre ce que je faisais pour bien comprendre quoi faire. Pour moi, c’est très utile et ça m’épargne du temps d’avoir les étapes présentées au début.

Observations

• L’espace occupé par les étapes donne l’impression aux gens qu’il n’y a rien en dessous, ce qui fait en sorte que certaines personnes risquent de ne pas voir des renseignements essentiels ou décident d’abandonner la tâche au complet.
• Les renseignements doivent être faciles à lire en diagonale, car les gens parcourent les textes rapidement pour repérer « ce qui paraît important ou qui saute aux yeux ».

Ce que nous avons fait

Nous accordons de la valeur à toutes les perspectives présentées, mais les renseignements liés aux étapes sont importants. Notre initiative diffère de ce à quoi les employés de la fonction publique sont habitués pour les raisons suivantes :

• Le contenu qui est publié sur la plateforme est accessible à tous et ne doit pas être protégé par un droit d’auteur.
• Nous acceptons une grande variété de types de contenu, y compris les ébauches et les modèles.
• Notre équipe révise le contenu et vérifie qu’il est bien étiqueté, pour qu’il puisse être trouvé facilement.

Nous avons voulu épargner du temps aux utilisateurs et communiquer les contraintes et les attentes dès le départ, de façon à éviter les efforts vains. Bien que les utilisateurs déjà inscrits n’aient pas besoin de ces renseignements, ceux-ci sont importants pour les nouveaux contributeurs, du moins pour le moment.

Alors plutôt que d’enlever, de déplacer ou de cacher ces étapes, nous avons tenté de minimiser les inconvénients qu’elles causent aux utilisateurs déjà inscrits, ainsi qu’à tous ceux qui « lisent en diagonale ». Nous avons :

1. Créé de courts titres pour chaque étape afin que les gens puissent voir rapidement de quoi il s’agit et décider s’ils veulent plus d’information.
2. Ajouté un bouton « Aller au formulaire » pour les utilisateurs déjà inscrits.
3. Diminué la quantité de texte pour chaque étape, de manière à ce que les étapes prennent moins de place.

Étapes de soumission, avant et après.

3. Les utilisateurs ne savaient pas où aller pour effectuer certaines activités importantes

Deux activités très importantes ont été touchées par ce problème :

• Les utilisateurs n’ont pas vu le bouton de téléchargement.
• L’icône des options supplémentaires est passée inaperçue; les utilisateurs ne savaient pas à quoi elle servait, ils n’ont pas vu l’option « partager ».

Ce que nous avons entendu

Je n’ai pas vu le bouton de téléchargement au début.

La seule chose qui me manque… je ne sais pas ce que je ferai après, ce n’est pas clair. Où irai-je à partir de cette page? Télécharger, je suppose. Le bouton de téléchargement n’a pas attiré mon attention. Ma première réaction a été de défiler jusqu’au bas de la page et de cliquer sur « télécharger ». Je ne m’attendais pas à le voir en haut de la page.

Si j’avais vu les icônes pour prévisualiser, partager le lien et ajouter aux favoris, j’aurais pensé « Oh wow, c’est bien! » et instantanément ma réaction aurait été de me dire « Oh génial, je peux partager avec mes collègues. »

Je n’ai pas remarqué le carré qui contient trois points. Je ne les mettrais pas dans cette… boîte, car je ne sais pas à quoi elle sert, et je ne veux pas nécessairement aller là. Je rendrais tout visible.

Observations

• Les gens balayent la page du regard le long du côté gauche dans un motif de « F » familier; le coin en haut à droite est le dernier endroit qu’ils regardent lorsqu’ils cherchent à effectuer une activité importante.
• Il est possible que personne ne clique sur les options supplémentaires cachées, car celles-ci sont peu remarquées.

Ce que nous avons fait

• Déplacé les boutons « Télécharger » et « Visualiser en ligne » à gauche, pour qu’ils soient plus facilement repérables dans un mouvement du regard en « F », et nous les avons placés près de la ligne de flottaison supérieure, car les utilisateurs risquent de ne pas défiler la page vers le bas.
• Enlevé l’icône qui contenait les trois points.
• Rendu visible l’option « partager », car le partage d’une ressource est très important pour nous du point de vue de la défense des intérêts; nous voulons passer un message au sujet des ressources éducatives libres.
• Placé l’option « partager » près des autres activités relatives aux ressources.

Page des ressources, avant et après.

4. Le processus pour partager le contenu bilingue ne figurait pas dans le flux de travaux

La manière dont les ressources bilingues seraient partagées sur la plateforme a longtemps été l’une de nos préoccupations, mais comme nous n’avions pas de solution concrète, l’option des ressources bilingues n’a pas été incluse dans le prototype. Il se trouve que les questions posées par les participants nous ont aidés à trouver une manière efficace de l’intégrer.

Ce que nous avons entendu

Je me demande s’il y aura une option pour ajouter du texte bilingue. Sur GCcollab, il y a deux onglets où l’on peut écrire notre texte anglais et français. Ou faut-il choisir la langue de notre choix?

La description et le titre devraient-ils être en anglais et en français, ou en une seule langue?

Observations

• Lorsqu’il n’y a pas d’instructions claires, les utilisateurs inventent des façons de faire les choses. Par conséquent, la description des ressources manque d’uniformité et celles-ci sont plus difficiles à trouver.

Ce que nous avons fait

Demandé aux utilisateurs lorsqu’ils commencent à remplir le formulaire s’ils prévoient de partager du contenu dans les deux langues. Si la réponse est « oui », le formulaire sera automatiquement modifié pour inclure les champs nécessaires dans les deux langues.

Formulaire de soumission, avant et après.

5. Les utilisateurs n’ont pas vu les ressources en dessous de la ligne de flottaison (coupées par l’écran) sur la page des résultats de recherche

Ce que nous avons entendu

Je n’ai pas défilé et je n’ai donc pas vu ça non plus, j’imagine que c’est dans un autre format? D’habitude, je jette un coup d’œil aux titres et je regarde quelques résultats. Si la description est longue, je regarde juste le titre; si le titre est intéressant, je me rends à la description. Le titre me parle; s’il n’est pas bon, je risque de l’ignorer.

Observations

• L’espace blanc a une grande importance et il faut l’utiliser judicieusement. L’espace blanc entre les éléments aide à regrouper des choses similaires et à séparer celles qui sont différentes. Lorsqu’il y a un grand espace, on dirait qu’il n’y a rien d’autre en dessous.
• Les utilisateurs sont pressés et vont balayer du regard ce qui se trouve dans leur champ de vision immédiat; si les premiers résultats, en particulier les titres, n’attirent pas leur attention, il se peut qu’ils ne défilent pas pour chercher plus loin!
• Les titres sont l’élément principal qui permet de juger la pertinence du contenu.

Ce que nous avons fait

• Enlevé des sections qui séparaient le contenu selon les différents types de ressources.
• Créé des espaces de la même longueur entre les différents types de ressources afin de les voir facilement.

Ce problème particulier était un rappel important que les tests d’utilisabilité ne permettent pas seulement de découvrir des problèmes liés à l’utilisabilité, mais aussi des tendances à certains comportements et modèles mentaux dont il faut tenir compte.

Dans le cas des titres qui sont l’avenue principale vers le contenu, ce sera une occasion clé de gestion des changements et de coaching pour soutenir la communauté en l’aidant à choisir des titres significatifs et concis pour son contenu.

Page des résultats de recherche, avant et après.

Résultats quantitatifs

Temps consacré à la tâche et succès

Tous les six participants ont effectué toutes les tâches avec succès, bien que les critères de succès ne fussent pas évidents compte tenu des types de tâches soutenus par la plateforme. Nous y reviendrons dans la section sur les limitations du test.

Généralement, chaque tâche prenait du temps, car l’interface était nouvelle pour les utilisateurs. Certains ont pris plus de temps pour laisser des commentaires ou comprendre ce qu’ils voyaient, selon leur degré d’intérêt à l’égard de l’interface. La tâche 1 aurait probablement pris moins de temps à faire que la tâche 2, mais l’un des résultats a fait monter la moyenne.

Moyenne de temps d’exécution des tâches sur GCpartage.

Échelle d’utilisabilité du système

L’échelle d’utilisabilité du système est utilisée pour mesurer la perception qu’ont les utilisateurs de la convivialité et de la simplicité d’apprentissage d’un système.

La note globale donnée par les six participants est de 58,3.

Résultat de GCpartage sur l’échelle d’utilisabilité du système. L’interprétation des valeurs est basée sur les Cinq façons d’interpréter une note sur l’échelle d’utilisabilité du système.

Généralement, les valeurs de 50 à 70 pourraient indiquer qu’un produit est acceptable, mais il y a des problèmes liés à l’utilisabilité. Bien que la note semble basse, il se peut que certaines limitations aient contribué à ce résultat. Ces limitations sont expliquées ci-après.

Limitations du test d’utilisabilité

Paramètres de temps consacré aux tâches et de succès

Certaines décisions liées à la conception ont possiblement entraîné des contraintes supplémentaires qui ont réduit notre capacité à évaluer le succès des tâches et à obtenir des données utiles relatives aux paramètres de temps consacré aux tâches.

• Le fait de demander aux gens de réfléchir à haute voix lorsqu’ils accomplissent une tâche a certainement influencé le délai d’exécution et a parfois donné des résultats très inégaux. La prochaine fois, une meilleure approche serait peut-être de faire le questionnement rétrospectif.
• Notre prototype n’a pas été optimisé de façon à soutenir tout le potentiel d’exploration auquel les utilisateurs s’attendaient, ce qui a créé de la friction et de la confusion supplémentaires; le fait que certaines caractéristiques du système étaient désactivées (recherche et filtrage) a empêché les utilisateurs de trouver des ressources qui leur auraient été utiles.

Je n’ai pas eu l’impression que ces documents appartenaient au domaine de la communication numérique en particulier, et je ne savais pas trop s’ils étaient actifs ou non. Ce n’était pas indiqué de façon claire que c’était des documents que je pouvais consulter.

• Lorsqu’une tâche est complexe à cause de la conception, il est difficile d’évaluer le temps qui devrait lui être consacré et de déterminer si elle a été faite avec succès.

Les critères de succès de la tâche 2 englobaient beaucoup de choses, car la tâche était complexe et exigeait des efforts cognitifs. La tâche pouvait être accomplie avec succès si l’utilisateur faisait l’une ou l’autre des démarches suivantes :

• Choisir de cliquer sur les boutons « Télécharger » et « Visualiser le contenu » sur une page de ressource.
• Mentionner après avoir consulté les résultats de recherche ou une page de ressource qu’ils n’étaient pas certains si les ressources qui leur étaient présentées étaient utiles et les aideraient à accomplir leur tâche.
• Revenir à la page de résultats de recherche pour consulter d’autres ressources, après avoir regardé une page de ressource et constaté que celle-ci n’était pas pertinente pour leur tâche.

Si l’on interprète le succès de cette façon, la quantité de temps qui s’écoule avant que les efforts mènent à la réussite est variable, et en fin de compte pourrait se transformer en « échec ». Ces facteurs doivent être pris en considération pour les tests qui auront lieu dans l’avenir. Il est essentiel de s’assurer que tout le monde possède le même degré de compréhension et les mêmes attentes en ce qui concerne la réussite et les critères qui seront évalués par les paramètres de succès.

Paramètres d’échelle d’utilisabilité du système

Bien que ce résultat puisse être utile comme point de comparaison ou de référence pour des tests ultérieurs, il est possible qu’il mène à une interprétation inexacte de la qualité de l’interface, compte tenu du fait que certaines caractéristiques du prototype n’étaient pas fonctionnelles (comme mentionné plus tôt). Si quelque chose ne fonctionne pas selon les attentes, la perception que l’on a de l’utilisabilité sera inférieure.

La recherche à ce sujet suggère que les résultats de l’échelle d’utilisabilité du système varient selon le degré de familiarité avec l’interface et la complexité de la tâche. Le résultat pourrait baisser de 8 % à 10 % si les participants :

• Sont peu familiers avec l’interface
• Font des tâches difficiles

C’était certainement le cas dans notre situation, et il est important de prendre ces facteurs en considération.

Finalement, la décision de simplifier la conception du prototype a peut-être entraîné un résultat plus bas dans l’échelle d’utilisabilité du système. Généralement, les maquettes qui ne contiennent que le strict minimum donnent de bons résultats. Ce minimalisme permet de focaliser l’attention sur les tâches plutôt que sur l’esthétique. Cependant, il y a aussi un danger : les maquettes projettent l’image d’un produit finalisé. Le choix de créer un prototype qui est entièrement noir et blanc, sans indiquer clairement au début de la séance de test que la version finale contiendra des images et des couleurs, peut inutilement accentuer l’effet de morosité. Tous les utilisateurs ont mentionné dans leurs commentaires l’aspect « gris » du prototype, en croyant que c’était le produit final : « Visuellement, ce serait bien qu’il y ait un brin de couleurs. Je trouvais que c’était très gris. »

Observations finales

Nous allons centrer nos efforts sur l’amélioration de la plateforme en nous basant sur la rétroaction que nous avons reçue, tout en tenant compte des impressions positives qui ont été exprimées :

• Aspect chaleureux et sentiment d’enthousiasme
• Certitude et confiance
• Professionnalisme
• Interface soignée, simple et facile à utiliser
• Contenu organisé

Tout compte fait, un commentaire qui a été écrit dans le questionnaire de l’échelle d’utilisabilité du système se démarque des autres :

Je crois que si un nombre suffisant de personnes mettent suffisamment de ressources de qualité sur cette plateforme, l’interface ne sera pas un problème et les gens l’utiliseront. Cependant, ça ne sera pas le cas s’il y a peu ressources utiles. […] Ce sont les ressources qui alimenteront l’utilisation de la plateforme.

La qualité d’une plateforme, aussi bonne qu’elle soit, a ses limites. Ce sont les ressources d’apprentissage partagées par la communauté qui, ultimement, donneront ou enlèveront de la visibilité à ce projet!

Nous allons afficher tous nos modèles de recherche sur les utilisateurs et nos ressources d’aide sur la plateforme GCpartage, lorsqu’elle sera mise en ligne. Vous joindrez-vous à nous?

Si vous avez des ressources à partager avec d’autres professionnels de la formation, communiquez avec l’équipe de Recherche et innovation en technologies éducatives!