Research findings from our fellowship project

Gillian Wu
Frienergy
Published in
11 min readJun 3, 2021

La version française est en dessous de l’anglais 👇

Hi there! My name is Gillian, and I am the UX Design Fellow that is part of the 5th cohort working at Code for Canada to improve digital governance. Alongside my teammates Malik Jumani (Product Manager Fellow) and Ian Cappellani (Developer Fellow), we are working with the Canada Energy Regulator (CER) to improve the tools that Canadians use to participate in hearings regarding energy projects regulated by the CER.

To learn more about us, click here.

In the previous article, I went over the high-level discovery process for my team’s project within Canada Energy Regulator (CER). We are excited to share some of the insights we gathered from our user research sessions.

Illustration from undraw.co

Contextual and Industry Research

At the start of our fellowship, my team reviewed all the technical and business requirements, along with any existing research.

We also looked at other government regulatory bodies and registries related to public participation. For example, we took inspiration from the Ontario Energy Board and the Ontario Environmental Registry to see how different organizations solved similar challenges the CER has. This later influenced part of our decision-making in the redesign.

Key Insights

  1. Make it simple and straightforward.
  2. Do not force the users to create an account when possible.
  3. Utilize visuals such as maps to aid understanding.
The Ontario Energy Board comment form

Heuristic Evaluation

My team and I reviewed the existing tools to understand the challenges that first-time users might run into. It allowed us to empathize with those going through the participation process.

Key Insights

1. Complex language, lots of text and information hierarchy issues causes the process to feel intimidating.

The legal and policy jargon makes the participation tools difficult to understand. It is also content-heavy, which means there is a risk of information overload.

2. Lengthy process, redundant steps, and a confusing workflow leads to more time spent on participating.

The process of sharing concerns is long and daunting, which might create friction for those interested in participating.

3. Different button options take away from the intended goal.

Reviewing the form is a crucial step in the process, but it is nestled between the ‘previous’ and ‘submit’ buttons. The three buttons compete for the user’s attention when the intention is for the participant to check over their information. This might cause the user to accidentally hit submit.

4. Input field and textual inconsistencies can break existing mental models.

The input field for language selection is different in certain parts of the participation process. Moreover, the text in the progress bar is not always consistent.

Comparing input states

Internal Staff Interviews

Our team met with 14 CER employees to understand the larger vision of the participation tools, along with the challenges people face when using them. We learned about the desire to make things more inclusive, usable, and barrier-free for the average person. However, we also discovered the challenges of balancing the needs of participants, while also ensuring there is adherence to the quasi-judicial system.

Key Insights

  1. The legalese can be confusing and intimidating for people without lawyers.
  2. The searchability of the CER website and Regulatory Documents is an issue for internal staff and hearing participants.
  3. Technology literacy and access to the internet and financial resources impact the overall experience.
  4. There is a need to cater the experience to those with unique styles of communication on top of written language.
  5. People appreciate the human elements from the CER.

External Participant Interviews

Our team validated the qualitative data we uncovered in our initial research by talking to 11 people across Canada who have gone through the energy adjudication process. We talked to people of First Nations and Métis descent, landowners, regulatory specialists, biologists and concerned citizens.

We learned about the care they had for the land and the animals, as well as their desire for an equitable and sustainable process. We listened to them while they shared their frustrations, concerns, and fears over the existing process. We heard them when they told us about the bad industry practices occurring in their community and the cumulative environmental impact that goes unaddressed. Part of our research even led us to chase down a newspaper ad from a small rural town in Alberta.

Illustration from undraw.co

Key Insights

  1. Barriers to participation go beyond the digital tools. Communication issues often arise early in the process and can cause cascading impacts down the road.
  2. A lot of people have limited time and money to participate, which can be a barrier to voicing their concerns.
  3. First-time participants were more likely to have difficulties using the existing tools and do not know where to go if they were looking for help.
  4. The participants with less standing in the hearing process preferred to comment by email. They did not want to create an account.
  5. There were varying desires on where a hearing should be held, but most people preferred to have it in their communities. For example, some individuals wanted to see more hearings hosted near them, while others wanted to participate through remote sessions.

Participant Feedback

“Writing an email with my comments would have been easier than going through the CER’s digital participation process.”

“I get the sense that there is no willingness to help, almost to the point where it seems like they don’t want people to participate.”

“There’s a lot of legal jargon throughout the process. The average person will not know what a lot of these terms mean and even know how to register to participate.”

Usability Testing

Our team also tested the existing participation tools with people who were unfamiliar with the energy adjudication process.

Key Insights

  1. 6/6 people thought the registration process was their application to participate when that was not the case.
  2. 6/6 people would sign in using their bank account over the government standard web form.
  3. 5/6 people felt confused when they went through the participation process and did not understand the different ways to participate.
  4. 4/6 people thought there were a lot of steps to go through.

Participant Feedback

“I want to understand the distinctions between the two types of participation before applying.”

“The overall experience was like a bad exercise. It was too long, there was no reward, and I was constantly lost and confused.”

Next up, I will be going over how my team identified the major themes from our research and turned them into priorities to be addressed project.

Quelques constatations tirées de notre projet de recherche

Bonjour, je m’appelle Gillian. Je suis la conceptrice de l’expérience utilisateur au sein de la cinquième cohorte de boursiers de Code for Canada à la Régie. Notre mission : améliorer la gouvernance numérique. Mes collègues, Malik Jumani (gestionnaire de produit) et Ian Cappellani (développeur), et moi collaborons avec la Régie afin de bonifier les outils utilisés par la population canadienne pour participer aux audiences concernant de nouveaux projets énergétiques assujettis à la réglementation fédérale.

Pour obtenir plus d’information à notre sujet, cliquez ici.

Dans notre article précédent, nous avons donné un aperçu du processus exploratoire du projet que mène notre équipe à la Régie de l’énergie du Canada. Nous sommes maintenant ravis de vous faire part de certaines des constatations qui découlent de nos séances de recherche sur les utilisateurs.

L’illustration est de undraw.co

Recherche contextuelle et au sein du secteur réglementé

Au début du projet, notre équipe a passé en revue toutes les exigences techniques et opérationnelles pertinentes, ainsi que toutes les recherches effectuées précédemment.

Nous nous sommes également penchés sur d’autres organismes de réglementation et registres gouvernementaux liés à la participation du public. Par exemple, nous nous sommes inspirés de la Commission de l’énergie de l’Ontario et du Registre environnemental de l’Ontario pour voir comment différentes organisations ont relevé des défis semblables à ceux rencontrés par la Régie. Cette approche a eu une incidence sur notre processus décisionnel à l’égard de la reconception.

Constatations clés

1. Privilégier un processus simple et intuitif.

2. Ne pas forcer les utilisateurs à créer un compte, lorsque possible.

3. Utiliser des éléments visuels, comme des cartes, pour faciliter la compréhension.

Évaluation heuristique

Notre équipe a passé en revue les outils existants pour comprendre les difficultés que pourraient rencontrer les nouveaux utilisateurs. Nous étions ainsi en mesure de faire preuve d’empathie à l’endroit des participants.

Constatations clés

1. Le processus est intimidant en raison du langage complexe utilisé, d’une grande quantité de texte et de problèmes de hiérarchisation de l’information.

Le jargon juridique et politique utilisé dans les outils de participation rend le processus difficile à comprendre ou à suivre. Riches en contenu, les outils présentent aussi un risque de surcharge informationnelle.

2. La longueur du processus, la redondance des étapes et la confusion que génère le flux de travail font en sorte que la participation demande plus de temps.

Le processus par lequel les participants font part de leurs préoccupations est chronophage et parfois pénible.

3. La disposition des boutons est contre-productive.

L’examen du formulaire est une étape cruciale du processus, mais le bouton correspondant se trouve coincé entre les boutons « Précédent » et « Soumettre ». L’attention de l’utilisateur est ainsi divisée entre les trois boutons, alors que l’objectif est que le participant vérifie ses renseignements. L’utilisateur peut aussi cliquer accidentellement sur le bouton « Soumettre ».

4. Les champs de saisie et les lacunes en matière de cohérence textuelle peuvent aller à l’encontre des modèles mentaux existants.

Le champ permettant de sélectionner la langue varie entre les différentes parties du processus de participation et le texte de la barre de progression n’est pas uniforme.

Comparing input states

Entrevues avec le personnel interne

Notre équipe a rencontré 14 employés de la Régie pour acquérir une vision plus large des outils de participation et des défis rencontrés par leurs utilisateurs. Lors de ces entrevues, nous avons constaté une volonté de rendre les outils plus inclusifs et efficaces et de lever les obstacles pour le participant moyen. Cependant, nous avons aussi découvert qu’il était difficile de trouver un équilibre entre les besoins des participants et les exigences du système quasi judiciaire.

Constatations clés

1. Le jargon juridique peut être déroutant et intimidant pour les personnes qui ne bénéficient pas de l’aide d’un avocat.

2. La difficulté de consulter le site Web de la Régie et les documents de réglementation est un enjeu, tant pour le personnel que pour les participants aux audiences.

3. Les connaissances technologiques et l’accès à Internet et à des ressources financières ont une incidence sur l’expérience globale.

4. Il faut adapter l’expérience en fonction des différentes langues de communication écrite, mais aussi en fonction des personnes qui ont des styles de communication uniques.

5. Les gens aiment les éléments humains de la Régie.

Entrevues avec des participants externes

Notre équipe a validé les données qualitatives recueillies dans le cadre de notre recherche initiale lors de discussions avec 11 personnes de partout au Canada qui ont déjà participé au processus décisionnel. Nous avons parlé à des gens d’origine des Premières nations et des Métis, à des propriétaires fonciers, à des spécialistes de la réglementation, à des biologistes et à des citoyens inquiets.

Nous avons pris connaissance de l’importance à leurs yeux du territoire et de la faune, ainsi que de leur désir de prendre part à un processus équitable et durable.

Nous les avons écoutées nous faire part de leurs frustrations, de leurs préoccupations et de leurs craintes à l’égard des mauvaises pratiques du secteur réglementé dont ils ont été témoins dans leurs collectivités. Un volet de notre recherche nous a aussi amenés à faire paraître une annonce dans un journal d’une petite ville rurale pour en apprendre davantage sur les problèmes rencontrés par nos participants.

L’illustration est de undraw.co

Constatations clés

1. Les obstacles à la participation vont au-delà des outils numériques. Les problèmes de communication surviennent tôt dans le processus et peuvent avoir des répercussions en aval.

2. De nombreuses personnes n’ont pas le temps et l’argent nécessaires pour participer, ce qui peut les empêcher d’exprimer leurs préoccupations.

3. Les nouveaux participants étaient plus susceptibles d’avoir de la difficulté à utiliser les outils existants et ne savaient pas comment demander de l’aide.

4. Les personnes ayant un droit de participation au processus d’audience moins important préféraient faire des commentaires par courriel. Ils ne voulaient pas avoir à créer un compte.

5. Les avis divergeaient quant à l’endroit où une audience devrait être tenue, mais la plupart des gens préfèrent que ce soit dans leur collectivité. Par exemple, certaines personnes souhaitaient qu’un plus grand nombre d’audiences aient lieu près de leur lieu de résidence, tandis que d’autres voulaient participer à distance.

Commentaires des participants

« Il aurait été plus facile de communiquer mes commentaires par courriel que de suivre le processus de participation numérique de la Régie. »

« J’ai l’impression qu’il n’y a pas de volonté d’offrir du soutien. On dirait presque que notre participation n’est pas souhaitée. »

« Il y a beaucoup de jargon juridique tout au long du processus. L’utilisateur moyen ne sait pas ce que signifient beaucoup de ces termes, ni même comment s’inscrire pour participer à une audience. »

Essais de convivialité

Notre équipe a également mis à l’essai les outils de participation existants auprès de personnes qui ne connaissent pas le processus décisionnel relatif aux projets énergétiques.

Constatations clés

1. Six personnes sur six ont pris le processus d’inscription pour le processus de demande de participation.

2. Six personnes sur six ont utilisé leur compte bancaire plutôt que le formulaire Web standard du gouvernement pour s’inscrire.

3. Cinq personnes sur six se sont senties confuses pendant le processus de participation et n’ont pas compris les différents types de participation.

4. Quatre personnes sur six ont trouvé que le processus comportait beaucoup d’étapes.

Commentaires des participants

« Je veux comprendre les distinctions entre les deux types de participation avant de présenter une demande. »

« L’expérience globale est plutôt mauvaise. J’étais perdu et dérouté pendant tout le processus, qui est trop long et pénible. »

Dans un prochain article, nous verrons comment notre équipe a cerné les principaux thèmes et problèmes de notre recherche afin d’en faire de nouvelles priorités pour le projet.

--

--