Learning from failure at the Ontario Digital Service Lab
[French translation follows English text.]
People are conditioned to share and celebrate successes but are often afraid to shine a spotlight on failures. At the Ontario Digital Service, we are prepared to fail and strive to work in the open while doing so, because it’s core to our leadership principles.
The ODS Lab in Kitchener at Communitech was initially set up as a place to drive user-centred design practices in the Ontario Public Service. We focused on encouraging public servants to adopt user research as a core component of any decision making that impacts the public. The lab was an excellent experiment, and through its operations, we learned a lot.
During the first year, we built products to help public servants get started with user research:
- 4-day intensive user research training workshop
- user research guide
- sample business case for getting approval to compensate user research participants
- consent form templates (paid and unpaid)
- sample usability testing script
Relocating the user research lab
We also learned from what didn’t work. The lab is situated in an incredible innovation corridor, among start-ups and established large organizations undergoing digital transformations. These surroundings continue to be invaluable to our team as we are exposed to ingenuitive people and can tap others for their feedback on our ideas. But there was one reality that prevented us from being more useful to public service teams: distance.
So, last summer, we relocated the user research lab to our headquarters in Toronto to make it easier for more public service teams to take advantage of the user research expertise in the Ontario Digital Service, and to have access to a physical lab to get their feet wet in user research.
Pivoting to become a rapid prototyping lab
As an Innovation Lab in Communtech, it’s expected that we keep re-inventing ourselves as part of our commitment to continuous improvement. Last spring, the team in Kitchener pivoted to focus on demonstrating the value of rapid prototyping in the discovery phase of a project.
Over the past ten months, we’ve been trialing the practice of rapid prototyping to help our partners refine their understanding of the users’ problems and pain points.
As a secondary benefit to what we do, we also demonstrate to our partners how public servants can work in an agile and iterative way.
Prototyping at the lab
Our engagements usually last three to six weeks. During this time we:
- hold weekly design jams
- conduct user interviews or usability tests
- host a recurring show‘n tell to share what we’ve worked on and confirm next steps with our partners
- reflect on how to improve our practices during weekly retrospectives
Our team consists of myself and a rotating roaster of product design and web development co-op students.
Some of the projects we have worked on include:
- Find Employment and Training Services Map (for Employment Ontario)
- Premier’s Timeline (with Cabinet Office)
- Online application for Ontario Disability Support Program (with Ministry of Children, Community and Social Services)
- Performance Review and Assessments (with Treasury Board Secretariat)
None of our prototypes have been re-built for production; they were never meant to be copied verbatim. The information we gathered from testing the prototypes is what’s useful to our partners. The team can use what we learned to inform the next stage of the project.
Successes and failures at the Ontario Digital Service lab
Our overall successes:
- Demonstrating the possibility of testing ideas weekly and validating concepts within a month
- Producing seven functional prototypes within 10 months with just one full-time staff (myself) and three cohorts of co-op students
- Improving relationships and credibility with partners in Cabinet Office, Ministry of Children, Community and Social Services, Treasury Board Secretariat and our Minister’s office
And our overall failures:
- Not being able to find projects with sufficient lead time to schedule discovery meetings with the necessary subject matter experts and review existing research and documentation
- Having one full-time staff makes it a challenge to build relationships, manage work pipeline and lead co-op students
- Relying on co-op talent produces a varying quantity of output and quality of work
What’s next?
The lab started out as an experimental playground to bring user-centred design to the public service. Much like a start-up, we pivoted when our services weren’t being adopted as quickly as we’d like.
Now, we plan to continue learning from our engagements and see if we can eventually ship our rapid prototyping practice back to head office. Meanwhile, we’ll continue to explore new ways of working in the internet-era to bring best practices across the Ontario Public Service.
To get in touch with the ODS lab team, contact me at xiaopu.fung@ontario.ca.
Apprendre des échecs au Labo des Services numériques de l’Ontario
L’être humain est conditionné à parler de ses réussites et à les célébrer, mais il a souvent peur de souligner ses échecs. Aux Services numériques de l’Ontario, nous sommes prêts à échouer et même à le faire au grand jour, car c’est au cœur de nos principes de leadership.
Le Labo des SNO à Kitchener, chez Communitech, a été créé à l’origine pour encourager les pratiques de conception centrées sur l’utilisateur dans la fonction publique de l’Ontario. Nous nous sommes efforcés d’encourager les fonctionnaires à adopter la recherche sur les utilisateurs comme élément central de toute prise de décision ayant une incidence sur le public. Le laboratoire s’est avéré une excellente expérience et, grâce aux activités proposées, nous avons beaucoup appris.
Au cours de la première année, nous avons construit des produits pour aider les fonctionnaires à se lancer dans la recherche auprès des utilisateurs :
· atelier de formation intensive de 4 jours sur la recherche auprès des utilisateurs;
· guide sur la recherche auprès des utilisateurs;
· analyse de rentabilisation pour obtenir l’autorisation de rémunérer les participants à la recherche sur les utilisateurs;
· gabarits de formulaires de consentement (rémunéré et non rémunéré);
· exemple de script de test de convivialité.
Relocalisation du labo de recherche auprès des utilisateurs
Nous avons également appris de ce qui n’a pas fonctionné. Le laboratoire est situé dans un incroyable corridor d’innovation, parmi des entreprises en démarrage et des grandes organisations bien établies qui entreprennent des transformations numériques. Cet environnement demeure inestimable pour notre équipe, car nous sommes en contact avec des personnes ingénieuses et nous pouvons demander l’avis des autres sur nos idées. Mais une réalité nous a empêchés d’être plus utiles aux équipes de la fonction publique : la distance.
Ainsi, l’été dernier, nous avons transféré le laboratoire de recherche auprès des utilisateurs à notre siège social de Toronto afin de permettre à un plus grand nombre d’équipes de la fonction publique de profiter plus facilement de l’expertise en matière de recherche auprès des utilisateurs des Services numériques de l’Ontario, et d’avoir accès à un laboratoire physique pour pouvoir plonger dans la recherche sur les utilisateurs.
Transformation en labo de prototypage rapide
En tant que laboratoire d’innovation de Communtech, nous devons continuer à nous réinventer dans le cadre de notre engagement d’amélioration continue. Au printemps dernier, l’équipe de Kitchener s’est réorientée pour se concentrer sur la démonstration de la valeur du prototypage rapide dans la phase de découverte d’un projet.
Au cours des dix derniers mois, nous avons procédé à la mise à l’essai du prototypage rapide pour aider nos partenaires à améliorer leur compréhension des points problématiques et des problèmes des utilisateurs.
Comme avantage secondaire à ce que nous faisons, nous démontrons également à nos partenaires comment les fonctionnaires peuvent travailler de manière agile et itérative.
Prototypage au laboratoire
Nos engagements durent généralement de trois à six semaines. Pendant cette période, nous :
· organisons des séances de conception hebdomadaires;
· interrogeons des utilisateurs ou effectuons des tests de convivialité;
· animons une démonstration pratique périodique pour échanger sur ce sur quoi nous avons travaillé et confirmons les prochaines étapes avec nos partenaires;
· réfléchissons à la manière d’améliorer nos pratiques lors des rétrospectives hebdomadaires
Notre équipe se compose de moi-même et des groupes d’étudiants COOP en conception de produits et en développement Web qui se relaient.
Voici quelques-uns des projets sur lesquels nous avons travaillé :
· La carte Trouver un emploi et les Services de formation (pour Emploi Ontario)
· L’emploi du temps du premier ministre (Bureau du Conseil des ministres)
· La demande en ligne auprès du Programme ontarien de soutien aux personnes handicapées (auprès du ministère des Services à l’enfance et des Services sociaux et communautaires)
· Les examens et les évaluations du rendement (avec le Secrétariat du Conseil du Trésor)
Aucun de nos prototypes n’a été reconstruit à des fins de production ; ils n’ont jamais été destinés à être copiés mot pour mot. Les renseignements que nous avons recueillis en mettant les prototypes à l’essai sont ceux qui sont utiles pour nos partenaires. L’équipe peut utiliser ce que nous avons appris pour orienter l’étape suivante du projet.
Succès et échecs au labo des Services numériques de l’Ontario
L’ensemble de nos réussites
· Démontrer la possibilité de mettre les idées à l’essai chaque semaine et de valider les concepts dans un délai d’un mois;
· Produire sept prototypes fonctionnels en dix mois grâce à une seule personne à temps plein (moi-même) et trois cohortes d’étudiants COOP;
· Améliorer nos relations avec les partenaires du Bureau du Cabinet, du ministère des Services à l’enfance et des Services sociaux et communautaires, du Secrétariat du Conseil du Trésor et du Cabinet du ministre et notre crédibilité auprès d’eux.
L’ensemble de nos échecs
· Ne pas être en mesure de trouver des projets avec un délai suffisant pour prévoir des réunions exploratoires avec les experts nécessaires et examiner les recherches et la documentation;
· Le fait d’avoir un seul employé à temps plein rend difficile l’établissement de relations, la gestion du flux de travail et l’orientation des étudiants COOP;
· Le fait de compter sur des étudiants COOP entraîne une quantité de résultats et une qualité de travail variables.
Prochaines étapes
Le laboratoire a commencé comme un terrain de jeu expérimental pour faire bénéficier à la fonction publique d’une conception centrée sur l’utilisateur. Tout comme c’est le cas dans une entreprise en démarrage, nous nous sommes adaptés lorsque nos services n’étaient pas adoptés aussi rapidement que nous le souhaitions.
Nous avons l’intention de continuer à tirer les leçons de nos engagements et de voir si nous pouvons éventuellement transférer notre pratique de prototypage rapide à l’administration centrale. D’ici là, nous continuerons d’explorer de nouvelles façons de travailler dans l’ère d’Internet afin de faire connaître les meilleures pratiques dans l’ensemble de la fonction publique de l’Ontario.
Pour communiquer avec l’équipe du laboratoire des SNO, veuillez m’écrire (xiaopu.fung@ontario.ca).
