If you want the best design, ask strangers to help

Jutta Treviranus
Ontario Digital Service
19 min readFeb 13, 2018


[French translation follows English text.]

Editor’s Note: Jutta Treviranus is a leader in inclusive design; she started and directs OCAD University’s Inclusive Design Research Centre, heads the Inclusive Design Institute and founded the first inclusive design graduate program at OCAD U. In this post, Jutta explains the costs and impacts on the edge and the unrepresented when identity clustering and cookie cutter approaches to digital inclusion occur.

Last spring Hillary Hartley joined the Ontario Government as the first Chief Digital Officer, assigned to design, develop and deploy a friendly, efficient, effective, accessible, inclusive and participatory online government. A tall order, even for someone that has experience wrangling the US administration.

There is also a commitment that the government will act as a model of good practice for other organizations in Ontario, and a leader globally.

Where do you start?

It’s not an exaggeration to say that the Ontario Government is a very complex system. The Ontario Public Service has more than 60,000 employees. There are 30 ministries with well-established divisions of power and well worn-in routines (the Ontario Ministry of Transportation, for example, just celebrated its 100th anniversary). There are nine independent “Information and Information Technology” clusters. As with any large and well-established bureaucracy, the documented rules and policies would take years to read, and this does not account for the unwritten conventions and implicit customs that guide behaviours and habits within an institution. Add to this the Legislative Assembly, the political arm of the government, which serves for fixed terms and needs to deliver on its commitments to garner re-election. And most importantly, the complex relationship with a very diverse public with a huge variety of expectations and opinions regarding good government.

This bold experiment in institutional change is indeed a model to watch. Given this hugely complex and challenging task, where do you start?

The 80/20 Principle?

One of the conventions and pieces of advice often given to individuals attempting an overwhelming task with limited time and resources is the “80/20 rule.” There are many interpretations of this rule, but the crux of the advice is to tackle the 80% first, which will theoretically require 20% of the effort, and leave the most difficult 20% for later. This is based on the Pareto principle or the “law of the vital few.” In 1896 Pareto showed that 80% of the land in Italy was owned by 20% of the population. Richard Koch popularized the principle in business through his 1998 book “The 80/20 Principle,” and this principle has been extrapolated to everything from sports to health and safety; as well as to developing new programs in government.

Indeed, I overheard someone reference this principle to Hillary at a digital government conference this past year. I would say that we face a different, more complex and more entangled reality than in Pareto’s day, and following his principle will never produce the change we need. I contend that we should do the opposite. Let me explain.

Unlearning and the “difficult” 20%

As a professor, the most difficult and advanced graduate course I teach is called “Unlearning and Questioning.” The students that struggle the most in this course are almost invariably the ones that have been highly successful, with the top academic records, who have been dubbed our “best and brightest.” In contrast, previously struggling students often shine. By the end of the course all the participants report that they have changed each other in profound ways.

You might ask why I would create and teach a course that seems the antithesis to education. Isn’t a university education about learning, not unlearning? Also, what led me to recruit struggling students into an advanced course?

The very simple answer to the first question is: because the world is changing. All students face exponentially increasing complexity and discontinuities in every realm of their lives. We need new tools, and a far larger and diverse set of tool choices, to participate and intervene. What gets in our way in coming up with and adopting these growing and evolving tool sets is the over-application of what we are good at, focusing on the things we can do with confidence, and the assumptions to which we are most attached.

Inclusive Design Class called “Unlearning and Questioning”

Key skills needed to participate productively in this change include many things we have devalued (if not demonized) in education, either explicitly or implicitly. These underdeveloped and much-needed skills include: valuing failure and mistakes, maintaining humility and vulnerability, collaboration, providing and seeking constructive critique, the courage to challenge authority, welcoming dissonance, integrating diverse perspectives, reserving judgement, focusing on process not product, and looking for the right questions rather than rushing to answers. We need to make room for and become receptive to these and other new competencies. Like the chemical receptors in our brain that are blocked from binding in new ways, I try to decouple my educated students from their strongly held bonds to presumptions and assumptions that block new considerations and processes.

Regarding the second question, why recruit students that have struggled? It is because I want to prepare students to take on the hugely complex and difficult challenges facing our society. I want to create a learning community that can respond to our global risks and effect inclusive change. To achieve anything complex requires radical diversity, for what Scott Page calls the “diversity bonus.” Complex problems require diverse perspectives. The more diverse the better. In the face of adversity and exclusion, these students have honed resourcefulness.

Planning to intervene in change requires prediction. With accelerated change, it has become much more difficult to predict what might happen. It is a fact that the overall group prediction error is reduced in relation to the diversity of the group. Put another way, for more accurate prediction you need as much diversity as you can get.

Representing Diversity

Diversity and inclusion have become trending topics over this past year. The terms are used so casually of late that they have almost lost their meaning. Although we often glibly state our commitment to diversity, in reality, most of the tools and practices we currently hold dear are in opposition to diversity. This means there is a great deal to unlearn to realistically achieve inclusive change. This includes the 80/20 rule.

The 80/20 rule is apt if you want to serve the status quo. Another way of thinking about this is to consider a scatter-plot of the needs of any group of people.

A scatterplot of needs of any given population, the distribution is like an exploding star.

It will look like an exploding star with a denser set of dots (representing the majority needs) in the centre, and more widely spaced dots the further you get from that centre (the minority needs). Distance represents difference. The closer the dots the more similar they are. The wider they are spaced from each other the more they differ. If you want a design that will cover 80% of the dots (or needs), you only need to cover 20% of the space, or that central cluster. This centre is also where you can achieve economies of scale, because needs are very similar. This sounds very reasonable and efficient. It served industrial markets and mass production well. It allowed for quick wins. However, it comes with some major costs.

The Costs

Change and innovation are found out at the edge, not in the centre where mediocrity lies. If you are serving a complex system in flux, even that central 80% covering 20% of space will inevitably move and your design won’t have the coverage. Your design will be what we call “brittle.” You will need to respond to more and more exceptions and issues you did not consider. Your design will start to look like a house with bolted on additions, which inevitably will cause the whole structure to collapse. End of life will be sooner. Costs will be greater in the long term.

Our government needs to be here for the duration. If you plan to include the edge from the beginning, your design might take more time and resources at first, but it will be dynamically resilient and adaptable. It will be future friendly in that it will give the centre a great deal of room to shift. It will also cost less in the long term.

These two groups show the costs over time for when planning for the centre (where costs increase over time) and planning with the edge (where costs decrease over time).

Designing with the Edge

My advice would be to design with the difficult 20% first.

The scatterplot showing people who have difficulty using the design and people that can’t use the design, out at the periphery.

In inclusive design we recommend inviting people that can’t use or have difficulty using your current design to help you redesign. Companies that hope to create more useful machine intelligence are also beginning to realize the advantages of machine intelligence that recognizes and understands the full range of diversity and not just the dominant patterns.

Humans and Categories

I want to add a proviso or qualifier. One thing we also need to unlearn is our unconscious reliance on a deeply ingrained human competency. It is a human competency that has figured in the debate about what distinguishes human intelligence from machine intelligence. A problem that stumped artificial intelligence machines but that is easy for most two-year-olds is to classify or sort things like cats from dogs (try articulating rules you would use to tell a cat from a dog). Search for the meme “dogs or muffins” and you will see further examples. Our sorting and classifying abilities are stellar and ingrained. We also love opposites, binaries or polarities. You may have fond memories of kindergarten exercises and Sesame Street songs that ask you to identify opposites. It is no wonder that we apply these skills so unconsciously and ubiquitously. However, issues arise when we impose this categorization on people. People are complex, multi-dimensional and evolving. Trying to fit people into classificatory boxes is very problematic.

A common practice when trying to achieve a more inclusive design is to rely on categories of people to achieve representation. The simplest variant is to create binaries: able-bodied and disabled, male and female, for example. More sophisticated variants are to include representation from a list of human categories: people who are blind, Deaf, wheelchair users; or a colour wheel of racial origin. What is wrong with this as a way of achieving better representation? People are complex, variable and multi-dimensional. The classifier used to sort the person may not be the most important characteristic that informs the perspective or needs they bring.

More importantly, if the goal is to cover the 80% of the design space needed to reach the peripheral 20%, creating categories is not going to work. People will fall through the cracks and will be stranded at the edges of our chosen categories. This will drive a wedge between people that are included and people that continue to be marginalized. Where does my gender fluid young niece fit in the categories of men and women? Where does my friend who has a rare progressive disability fit in the categories we have created to sort people who experience disabilities? The further out to the periphery you get the greater your difference.

Scatterplot of needs showing how we capture categories of needs, but leave people at the edge and falling through the cracks.

The best approach is to continuously ask “who are we missing?” What perspectives are not at the table and how can we design the table so that they can participate in our process? This is best achieved through iterative, rapid, full-cycles of design, development, implementation and evaluation; by growing from small successes that invite participation and constructive critique. This provides an opportunity at each iteration to thoughtfully reflect on who is missing.

It is adding these missing perspectives that will bring about change, innovation, and dynamic resilience. The further participants are from the well-served middle, the better. The more dimensions or aspects of the periphery we can include, the better. The magic factor that makes the whole far greater than the parts is the range of difference. This will not only stretch what we produce, but it will stretch our process so that we can tackle the unpredictable complexity ahead.

With the help of “Strangers”

The late and wise Ontarian, Ursula Franklin, referred to this phenomenon as the “gift of strangers.” She felt it was imperative that we continuously extend our world with the help of strangers. It is not a skill that comes easily or unconsciously, it takes effort. Luckily humans can draw upon a struggling urge to grow and improve. Our Ontario community is primed to harness this gift of strangers. Hillary and her team are well on their way to addressing the complex challenge.

Note: Graphics by Inclusive Design Research Centre under Creative Commons Attribution-NonCommercial 4.0 International License.

Jutta Treviranus is the Director of the Inclusive Design Research Centre (IDRC) and professor of at OCAD University in Toronto, Canada.

Pour une meilleure conception, demandez l’aide des étrangers

13 février 2018 · 9 min

Note de la rédaction: Jutta Treviranus est chef de file en conception inclusive; elle a fondé et dirige le centre de recherche en conception inclusive de l’Université de l’École d’art et de design de l’Ontario, dirige l’Inclusive Design Institute et a fondé le premier programme d’études supérieures en conception inclusive à l’Université. Dans cet article, Jutta explique les coûts et les incidences découlant de l’utilisation d’approches normatives et de regroupement identitaire pour l’inclusion numérique, relativement aux personnes en périphérie et non représentées.

Le printemps dernier, Hillary Hartley s’est jointe au gouvernement de l’Ontario à titre de première agente numérique en chef, chargée de concevoir, d’élaborer et de déployer une plateforme de gouvernement en ligne conviviale, efficiente, efficace, accessible, inclusive et participative. Un défi de taille, même pour quelqu’un qui avait l’expérience des querelles avec l’administration américaine.

Elle s’est également engagée à ce que le gouvernement serve de modèle de bonne pratique pour d’autres organisations en Ontario, et de chef de file à l’échelle mondiale.

Par où commencer?

Il n’est pas exagéré de dire que le gouvernement de l’Ontario est un système très complexe. Sa fonction publique compte plus de 60 000 employés, 30 ministères qui ont chacun des divisions de pouvoir et des routines bien établies (le ministère des Transports de l’Ontario, par exemple, vient de célébrer son 100e anniversaire), et neuf groupes indépendants d’« Information et technologie de l’information ». Et comme dans toute grande bureaucratie bien établie, lire les règles et politiques prendrait des années, sans compter les conventions non écrites et les traditions implicites qui guident les comportements et les habitudes au sein d’une institution. Ajoutons à cela l’Assemblée législative — l’organe politique du gouvernement — qui sert pendant des mandats fixes et qui doit tenir ses engagements pour être réélue. Et surtout, la relation complexe avec un public très varié ayant tout un éventail d’attentes et d’opinions quant à la bonne gouvernance.

Cette audacieuse expérience de changement institutionnel est en effet un modèle à suivre. Compte tenu de cette tâche extrêmement complexe et ardue, par où commencer?

Le principe des 80/20?

Un des conseils que l’on donne souvent aux personnes qui tentent de réaliser une tâche considérable avec peu de temps et de ressources est la règle des « 80/20 ». Cette règle se prête à de nombreuses interprétations, mais il s’agit essentiellement de s’attaquer d’abord aux premiers 80 % de la tâche, ce qui exigera théoriquement 20 % de l’effort, et de laisser les 20 % les plus difficiles pour plus tard. Ce principe repose sur le principe de Pareto ou la « loi de la minorité vitale ». En 1896, Pareto a démontré que 80 % des terres en Italie appartenaient à 20 % de la population. Popularisé dans le monde des affaires en 1998 par Richard Koch grâce à son livre « Le Principe 80/20 », ce principe a été étendu à tous les domaines, du sport à la santé et à la sécurité, ainsi qu’au développement de nouveaux programmes gouvernementaux.

J’ai entendu quelqu’un parler de ce principe à Hillary lors d’une conférence gouvernementale sur le gouvernement numérique l’année dernière. À mon avis, nous sommes confrontés à une réalité différente, plus complexe et plus confuse qu’à l’époque de Pareto, et suivre son principe ne produira jamais le changement dont nous avons besoin. Je propose que nous fassions le contraire. Je m’explique.

Le désapprentissage et les 20 % « difficiles »

En tant que professeure, le cours le plus difficile et le plus avancé que j’enseigne s’intitule Unlearning and Questioning » (Désapprendre et remettre en question). Les étudiants qui ont le plus de mal dans ce cours sont presque invariablement ceux qui normalement réussissent le mieux, qui ont les meilleurs résultats scolaires, ceux que l’on appelle les « meilleurs de classe ». En revanche, les étudiants qui s’y distinguent sont généralement ceux qui normalement réussissent moins bien. À la fin du cours, tous les participants affirment qu’ils ont profondément changé.

Vous vous demandez peut-être pourquoi j’ai créé et donné un cours qui semble être l’antithèse de l’éducation. Après tout, une formation universitaire ne doit-elle pas être un apprentissage, plutôt qu’un désapprentissage? Et pourquoi aller recruter des étudiants en difficulté pour un cours aussi avancé?

La réponse à la première question est très simple : parce que le monde change. Tous les étudiants sont confrontés à des difficultés et à des obstacles en croissance exponentielle dans tous les domaines de leur vie. Nous avons besoin de nouveaux outils — et d’une trousse beaucoup plus vaste et diversifiée d’outils — pour participer et intervenir. Ce qui nous empêche de concevoir et d’adopter ces outils de plus en plus évolutifs, c’est la surapplication de ce que nous maîtrisons, le fait de nous concentrer sur les choses que nous pouvons faire avec confiance et sur les hypothèses auxquelles nous sommes le plus attachés.

Cours de conception inclusive « Désapprendre et remettre en question »

Les principales compétences nécessaires pour contribuer de manière productive à ce changement comprennent de nombreuses choses que nous avons explicitement ou implicitement dévalorisées (sinon diabolisées) dans l’éducation. Ces compétences sous-­développées et indispensables sont : valoriser l’échec et les erreurs, préserver l’humilité et la vulnérabilité, collaborer, offrir et demander des commentaires constructifs, avoir le courage de contester l’autorité, accepter les désaccords, intégrer divers points de vue, garder son jugement pour soi, se concentrer sur le processus plutôt que sur le produit, et chercher les bonnes questions plutôt que de se précipiter sur les réponses. Nous devons être réceptifs à ces nouvelles compétences et à bien d’autres, et leur faire de la place. Comme pour les récepteurs chimiques du cerveau qui ne parviennent pas à se lier différemment, j’essaie de dissocier mes étudiants de leurs liens étroits avec les présomptions et les hypothèses qui bloquent les nouvelles considérations et les nouveaux processus.

En ce qui concerne la deuxième question, pourquoi recruter des étudiants qui ont eu de la difficulté? Parce que je veux les préparer à relever les défis extrêmement complexes et difficiles auxquels notre société est confrontée. Je veux créer une communauté d’apprentissage capable de répondre aux risques mondiaux et d’apporter des changements inclusifs. Pour réaliser quelque chose de complexe, il faut une diversité radicale, ce que Scott Page appelle le « bonus de la diversité ». Tout problème complexe exige une approche différente. Et plus ces approches sont diversifiées, mieux c’est. Face à l’adversité et à l’exclusion, ces étudiants ont fait preuve d’une grande ingéniosité.

Envisager d’intervenir dans le changement exige de prévoir. Avec l’accélération du changement, il est devenu beaucoup plus difficile de prédire ce qui pourrait arriver. Il est vrai que l’erreur globale de prédiction du groupe est réduite par rapport à la diversité du groupe. Autrement dit, pour avoir des prévisions plus précises, vous avez besoin d’une diversité aussi grande que possible.

Représenter la diversité

La diversité et l’inclusion sont devenues des sujets à la mode depuis un an. Ces termes sont utilisés si couramment ces derniers temps qu’ils ont presque perdu leur sens. Bien que nous affirmions souvent allègrement notre engagement en faveur de la diversité, la plupart des outils et des pratiques qui nous tiennent à cœur actuellement sont en fait en opposition avec celle-ci. Il nous faut donc beaucoup désapprendre pour parvenir de manière réaliste à un changement inclusif. Et cela comprend la règle des 80/20.

La règle des 80/20 convient si l’on souhaite maintenir le statu quo. Une autre façon de voir cela est de prendre un diagramme de dispersion représentant les besoins d’un groupe quelconque de personnes.

Diagramme de dispersion des besoins d’une population, semblable à une étoile qui explose

Dans un tel diagramme, la distribution des points est semblable à une étoile qui explose. En son centre, les points sont plus denses (représentant les besoins de la majorité) et plus l’on s’éloigne de ce centre, plus les points sont espacés (représentant les besoins de la minorité). La distance représente la différence. Plus les points sont rapprochés, plus ils se ressemblent. Plus ils sont distancés, plus ils diffèrent. Si vous voulez une conception qui couvrira 80 % de vos points (ou besoins), vous n’avez besoin qu’à couvrir 20 % de l’espace, ou ce groupe central. C’est également dans ce centre que vous pouvez réaliser des économies d’échelle, car les besoins sont très similaires. Ce principe semble très raisonnable et efficace. Il a bien servi les marchés industriels et la production de masse, permettant de faire des gains rapides. Il entraîne toutefois des coûts importants.

Les coûts

Le changement et l’innovation se trouvent en périphérie, et non au centre où est la médiocrité. Si vous êtes au service d’un système complexe en pleine mutation, même ce 80 % central couvrant 20 % de l’espace se déplacera inévitablement, et votre conception n’aura pas la couverture nécessaire. Votre conception sera ce que nous appelons « fragile ». Vous devrez traiter un nombre croissant d’exceptions et de problèmes que vous n’aurez pas pris en compte. Votre projet commencera à ressembler à une maison à laquelle on aura ajouté plein d’annexes, et toute la structure finira immanquablement par s’effondrer. Le projet aura la vie courte. Les coûts seront élevés à long terme.

Notre gouvernement doit tenir la durée. Si vous faites vos prévisions en incluant les besoins en périphérie dès le début, votre conception exigera peut-être plus de temps et de ressources au départ, mais elle sera dynamiquement résiliente et adaptable. En effet, elle s’adaptera à l’avenir, en ce sens qu’elle donnera au centre plus de marge de manœuvre pour changer. Elle coûtera également moins cher à long terme.

Deux groupes qui représentent les coûts de la planification en fonction du centre (augmentant avec le temps) et de la planification intégrant la périphérie (diminuant avec le temps)

Concevoir avec la périphérie

Je vous conseille de vous servir d’abord des 20 % difficiles pour votre conception.

Diagramme de dispersion illustrant, en périphérie, les personnes qui ont de la difficulté à utiliser la conception ainsi que celles qui ne peuvent pas l’utiliser

Dans le cadre de la conception inclusive, nous recommandons d’inviter les personnes qui sont incapables d’utiliser votre conception actuelle — ou qui ont de la difficulté à le faire — à vous aider à la redéfinir. Les entreprises qui espèrent créer une intelligence artificielle plus utile commencent à comprendre les avantages d’une intelligence artificielle qui reconnaît et comprend toute la gamme de la diversité, et non seulement les modèles dominants.

Les humains et les catégories

Permettez-moi cependant de préciser un point. Une chose que nous devons également désapprendre, c’est notre dépendance inconsciente à l’égard d’une compétence humaine profondément enracinée. C’est une compétence humaine qui a figuré dans le débat sur ce qui distingue l’intelligence humaine de l’intelligence artificielle. Une tâche qui pose problème aux intelligences artificielles — mais qui est facile pour la plupart des enfants de deux ans — est de classer ou de séparer des choses, comme les chats des chiens (essayez d’énoncer les règles que vous utilisez pour distinguer un chat d’un chien). Cherchez le mème « chiens ou muffins » et vous verrez d’autres exemples. Nos capacités de tri et de classification sont remarquables et bien ancrées. Nous aimons aussi les contraires, les binômes ou polarités. Vous vous souvenez peut-être des exercices de la maternelle et des chansons de Sesame Street où l’on vous demande de nommer des contraires. Il n’est pas étonnant que nous appliquions ces compétences de manière aussi inconsciente et omniprésente. Cependant, des problèmes surgissent lorsque nous imposons cette catégorisation aux gens. Les gens sont complexes, multidimensionnels et évolutifs. Il est très problématique d’essayer de classer les gens dans des catégories.

Une pratique courante pour parvenir à une conception plus inclusive consiste à s’appuyer sur des catégories de personnes en vue d’assurer la représentation. La variante la plus simple consiste à créer des binômes : valides et handicapés, hommes et femmes, par exemple. Des variantes plus complexes doivent inclure une représentation à partir d’une liste de catégories humaines : les personnes aveugles, sourdes, en fauteuil roulant ou un cercle des couleurs raciales. Quel mal y a-t-il d’utiliser ce moyen pour parvenir à une meilleure représentation? Les gens sont complexes, variables et multidimensionnels. Les critères utilisés pour trier les personnes peuvent ne pas être les caractéristiques les plus importantes pour rendre compte de la perspective ou des besoins que ces personnes apportent.

Plus important encore : si l’objectif est de couvrir 80 % de l’espace de conception nécessaire pour atteindre les 20 % de la périphérie, la création de catégories ne fonctionnera pas. Des gens seront ignorés et bloqués à la périphérie des catégories que nous aurons déterminées. Cela créera un fossé entre les personnes qui sont incluses et celles qui continuent d’être marginalisées. Où se situe ma jeune nièce au genre fluide dans les catégories hommes et femmes? Où mon ami qui a un handicap progressif rare se classe-t-il dans les catégories que nous avons créées pour classer les personnes handicapées? Plus on va en périphérie, plus les différences sont grandes.

Diagramme de dispersion des besoins qui montre comment nous définissons les catégories de besoins, tout en laissant des gens à la périphérie tomber entre les mailles du filet

La meilleure approche est de se demander continuellement : « Qui nous manque-t-il? » Quelles perspectives ne sont pas prises en compte, et comment pouvons-nous faire notre conception pour que tous puissent participer à notre processus? Le meilleur moyen d’y parvenir est de passer par des cycles itératifs, rapides et complets de conception, d’élaboration, de mise en œuvre et d’évaluation, en partant de petits succès qui invitent à la participation et à la critique constructive. C’est l’occasion, à chaque itération, de réfléchir attentivement aux personnes qui manquent.

C’est l’ajout de ces perspectives manquantes qui apportera le changement, l’innovation et la résilience dynamique. Plus les participants en périphérie sont nombreux, mieux c’est. Plus nous pouvons inclure de dimensions ou d’aspects de la périphérie, mieux c’est. Le facteur magique qui rend l’ensemble beaucoup plus grand que les parties est l’étendue de la différence. Non seulement ce que nous produisons s’en trouvera élargi, mais notre processus sera enrichi et nous permettra de faire face à l’imprévisible complexité qui nous attend.

Un coup de main des « étrangers »

La regrettée et sage Ontarienne Ursula Franklina qualifiait ce phénomène de « don des étrangers ». Selon elle, il était impératif que nous élargissions continuellement notre monde avec l’aide d’étrangers. Ce n’est pas une compétence qui vient facilement ou inconsciemment, elle demande de faire des efforts. Heureusement, les humains ont envie de grandir et de s’améliorer. Notre communauté ontarienne est prête à exploiter ce don des étrangers. Hillary et son équipe sont en bonne voie de relever ce défi complexe.

Note : Graphiques du centre de recherche sur la conception inclusive sous Creative Commons Attribution­NonCommercial 4.0 International License.

Jutta Treviranus est directrice du centre de recherche sur la conception inclusive et professeure à l’Université de l’École d’art et de design de l’Ontario, à Toronto, au Canada.



Jutta Treviranus
Ontario Digital Service

Director, Inclusive Design Research Centre, OCAD University