L’Évaluation d’impact algorithmique du gouvernement du Canada: Un deuxième essai

(Cet article a été écrit par moi-même et Noel Corriveau. Suivez-le pour plus de contenu sur l’IA, l’éthique, le droit et la musique classique)

Avertissement: Le contenu de cette article représente la vue personnelle des auteurs et ne représente pas un point de vue officiel du Gouvernement du Canada. Tout ici peut changer en attendant une révision interne, en plus de vos excellentes contributions.

An English version of this post is available here.

Jean-Baptiste Simeon Chardin « Les attributs des sciences » . 1731.

Il y a quelques mois, j’ai rédigé un plan potentiel pour une évaluation d’impact algorithmique (ÉIA, en raison des acronymes), et depuis, j’ai reçu des commentaires fantastiques. Cela a renforcé ma conviction de travailler de manière radicalement ouverte puisque ceci m’a permis de pivoter rapidement vers de nouveaux modèles

Alors les mois ont passé et beaucoup a changé. Surtout et avant tout, nous avons embauché Noel Corriveau, un avocat et éthicien qui a aidé à mettre sur pied le groupe de travail sur l’intelligence artificielle au ministère de la Justice. Maintenant avec (au moins!) deux fois la puissance intellectuelle, Noel et moi avons travaillé pour concevoir une deuxième itération de notre ÉIA. De plus, avec l’aide gracieuse de Paul Jackson, l’un des développeurs de l’équipe UnGC du Conseil du Trésor, nous avons développé un prototype de l’outil électronique. Vous pouvez le voir ici.

Voici une brève mise à jour de notre travail à date.

Évaluation d’impact algorithmique

L’objectif de notre évaluation d’impact algorithmique est de développer un cadre qui aidera les institutions à mieux comprendre et atténuer les risques associés aux systèmes décisionnels automatisés en fournissant les exigences appropriées en matière de gouvernance, de supervision et de reporting, ainsi que la vérification. L’AIA est conçu pour appuyer la Directive proposée sur le processus décisionnel automatisé.

Une évaluation d’impact est un outil utilisé pour analyser les conséquences possibles d’une initiative et de fournir des recommandations sur la manière de déployer celle-ci et sous quelles conditions. Les avantages d’une évaluation d’impact sont principalement les suivantes: 1) aider à la prise de décisions et à prendre en considération des préoccupations importante de la société; 2) faciliter la conformité aux exigences légales et autres exigences réglementaires (normes et standards, par exemple); 3) lorsque fait de manière transparente, faire appel à la confiance du public et faire preuve de responsabilité sociale; et 4) peut constituer une preuve de diligence susceptible de limiter les responsabilités.

En élaborant l’ÉIA, nous avons souligné trois objectifs clés:

• Accroître la capacité d’évaluer l’impact des systèmes de décision automatisés, y compris les enjeux juridiques et éthiques;
• Atténuer les risques associés aux systèmes décisionnels automatisés en fournissant des exigences de gouvernance, de surveillance et exigences en matière de rapports; et
• Fournir un mécanisme qui encourage l’ouverture, la transparence et la consultation publique en ce qui concerne le déploiement de systèmes de décision automatisés dans le secteur public.

Comment cela fonctionne-t-il ?

L’ÉIA est structurée de manière à être un sondage électronique. Tous les résultats de l’AIA seront accessibles au public. Cela permettra aux chercheurs et à la société civile de surveiller et comparer les décisions qui sont automatisées et quels sont les principaux attributs de ces systèmes.

L’ÉIA posera une grande variété de questions regroupées en grands thèmes. Par exemple:

• Que fait votre système? Prends-elle des décisions administratives ?
• Les décisions sont-elles basées sur des critères objectifs, ou y a-t-il une marge de discrétion?
• Avez-vous consulté tout le monde dont vous avez besoin (par exemple, services juridique, ressources humaines, gestion de l’information et technologie de l’information)
• Quels sont les processus que vous avez mis en place? Comment explicable sont les déterminations de la machine? Surveillez-vous les résultats non intentionnels? Avez-vous une piste de vérification claire sur les décisions?
• Avez-vous mis en place un mécanisme de recours au cas où les gens auraient des questions ou des plaintes?

Chaque réponse de l’ÉIA est codée avec cinq catégories de notation distinctes qui auront un impact sur la détermination finale du risque. Tous les scores sont transparents, vous pouvez donc voir exactement où vous accumulez des risques et où vous pouvez prendre des mesures pour les réduire. Nous cherchons à tester cinq catégories :

• L’impact sur les individus, les entreprises et les communautés («impact socioéconomique»),
• L’impact sur les opérations du gouvernement,
• La complexité du système,
• Les pratiques de gestion des données; et
• Les considérations d’équité procédurale.

En ce moment, nous avons environs 50 questions, plus quelques questions contextuelles supplémentaires. Nous espérons en ajouter au fur et à mesure que nous complétons nos entrevues et testons le système avec des utilisateurs. Notre objectif est que le questionnaire prenne environs 45 minutes à compléter.

Une fois que vous aurez rempli votre questionnaire, votre initiative recevra un score de 1 à 4 qui déterminera les exigences qui s’appliqueront. Les exigences sont définies dans la Directive sur les processus décisionnelle automatisé.

Nous proposons un système de notation assez simple. Chaque question fournit des scores différents dans les cinq catégories. Lorsque vous ajoutez des points d’impact, vous commencez à monter dans les niveaux de risque. La répartition par niveau pour l’impact socio-économique et l’impact du gouvernement est asymétrique comme décrit dans le tableau ci-dessous

Les pratiques de gestion des données et les considérations d’équité procédurale sont évaluées de manière égale et fonctionnent comme des multiplicateurs pour augmenter ou diminuer les scores de risque totaux. Ces multiplicateurs sont conçus pour permettre aux ministères fédéraux d’innover tout en les incitants à s’en tenir à des contrôles internes rigoureux lors de la conception de systèmes..

En revanche, la complexité des systèmes n’ajoute qu’un léger multiplicateur au score final, car nous ne voulons pas entraver les approches novatrices.

Atteindre le niveau final est un calcul simple:

1. Score Impact socio-économique * multiplicateur de complexité * multiplicateur de gestion de données * multiplicateur d’équité procédurale = niveau d’impact
2. Score d’opérations gouvernementales * multiplicateur de complexité * multiplicateur de gestion de données * multiplicateur d’équité procédurale = niveau d’impact
3. Le plus haut entre # 1 et # 2 détermine le niveau d’impact final ajusté.

Nous avons plus de travail à faire puisque les 50 questions que nous avons identifiées constituent qu’une première étape. Des efforts supplémentaires sont nécessaires pour nous assurer que tous les facteurs sont pris en compte. Nous cherchons de l’aide et vos conseil pour nous assurer que nous testons adéquatement nos cinq domaines d’intérêt.

Prochaine étapes

Il est encore très tôt dans le développement et nous avons besoin de votre aide pour y arriver. Les premiers tests suggèrent que nos scores ne fonctionnent pas comme prévu. Des révisions seront nécessaires pour les questions existantes et de nouvelles devront être ajoutées. Nous prévoyons d’ajouter un texte explicatif au cas où un utilisateur aurait besoin de plus d’aide pour une question (par exemple, ce que nous entendons par «la discrétion»). Mais c’est un outil de travail, et malgré toutes ses imperfections, nous sommes tous fiers de cette première étape.

Plus à suivre, restez à l’écoute!