Aux limites de la Frontière Éthique : Weaponisation produits et comment assurer la sécurité des utilisateurs en tant que Product Manager
Article rédigé par Charlotte Quatresols, Product Owner chez Publicis Sapient.
En tant que Product Manager, nous avons une grande part de responsabilité dans la création de produits technologiques. Qu’on le veuille ou non, l’impact potentiel de nos créations est considérable, il est donc impératif que nous soyons sensibles le côté obscur de nos utilisateurs : la product weaponisation. Dans cet article, nous explorerons le concept de weaponised product, fournirons des exemples et discuterons du rôle crucial des Product Managers dans la conception axée sur la sécurité et les considérations éthiques.
I/ Qu’est-ce que la product weaponisation ?
a) Définition :
La product weaponisation englobe l’utilisation malveillante de concepts pour concevoir des produits ayant des externalités négatives, ou de l’utilisation malveillante de produits de façon à en détourner l’usage à des fins négatives et potentiellement dangereuses. Elle consiste à exploiter les vulnérabilités, à manipuler les utilisateurs et à rendre possible des cas d’usages détournés pour des produits en apparence inoffensifs. La weaponisation va au-delà des défauts de conception non intentionnels ou des conséquences involontaires ; elle implique également des actions délibérées de la part des concepteurs ou des utilisateurs. En tant que Product Managers, nous devons comprendre les dangers posés par la weaponisation et travailler activement à atténuer son impact.
b) Exemples :
À une époque où les produits de technologie et d’information sont présents partout et accessibles en permanence, les cas de weaponisation, ou utilisation malveillante de ces produits, se multiplient.
Prenons l’exemple de la manipulation des réseaux sociaux : la weaponisation des plateformes de réseaux sociaux est évidente à travers la propagation de la désinformation, des fake news et des campagnes de propagande visant à influencer l’opinion publique, les élections et à inciter à des désordres sociaux. Les algorithmes et les décisions qui privilégient l’engagement et la viralité peuvent amplifier des contenus clivants et contribuer à la polarisation de la société. Par exemple, le scandale Cambridge Analytica a révélé comment les données personnelles obtenues via Facebook ont été utilisées pour manipuler les utilisateurs et influencer les résultats politiques.
Dans un autre registre, l’utilisation malveillante de produits de sécurité personnelle tels que les caméras de sécurité peut conduire à des situations de harcèlement et violences morales au sein des foyers, dans le cas où l’un des partenaires les utilise à des fins d’espionnage ou de manipulation sans l’accord de son/sa partenaire, sans même qu’il/elle soit au courant. De nombreuses femmes rapportent également avoir été suivies jusque chez elles ou victimes de harcèlement après qu’une personne ait discrètement glissé un Apple Air tag dans leur sac ou leur voiture sans qu’elles s’en aperçoivent.
Ces exemples montrent des cas où les produits tels qu’ils sont mis à disposition des utilisateurs contiennent encore des failles de conception qui en permettent une utilisation détournée à des fins malveillantes ; il s’agit d’une facette de la weaponisation. Une seconde facette est la conception volontairement malveillante de fonctionnalités au sein d’un produit sous prétexte que de tels choix rendent possible l’atteinte d’objectifs purement économiques, décorrélés du bien-être des utilisateurs. Par exemple, certaines applications mobiles utilisent des techniques de design qui favorisent des comportements addictifs et une utilisation prolongée du produit en question. En exploitant les vulnérabilités psychologiques, ces applications maintiennent les utilisateurs accrochés (on parle de “stickiness”), souvent au détriment de leur bien-être et de leur santé mentale. La fonctionnalité “scroll infini” dans les applications de réseaux sociaux et l’utilisation de notifications pour susciter une participation constante sont des exemples de choix de conception qui peuvent être pris pour exploiter l’attention des utilisateurs et induire des comportements addictifs.
II/ Comment émerge la weaponisation des produits ?
L’émergence de la weaponisation est influencée par divers facteurs, notamment les intentions non éthiques, les négligences, les pressions systémiques et les normes sociétales. Comprendre ces dynamiques est essentiel pour que les Product Managers puissent naviguer efficacement dans les complexités éthiques de leur rôle.
- Intentions non éthiques et acteurs malveillants :
Certains cas de weaponisation résultent des intentions délibérées de concepteurs ou d’acteurs malveillants cherchant à exploiter la technologie à des fins négatives. Ces individus peuvent créer ou utiliser des produits dans le but de tromper les utilisateurs, de violer la vie privée ou de faciliter des activités illégales. Les logiciels malveillants, les ransomwares ou les escroqueries de phishing sont des exemples de produits qui compromettent la sécurité numérique et extorquent les utilisateurs imprudents.
- Négligences et conséquences imprévues :
La weaponisation peut également émerger en raison de négligences et de l’incapacité à anticiper les conséquences imprévues. Les concepteurs et développeurs, poussés par la pression d’innover rapidement, peuvent négliger les risques potentiels ou privilégier les fonctionnalités au détriment des considérations éthiques. Cette négligence peut entraîner des résultats néfastes. Par exemple, en 2017, Twitter met au point une fonctionnalité qui permet d’ajouter des utilisateurs à des listes publiques. Les utilisateurs reçoivent une notification lorsqu’ils sont ajoutés à une liste, sauf lorsqu’il s’agit d’une liste potentiellement malveillante, destinée à des fins de harcèlement, de manière à protéger la santé mentale des utilisateurs qui en seraient victimes. Cette fonctionnalité est quasiment immédiatement retirée puisqu’elle permettait en fait aux harceleurs de partager, sans se faire remarquer, des listes de victimes potentielles, et sans que celles-ci ne puissent se protéger. Cet exemple montre qu’à peine rendue disponible, cette nouvelle fonctionnalité s’est presque instantanément retournée contre certains utilisateurs.
- Pressions systémiques et compétitivité :
Dans un marché hautement compétitif, les acteurs sont en perpétuelle compétition pour proposer des produits de pointe et capturer des parts de marché. Cette pression peut entraîner des compromis en matière de prise de décision dans le processus de conception. Les entreprises peuvent privilégier les gains à court terme ou la domination du marché au détriment des considérations de sécurité et de bien-être des utilisateurs à long terme. La quête de croissance et de rentabilité peut involontairement conduire au développement et au déploiement de produits présentant des risques inhérents, tels que les technologies de surveillance ou le potentiel mauvais usage des données personnelles.
- Normes sociétales et désensibilisation :
La weaponisation des produits peut également émerger en raison de l’érosion progressive des limites éthiques et de la désensibilisation aux pratiques à risques. Au fil du temps, certains comportements ou choix de conception qui étaient autrefois considérés comme inacceptables peuvent devenir normalisés. L’acceptation progressive de pratiques publicitaires intrusives ou la normalisation de techniques manipulatrices qui exploitent les vulnérabilités psychologiques des utilisateurs contribuent à la weaponisation des produits.
En reconnaissant ces dynamiques sous-jacentes, les Product Managers peuvent travailler activement pour atténuer les risques de weaponisation. Ils doivent favoriser une culture de sensibilisation éthique, encourager la collaboration interdisciplinaire et accorder la priorité à la sécurité des utilisateurs tout au long du cycle de développement du produit. La responsabilité incombe non seulement aux Product Managers individuels, mais également aux entreprises pour établir des lignes directrices éthiques, partager les meilleures pratiques et favoriser un environnement qui valorise le bien-être à long terme des utilisateurs.
A cet effet, plusieurs méthodologies existent pour intégrer ces considérations aux pratiques du product management.
III/ Comment concevoir des produits sûrs ?
a) Paranoïa proactive :
Héritée du monde militaire, la Paranoïa proactive peut être utile pour contrer la weaponisation. Cela implique d’adopter une attitude de grande prudence et d’anticiper les risques potentiels et les conséquences négatives tout au long du processus de développement du produit. En bref, toujours garder en tête l’adage “if anything can go wrong, it will”. En réalisant des évaluations rigoureuses des risques, en impliquant des équipes pluridisciplinaires et en accordant la priorité à la sécurité des utilisateurs, nous pouvons diminuer drastiquement les risques de weaponisation. La paranoïa proactive nécessite une vigilance constante et une évaluation continue des implications éthiques de nos choix de conception et de priorisation. Elle nous oblige à remettre en question le potentiel de mauvais usage de nos produits et à envisager les pires scénarios pour orienter nos processus de prise de décision.
b) Black Mirror Brainstorms :
Un exercice efficace pour identifier les risques potentiels et les conséquences involontaires consiste à organiser des séances de Black Mirror Brainstorm. Inspirées par les épisodes de la série télévisée “Black Mirror”, ces séances de réflexion permettent aux Product Managers de visualiser les scénarios les plus obscurs et de définir des anti-objectifs.
Pour organiser un Black Mirror Brainstorm, au sein de votre équipe de shaping, procédez à plusieurs exercices avant de mettre les résultats en commun et identifier les points saillants : selon un pitch donné au groupe qui reprend l’objectif du produit, chacun réfléchit à ce qui pourrait se passer dans un épisode de Balck Mirror reprenant ce produit. Chaque membre de l’équipe pense également à des citations qui pourraient être tirées de l’épisode ou de commentaires de spectateurs. Chaque membre de l’équipe réfléchit aux conséquences et aux péripéties de l’épisode, et pour finir, chaque membre pense à ce à quoi pourrait ressembler l’affiche de l’épisode, quel serait son titre, son sous titre, ses mots clés etc. Une fois que les éléments sont mis en communs, l’équipe peut s’appuyer sur les résultats pour identifier les “anti objectifs”.
Conclusion
Concluons sur cette idée : en tant que Product Managers, nous occupons une position unique à l’intersection de la technologie, du business et de l’éthique. Il est de notre devoir de naviguer sur la frontière éthique et de répondre de manière proactive aux risques potentiels causés par la weaponisation des produits. En intégrant la paranoïa proactive dans notre approche et en adoptant des exercices tels que les Black Mirror Brainstorms, nous pouvons garantir que nos produits privilégient la sécurité des utilisateurs. Restons engagés à exploiter le pouvoir du design pour façonner un avenir où la technologie est un vecteur de positivité. Alors que nous nous engageons dans cette voie, nous ne devons jamais perdre de vue notre responsabilité de concevoir des produits qui répondent non seulement aux besoins des utilisateurs, mais qui respectent également les normes éthiques les plus élevées. En nous remettant constamment en question et en collaborant avec des parties prenantes diverses, nous pouvons créer un changement significatif et contribuer à un paysage technologique plus éthique et sûr. Ensemble, œuvrons à créer un monde où l’innovation et la sécurité vont de pair.
Sources :
https://cennydd.com/writing/book-review-design-for-safety
https://ourdataourselves.tacticaltech.org/posts/30-on-weaponised-design/
