WeDoData+IA #4 // Reword : une IA qui écrit comme un journaliste ?
Cet été, Google a fait le tour des rédactions américaines. Au cœur de cette visite ? La présentation de Genesis, une IA spécialisée dans la création de contenu journalistique d’actualité. Selon cet article, le New York Times, le Washington Post et News Corps, propriétaire du Wall Street Journal, auraient eu la primeur de cette démonstration.
Genesis a suscité de vives réactions parmi les journalistes. Inquiets de ces IA qui peuvent générer et diffuser des fausses informations, ils sont aussi soucieux de voir comment ces outils vont intégrer et nourrir leur pratique quotidienne. Avec une crainte ultime : voir cette “machine mathématique qui se nourrit du langage humain et qui donne à lire du langage humain” (une définition empruntée à Xavier de la Porte) totalement les remplacer un jour.
En attendant de pouvoir tester Genesis, nous avons repéré des outils qui promettent de générer des articles à votre place. Premier test approfondi : Reword.
Au menu de notre enquête sur Reword : explorer ses fonctionnalités-clés ; évaluer les faits, les chiffres et les citations générés par l’outil ; tenter de le faire écrire à la manière de… Florence Aubenas !
reword.com, c’est quoi ?
Fondée en février 2023 par Callum Short, un jeune entrepreneur britannique, Reword est une IA qui génère du contenu. La promesse est ambitieuse :
« Reword aide votre équipe à collaborer de manière éthique avec l’IA, afin que vous puissiez écrire des articles exceptionnels pour vos lecteurs. »
Appliquée à l’article journalistique, que vaut-elle sur le fond et la forme ?
Reword s’utilise via un site internet. S’il est possible de l’essayer gratuitement pendant 14 jours, outre ce délai, son utilisation nécessite un abonnement qui s’élève à 50€/mois.
L’interface web de l’IA n’est disponible qu’en anglais mais elle peut être utilisée pour produire des articles en français. En effet, si vous écrivez votre requête en français, elle vous donne une réponse en français. Pour cela, il suffit de sélectionner “French” à l’étape du prompt. Le concept est simple : “nourrir” cet outil avec des articles qui sont disponibles sur internet afin qu’elle puisse imiter le style du contenu fourni. Pour cela, il faut renseigner les URLs d’articles de référence, qui doivent être en libre accès (hors paywall donc), contenir un titre et un minimum de 300 mots.
Comment ça marche ?
Prérequis : une base de données enrichie
Avant de commencer avec la génération d’un article, Reword demande à l’utilisateur de renseigner plusieurs articles qui serviront à entraîner Reword à produire un texte cohérent — sur le fond et la forme.
De notre côté, nous avons choisi de sélectionner 5 articles du Monde (en accès libre) sélectionnés au hasard.
Surprise ! Quand nous avons voulu vérifier le contenu des articles importés dans Reword, nous nous rendons compte que l’IA importe l’intégralité des signes de la page et pas uniquement le corps de l’article. Ainsi, il se nourrit d’éléments “parasites” comme des consignes de connexion…
Étape 1️⃣
Avant de commencer à générer l’article, Reword demande de renseigner les champs suivants :
- Le titre
- Un prompt
Dans le langage des IA, un prompt est la requête que l’utilisateur formule à l’outil afin d’obtenir un résultat. Dans la capture d’écran ci-dessous, le prompt est saisi dans le second encadré et répond à la question “What is the objective of your article?”.
- La langue dans laquelle l’article doit être écrit
Dans le cadre de ce test, nous avons décidé de demander à Reword de générer un article sur les attentats du 13 novembre 2015 à Paris, un sujet qui a fait l’objet d’une grande couverture médiatique. Ainsi, nous avons renseigné les informations suivantes :
Title : Attentats du 13 novembre 2015 : les réactions internationales et actions de solidarité à l’étranger
Objective : Ecris sur les réactions internationales et des actions de solidarité à la suite des attentats terroristes de Paris en 2015. Le style doit être informatif étant donné qu’il s’agit d’un article d’actualité, mais écris selon le style des articles que j’ai entrés manuellement. Le public visé est le grand public.
Language : French
Étape 2️⃣
Dans un menu à droite, Reword va suggérer des pistes d’amélioration : les propositions génériques (formulées en anglais, elles sont disponibles indépendamment du thème de l’article) et des propositions plus spécifiques (formulées en français et propres à l’angle et au thème de l’article).
Les proposition génériques prennent la forme de questions afin d’enrichir et de structurer l’article :
- des sous-titres
- des faits
- des chiffres
La 7e proposition (voir capture d’écran ci-dessous) est générée par Reword et est spécifique à l’article en cours de rédaction :
- Quelles ont été les réactions des dirigeants politiques internationaux après les attentats du 13 novembre ?
Dans le menu déroulant à droite, nous sélectionnons la boîte “what subheadings mater to my readers the most”. Je sélectionne ensuite 3 sous-titres qu’il a généré :
- Les réactions internationales immédiates
- Les actions de soutien des citoyens et organisations à travers le monde
- Les hommages artistiques et culturels, de l’opéra au street art
Une fois que nous avons cliqué dessus, les sous-titres sont intégrés au corps du texte, à droite.
Étape 3️⃣
En plus du menu déroulant à droite, d’autres actions sont envisageables pour produire le contenu de l’article. Au niveau du curseur qui clignote, nous retrouvons deux boîtes symbolisant deux actions différentes.
- À gauche, la possibilité de rédiger un “sous prompt”, c’est-à-dire, écrire manuellement les consignes que l’IA doit suivre pour enrichir le texte
- A droite, la fonctionnalité “enrichir”. Dans ce cas, l’IA produit du texte sans consignes précises
Voulant analyser les capacités de l’IA, j’appuie sur le bouton enrichir (droite). Je répète l’action sous les trois sous-titres sélectionnés à l’étape 2.
Première expérience : le fond
L’une des principales inquiétudes des rédactions au sujet de l’IA concerne la production de fausses informations. Selon NewsGuard, plus de 150 sites d’actualité et d’information semblent être presque entièrement écrits par l’intelligence artificielle. Fondée en 2018 par des journalistes et des experts du secteur médiatique, NewsGuard s’est donnée pour mission l’évaluation de la fiabilité des sites d’information et l’identification des sites générés uniquement par l’IA.
Ainsi, WeDoData a voulu se pencher sur l’évaluation des faits, des chiffres, des citations générées par Reword. Nous avons donc procédé à quelques vérifications une fois le contenu généré grâce à la fonction enrichir.
La fonction ‘enrichir’
Voici une liste de faits générés par Reword tirés de captures d’écrans ci-dessus et vérifiés par Wedodata :
“Barack Obama, alors président des États-Unis, a exprimé sa solidarité avec la France, qualifiant les attaques de ‘scandaleuses’.”
❌ Barack Obama a en effet qualifié des attaques terroristes perpétrées en France de scandaleuses, mais il a fait cette déclaration suite aux attentats de Charlie Hebdo et non suite aux attentats du 13 novembre. Source. En 2015, Obama a parlé d’une “outrageous attempt to terrorize civilians”. Source
“L’Iran a qualifié les attaques de ‘crimes contre l’humanité’.”
✅ Vrai > Source
“À New York, la statue de la Liberté a été illuminée en bleu, blanc et rouge, les couleurs du drapeau français.”
❌ info non vérifiée. Le WTC a bien été illuminé mais aucune trace de la statue de la Liberté.
“Dans le Pacifique, à Sydney, l’Opéra a été illuminé aux couleurs du drapeau français.”
✅ vrai > source
“Une fresque de l’artiste Combo Culture Kidnapper, représentant une Marianne en pleurs, symbole de la République française, avec le mot ‘Liberté’ peint à ses côtés.”
❌ il y a bien eu une bâche avec Marianne en pleurs mais sur la façade du conseil régional d’Aquitaine.
❌ Combo a bien peint une fresque de Marianne mais en 2017 suite à l’affaire Théo
❌ Combo a bien réalisé des œuvres de street art suite aux attentats de 2015 mais Marianne n’y figurait pas.
“Le street art, dans sa simplicité et sa spontanéité, a réussi à capter l’émotion brute du moment et à transmettre un message fort et résilient de solidarité et de résistance.”
❌ Cette citation pas sourcée dans Reword donc on ne connaît pas le nom de celui qui l’aurait prononcée. Aussi, elle est introuvable sur internet.
Prompt manuel
J’utilise l’autre fonction — le prompt manuel — mais je spécifie cette fois les informations que je souhaite voir apparaître : faits, citations et chiffres. Je précise aussi dans le prompt qu’il ne faut pas que l’IA invente. Je n’effectue la génération de contenu que sous un seul intertitre : les réactions internationales immédiates.
Prompt : “Écris cette partie de l’article au sujet des réactions internationales immédiates qui ont suivi les attentats du 13 novembre à Paris. Intègre des faits, des citations et des chiffres. Donne tes sources et n’invente rien. Les faits que tu écris doivent avoir réellement existé.”
Comme pour l’étape ci-dessus, nous procédons à des vérifications afin d’évaluer la précision de l’IA :
“C’est une attaque non seulement contre Paris, c’est une attaque non seulement contre le peuple de France, mais c’est une attaque contre toute l’humanité et les valeurs universelles que nous partageons,” a déclaré le président américain de l’époque, Barack Obama. (Source: CNN)”
✅ vrai > source
“Corcovado, opéra de Sydney et Tower bridge illuminés”
✅ vrai > source
Comment se fait-il que lorsque l’on spécifie “n’invente rien”, Reword comprenne ?
Comment se fait-il que les résultats soient différents et factuellement corrects ? Reword, contrairement aux autres IA, est-elle est mesure d’interpréter le sens des mots présents dans le prompt ?
Non, car Reword fonctionne de manière semblable à ChatGPT — il assemble des mots entre-eux selon leur probabilité d’être associés. L’innovation : Reword a intégré à son IA “un modèle de fact-check”. Le modèle compile des faits, tous sourcés, qu’il est ensuite possible d’intégrer à son article.
Démonstration : nous allons créer un nouvel article en renseignant à nouveau les mêmes informations 👇
Les suggestions faites par Reword quand on lui demande des faits
En ce sens, Reword est particulièrement utile car il intègre des fonctionnalités qui relèvent du moteur de recherche. Il est même capable d’extraire des informations de PDF 👇
Notre conclusion
La fonction enrichir ne permet pas vraiment de nous donner des informations fiables. Cependant, il est possible d’augmenter le degré de fiabilité du contenu généré en promptant manuellement l’IA. En utilisant le menu déroulant sur la droite, il est possible d’intégrer des faits, des citations et des chiffres. Ces informations sont déjà sourcées et sélectionnées selon des sources fiables, un peu sur le modèle d’un moteur de recherche.
Deuxième expérience : la forme
En plus du fond, de la fiabilité des informations générées par Reword, nous avons aussi voulu tester ses performances sur la forme, sur le style. Reword est-elle capable d’imiter le style d’un.e journaliste de presse écrite ?
Imiter le style d’un·e journaliste ?
Dans cet exemple, nous avons voulu savoir si Reword était capable de reproduire le style d’une célèbre journaliste : Florence Aubenas. Pour ce faire, nous avons saisi des articles écrits par cette journaliste dans la base de données qui permet d’entraîner l’IA. Nous avons reconstitué la base de données en rentrant 14 articles écrits par la journaliste. Avec cette expérience, l’IA, davantage nourrie d’articles de Florence Aubenas, sera-t-elle en mesure d’adopter un style d’écriture proche de celui de la journaliste ?
Ensuite, on crée un nouvel article en renseignant à nouveau les mêmes informations que dans notre première expérience.
Title : “Attentats du 13 novembre 2015 : les réactions internationales et actions de solidarité à l’étranger”
Objective : Écris sur les réactions internationales et des actions de solidarité à la suite des attentats terroristes de Paris en 2015. Le style doit être informatif étant donné qu’il s’agit d’un article d’actualité, mais écris selon le style des articles que j’ai entrés manuellement. Le public visé est le grand public.
Cette fois, on ne teste pas l’enrichissement automatique du texte puisque le but est d’insister sur le fait que Reword doit imiter le style de Florence Aubenas. Ainsi, en choisissant le prompt manuel, on peut être davantage précis sur ce que l’on attend de Reword. On place le curseur sous le sous-titre “Les réactions internationales immédiates” et on renseigne le prompt suivant :
Prompt : Écris cette partie de l’article au sujet des réactions internationales immédiates qui ont suivi les attentats du 13 novembre à Paris. Intègre des faits, des citations et des chiffres. Donne tes sources et n’invente rien. Les faits que tu écris doivent avoir réellement existé. Il est primordial que tu imites le style de Florence Aubenas qui est la journaliste ayant écrit les articles que je t’ai manuellement fournis.
Maintenant, on place le curseur sur le second intertitre : “Les hommages artistiques et culturels, de l’opéra et du street art”
Prompt : Écris cette partie de l’article au sujet des hommages artistiques et culturels de l’opéra et du street art qui ont suivi les attentats du 13 novembre à Paris. Intègre des faits, des citations et des chiffres. Donne tes sources et n’invente rien. Les faits que tu écris doivent avoir réellement existé. Il est primordial que tu imites le style de Florence Aubenas qui est la journaliste ayant écrit les articles que je t’ai manuellement fournis.
Résultat
Comme dans les articles de presse et conformément à la demande formulée, Reword a bien intégré des citations de dirigeants internationaux (Obama, Merkel, Cameron) et de responsables d’institutions culturelles (Peter Gelb, directeur du Metropolitan Opera). Il a aussi des exemples très spécifiques de démonstration de solidarité à travers l’art (Jimmy C et Edouardo Kobra).
Dans le premier paragraphe, l’IA a généré des expressions très informelles que l’on ne retrouve habituellement pas dans des articles de journaux. Avec son amorce “oh la la, mes chers lecteurs”, le journaliste exprime sa surprise et interpelle le lecteur comme s’il s’agissait de son journal intime. Malgré son caractère un peu maladroit, la formule de cette accroche peut être interprétée comme une tentative de l’IA d’introduire du style. Le style et le vocabulaire utilisé dans l’article restent aussi largement grandiloquents et emphatiques. En outre, les articles de Florence Aubenas sont davantage connus pour contenir de longues descriptions et de nombreux éléments de reportage que l’on ne retrouve pas ici.
Nos conclusions
💡 1️⃣ La fonction enrichir permet de générer du texte, mais les informations qu’il intègre ne sont pas vérifiées
💡 2️⃣ Il est possible de prompter Reword et de lui demander de ne rien inventer et de sourcer ses informations.
💡 3️⃣ Reword n’arrive pas à imiter le style d’un·e journaliste
💡 4️⃣ Il intègre les fonctionnalités d’un moteur de recherche : il va chercher sur le web des sources fiables pour soutenir les faits, chiffres, et citations qu’il intègre.
Découvrez nos autres expérimentations en #IA sur Medium :
… et sur notre publication https://medium.com/wedodata/
