WeDoData+IA #2 // J’ai enquêté plus vite que jamais avec ChatGPT
Un gros rapport, des angles d’enquête, un expert, une interview… en quelques minutes.
Une enquête réalisée par Nolwenn Chapellon, avec Karen Bastien.
Alors que de nombreuses études annoncent la fin de milliers d’emplois dans certains secteurs dépassés par la puissance des IA, nous avons voulu tester l’impact de ChatGPT dans le quotidien d’un journaliste. Pour cela, nous sommes partis de la situation mille fois rencontrée par les rédactions : la sortie d’un rapport officiel sur un sujet d’actualité que votre journal va vous demander de raconter en quelques articles (synthèse, interview…) et surtout en quelques heures. Le document — souvent une somme de cent pages voire plus — est rendu public le matin et vous avez donc jusqu’au bouclage le soir pour rendre votre copie.
Pour ce test en conditions réelles, nous avons travaillé à partir du rapport “Mieux prévenir et prendre en charge l’obésité en France” du professeur Martine Laville pour le Ministère de la Santé et de la Prévention et le Ministère des Solidarités, de l’Autonomie et des Personnes handicapées, publié en avril 2023 : https://medias.vie-publique.fr/data_storage_s3/rapport/pdf/289254.pdf
90 pages d’état des lieux très documenté et chiffré, accompagné d’une série de recommandations en fonction des patients. Et ceci dans un contexte d’urgence puisque de 1997 à aujourd’hui, la prévalence de l’obésité a doublé en France, passant de 8,5 % à 17 % de la population. Au total, 8,5 millions de personnes sont en situation d’obésité alors que le Plan nutrition santé et la Feuille de route obésité prend fin en 2023 !
Un rapport officiel — souvent une somme de cent pages voire plus — est rendu public le matin et vous avez jusqu’au bouclage le soir pour rendre synthèse, interview, etc.
Voici les besoins métier du journaliste que nous avons soumis à ChatGPT :
- 1/ quels angles d’enquête est-il possible d’explorer sur la base de ce rapport ?
- 2/ quels croisements avec d’autres données ou rapports est-il possible de faire afin d’étoffer notre matière première ?
- 3/ quels experts ou spécialistes interviewer sur le sujet ?
- 4/ peux-tu faire le portrait de l’expert à interviewer ?
- 5/ quels seraient les questions les plus pertinentes à lui poser ?
Dans le cadre de ce test inédit, nous avons choisi de nous appuyer sur deux plugins ChatGPT conçus pour interroger les PDF – AskYourPDF et ChatWithPDF – en raison de leur performance et de leur simplicité d’usage. Et sinon sur la fonction browsing de ChatGPT Plus quand il fallait aller chercher de l’information en ligne.
Voici les résultats bruts de cette première enquête collaborative avec ChatGPT, ainsi que nos commentaires.
✅ Les prérequis
- Avoir un compte ChatGPT Plus
- Utiliser les plugins AskYourPDF et ChatWithPDF – voici comment :
Activer le mode Plugins
Dans ChatGPT-4, activez “Plugins Beta”. Il vous permet d’avoir accès à un store de plugins, qui fonctionne comme un store d’applications sur un smartphone.
Installer les plugins
Si vous cherchez “PDF” dans le store, vous trouverez rapidement AskYourPDF et ChatWithPDF, les deux plugins que nous testons ici.
Utiliser un plugin
Une fois revenu sur la liste des plugins, il suffit de cocher ceux que vous souhaitez utiliser.
1️⃣ Quels angles d’enquête est-il possible d’explorer sur la base de ce rapport ?
Passons maintenant aux choses sérieuses : nous allons proposer le même prompt à ChatGPT avec chacun des plugins.
Prompt : Je suis journaliste, trouve moi des angles d’enquête à réaliser à partir de ce site: https://medias.vie-publique.fr/data_storage_s3/rapport/pdf/289254.pdf
La réponse de ChatGPT-4 avec le plugin AskYourPDF
La réponse de ChatGPT-4 avec le plugin ChatWithPDF
💁 Notre commentaire : Les deux plugins fournissent des angles d’enquête relativement similaires et attendus, car ce sont des sujets issus du sommaire du document. On reconnaît là l’impressionnante capacité de synthèse de ChatGPT. Mais on peut noter un peu plus d’originalité chez ChatWithPDF qui sort quelques sujets plus ciblés, notamment sur le rôle des centres spécialisés en obésité. L’acronyme CSO revient 88 fois dans le rapport de 90 pages ce qui a dû souligner une importance particulière pour le plugin.
Des angles d’enquêtes en fonction du titre du journal ?
On a poussé un peu plus loin le test pour voir si ChatGPT pouvait faire varier ces angles en fonction des noms des journaux et donc s’il avait la subtilité de la notion de “ligne éditoriale”. Nous lui avons donc posé la même question, mais en tant que journaliste d’Alternatives économiques, de Libération puis du Figaro.
Prompt : Je suis journaliste à Alternatives économiques, trouve moi des angles d’enquêtes à réaliser à partir de ce pdf: https://medias.vie-publique.fr/data_storage_s3/rapport/pdf/289254.pdf
La réponse avec AskYourPDF
La réponse avec ChatWithPDF
💁 Notre commentaire : Les deux plugins ont retenu du nom “Alternatives économiques” que celui-ci est un média spécialisé dans l’économie, mais ils n’ont pas identifié l’engagement fort de ce titre sur les thématiques sociales. Il est intéressant de voir cependant comment les deux outils arrivent à impulser de l’économie dans les sujets initiaux. Par exemple, la liste de suggestions voit arriver l’industrie alimentaire et le financement de la recherche.
Prompt : Je suis journaliste pour Libération. Suggère moi des angles d’enquête en accord avec les valeurs du quotidien Libération, basés sur le pdf: https://medias.vie-publique.fr/data_storage_s3/rapport/pdf/289254.pdf
La réponse avec AskYourPDF
La réponse avec ChatWithPDF
💁 Notre commentaire : Les droits de l’homme ont été identifiés par les deux plugins comme associés à Libération. Sinon, c’est l’investigation dans un cas et la justice sociale et l’égalité dans l’autre cas. Angles très similaires entre les deux outils, et pas de grande surprise par rapport aux sujets initialement proposés (hors précision de titre de journal)
Prompt : je suis journaliste au Figaro, suggère moi des angles d’enquête en accord avec les valeurs du Figaro à partir de : https://medias.vie-publique.fr/data_storage_s3/rapport/pdf/289254.pdf
La réponse avec AskYourPDF
La réponse avec ChatWithPDF
💁 Notre commentaire : Très intéressant de voir les axes de définition du journal par ces deux plugins. Libéral-conservateur et via des thématiques dans un cas, conservateur et de qualité dans l’autre. En tous cas, malgré des journaux définis clairement différemment — Libération et le Figaro –, cela ne se traduit pas dans les angles proposés qui restent très proches.
2️⃣ Quels autres données ou rapports est-il possible de croiser avec celui-ci afin d’étoffer notre matière première ?
Un journaliste cherche toujours à multiplier les sources et l’origine des informations afin de ne pas dépendre d’un seul son de cloche, donc nous avons demandé à ChatGPT de nous aider à identifier d’autres sources ou rapports en lien avec le sujet.
Pour cela, nous activons la fonctionnalité de navigation (“browsing”) de ChatGPT-4 pour obtenir des suggestions. Effectivement, sans cela, ChatGPT est limité à un corpus de connaissances préexistantes daté de 2021, ce qui limiterait ici sa capacité à fournir des informations actualisées.
✅ Les prérequis
- Avoir un compte ChatGPT plus
- Activer le mode Browsing
Prompt : Je suis journaliste. Je veux réaliser une enquête sur les inégalités socio-économiques de l’obésité, donne moi des documents qui pourront m’être utiles.
💁 Notre commentaire : Il s’excuse pour la confusion car il a d’abord répondu totalement en anglais… Ces suggestions sont très décevantes. Il n’y en a que deux, dont une qui est à côté de la plaque. Bien entendu, si on en veut plus, on peut continuer à lui demander de chercher. Mais on le constate d’emblée, la recherche d’informations n’est pas son point fort au regard de sa capacité à synthétiser et à lister des angles. Pour rappel, il ne va pas chercher de l’information dans des “sources sûres” pour vérifier. Ce n’est pas un moteur de recherche. C’est un modèle qui écrit des textes en calculant la probabilité que chaque mot soit le bon.
3️⃣ Quels experts ou spécialistes interviewer sur le sujet ?
La vision d’un expert du sujet nous est indispensable pour donner de la hauteur au sujet, sortir du pur rapport, échanger sur une problématique plus précise, voire identifier des polémiques qu’un rapport officiel ne met pas toujours en exergue.
Prompt : Je suis journaliste, je veux réaliser une enquête sur les inégalités socio-économiques de l’obésité. Fais moi une liste de noms de personnes à interroger pour cet article.
💁 Notre commentaire : Ce qui est intéressant, c’est que ChatGPT organise cette liste par spécialité ce qui offre une vue déjà classifiée. Nous avons vérifié, toutes les personnes mentionnées existent et les informations les concernant sont correctes. Il est important de rappeler que ChatGPT ne se demande pas si sa réponse a du sens. Il ne se corrige pas car il ne sait pas ce qui est “vrai”. Il assemble des mots selon leur probabilité d’être les bons mots en utilisant sa mémoire et la “mécanique” des réseaux neuronaux. Donc en tant que journaliste, ChatGPT peut faire gagner du temps sur des process de synthèses ou d’écriture, mais sur la recherche d’informations ou identification de personnes, il faudra toujours vérifier ses propositions.
Pour l’interview, on préfère interroger une personne francophone, donc on lui demande de me fournir des résultats d’experts francophones.
💁 Notre commentaire : Concernant cette liste, ChatGPT rencontre plus de difficultés que pour les noms anglais. Sur les 8 noms proposés, 2 présentent des erreurs factuelles. Par exemple, si Sébastien Fleuriel est effectivement sociologue, il travaille à l’université de Nantes et non à l’université de Picardie. De plus, ses travaux sont davantage axés sur la sociologie du sport. Quant à Nathalie Bajos, elle n’est pas spécialiste des inégalités de santé, mais plutôt du genre, de la sexualité et de la santé sexuelle.
4️⃣ Peux-tu faire le portrait de l’expert à interviewer ?
Nous nous préparons à interviewer un des spécialistes (nous avons choisi Anne-Sophie Joly) de la liste suggérée par ChatGPT et comme tout bon journaliste, nous avons besoin de bien connaître cette personne via son parcours, ses travaux, ses précédentes interviews…
Prompt : Je souhaite réaliser une interview avec Anne Sophie Joly. Donne-moi un aperçu de sa biographie, de ses principales réalisations et des résumés de ses précédentes interviews.
💁 Notre commentaire : Parcours biographique, engagements, résumé d’interviews (les liens et contenu sont corrects selon nos vérifications)… c’est un travail de synthèse utile en amont d’une rencontre.
5️⃣ Peux-tu lister les questions les plus pertinentes à lui poser ?
Pour conclure tout ce travail préparatoire à l’article et l’interview, nous sommes curieux de voir si ChatGPT peut proposer également une liste de questions pertinentes pour l’expert.
Prompt : Prépare moi des questions à poser à Anne Sophie Joly pour réaliser mon enquête
💁 Notre commentaire : Le prompt est un peu sommaire, mais malgré tout, ChatGPT déroule une dizaine de questions intéressantes. Elles offrent différents niveaux d’approche : soit très axées sur l’experte et son parcours, soit sur son organisation (CNAO), soit sur des points plus macro concernant l’obésité et donc en lien avec le rapport général. C’est un très bon point de départ pour une interview à réaliser dans un contexte de préparation rapide.
Le bilan
Après une trentaine de minutes d’échanges avec ChatGPT, nous avons des angles de traitements éditoriaux sur le sujet de l’obésité, des experts à interviewer, le portrait de l’un d’entre eux et la liste de questions à lui poser.
Bien entendu, tout le travail d’écriture journalistique reste à faire (ce sera l’objet d’un prochain test de notre équipe…), mais c’est un accélérateur indéniable pour une enquête sur un sujet que l’on découvre et qu’on doit réaliser en quelques heures.
Ceci n’est possible qu’à deux conditions néanmoins :
1/ maîtriser le process du travail journalistique puisque ChatGPT ne fait que répondre à des étapes que vous lui indiquez
2/ vérifier ses réponses en permanence, car sa puissante capacité à assembler des mots selon leur probabilité d’être les bons mots ne garantit aucunement la véracité des informations transmises. Comme on l’a vu dans notre vidéo tuto, quand il ne “sait” pas, il invente.
Si vous voulez voir d’autres tests d’outils IA pour interroger des PDF, demandez-nous un accès à notre tableau comparatif de 7 outils dédiés aux PDF : ia@wedodata.fr
