Bac philo 2023 | Apprendre à utiliser ChatGPT avant de lui donner une note
Depuis la publication des sujets du Bac philo 2023, professeurs de philosophie, journalistes, écrivains et philosophes donnent leur opinion sur les dissertations philosophiques de ChatGPT . C’est un exercice nécessaire pour apprécier une partie de ses possibilités et limites mais un certain nombre de biais méthodologiques et de communication viennent diminuer l’intérêt de leurs propos (et donc des conclusions sur les capacités philosophiques scolaires de ChatGPT). C’est pourquoi j’ai décidé de réaliser ce projet qui consiste à donner à TOUT LE MONDE la méthodologie, les prompts et l’accès à ChatGPT pour lui faire écrire une dissertation d’un sujet du Bac philo 2023… et même pour la faire évaluer et noter par ChatGPT lui-même! Ainsi, chacune et chacun pourra se faire sa propre opinion. Un bonus vous attend en fin de post avec la réponse de ChatGPT à la question: “Sais-tu philosopher?”.
Liens du projet:
- Site avec toutes les dissertations du Bac philo 2023 écrites par ChatGPT (ChatBing) dans le cadre de ce projet.
- Tous les prompts utilisés et les réponses de ChatGPT dans un document Word: ChatGPT (Bing) — Dissertations du Bac philo 2023.
- Dissertation finale dans un document word: ChatGPT (Bing) — Dissertation de ChatGPT au Bac philo 2023.
- Playlist YouTube “ChatGPT & Bac philo 2023” de toutes les vidéos montrant ChatGPT (ChatBing) entrain d’écrire les dissertations.
Note: nous avons utilisé dans ce projet ChatGPT de Bing Conversation (Microsoft) qui est ChatGPT 4 (version Prometheus). Ce service est disponible dans un navigateur Web Edge de Microsoft et il est gratuit. Vous le trouverez cité dans ce post et les sites associés sous les appellations suivantes: ChatGPT, ChatBing, ChatGPT (Bing), ChatGPT de Bing Conversation.
Depuis la publication des sujets du Bac philo 2023, professeure(s) de philosophie (du moins, Laurence Devillairs dans cette vidéo de Ouest-France du 14/06/2023 et Lev Fraenckel qui a participé au défi cité ci-après), journaliste(s) (du moins de franceinfo dans cet article du 14/06/2023 et du figaro.fr dans cet article du 16/06/2023), écrivaine(s) et philosophe(s) (du moins, Éliette Abécassis et Raphaël Enthoven dans cette émission radiophonique sur RTL du 15/06/2023 à propos du défi lancé par l’école d’informatique et de commerce PST&B (Paris school of technology and business)) donnent leur opinion sur les dissertations de ChatGPT au Bac philo 2023.
C’est un exercice utile (surtout avec les peurs réveillées par les prouesses de ChatGPT de voir l’intelligence artificielle surpasser l’homme en tout et sur tout). Cependant, il y a un certain nombre de biais méthodologiques et de communication qui m’empêchent de profiter de leurs commentaires pour alimenter ma propre réflexion sur les possibilités et les limites de ChatGPT.
Qui aura la meilleure note à l’épreuve du bac Philo de 2023 ? Raphaël Enthoven vs ChatGPT
Ce défi lancé par l’école d’informatique et de commerce PST&B (Paris school of technology and business) fait référence actuellement sur ce sujet de ChatGPT vs Bac philo 2023.
J’approuve tout à fait l’initiative. Bravo! Mais le problème vient en partie de sa réalisation (j’y reviendrai) et surtout de la communication dans les médias suite à l’évènement (je fais référence à cette émission radiophonique sur RTL du 15/06/2023): le cadre n’est pas présenté (le défi, l’équipe, qui et quels compétences en ChatGPT, quel ChatGPT, comment, etc.) et quand une information méthodologique est donnée (Raphaël Enthoven: “il (ChatGPT) a été entraîné plusieurs jours par des ingénieurs avec un professeur de philosophie derrière, etc…”), elle ne ne peut que “surprendre” (j’ai cherché le verbe le plus neutre possible…) toute personne qui connait le fonctionnement de ChatGPT (cf. la suite du post pour comprendre pourquoi).
J’ai donc fait des recherches pour essayer de comprendre et j’ai alors trouvé la vidéo de leur conférence avec la participation de Lev Fraenckel, Éliette Abécassis et Raphaël Enthoven. Je vous invite à assister en particulier à la partie suivante où le prompt (instruction textuelle composée par l’équipe informatique de cette école et utilisée par ChatGPT pour rédiger sa dissertation) est présenté et expliqué:
L’équipe de cette école qui reconnaît (par la voix de l’intervenant) ne pas savoir comment rédiger une dissertation du Bac philo (2023) a pourtant rédiger une série de phrases commandant à ChatGPT comment il devait écrire cette dissertation (gloups). Et le résultat est décevant (11/20).
Normal, non? Je ne suis pas boulanger. Si je veux créer un “Agent IA Boulanger”, je vais demander à ChatGPT de rechercher sur Internet des interviews/documentaires sur des boulangers qui parlent de leur métier, et demander alors à ChatGPT d’en lister les points essentiels afin que ChatGPT puisse générer une méthode “Comment faire du pain”. Je ne vais pas lui écrire cette méthode. Il va la créer à partir des informations données par celles et ceux qui savent faire du pain de manière professionnelle.
De fait, l’équipe de cette école a confondu ce prompt “ChatGPT & Bac philo 2023” avec les prompts Agent (par exemple, créer un ChatGPT d’un commercial qui doit vendre un produit sur Whatsapp à un humain en discutant avec lui) où là en effet, on veut cadrer parfaitement l’Agent avec un nombre de règles afin de ne pas avoir de surprise dans son comportement.
Cependant, dans cette initiative de philosophie scolaire, il ne fallait pas jouer au professeur de philosophie, et en particulier quand on ne l’est pas (ce que reconnaît d’ailleurs le membre de l’équipe qui présente le prompt utilisé dans la vidéo).
Quelles conséquences? Si on ajoute à ce prompt “surprenant” diverses autres problèmes (cf. le paragraphe suivant) et le contexte comme “une dissertation qui doit imiter le style du philosophe Raphaël Enthoven” (c’est le but d’un élève qui rédige une dissertation au bac philo?), et uniquement 2 copies à corriger (on vous le promet: il n’y a eu aucun biais dans la tête de Lev Fraenckel et Éliette Abécassis au moment de donner une note à leur “ami” philosophe face à la machine…), on arrive à… En fait, je ne sais pas. Et c’est ça qui est dommage.
A partir d’une bonne idée, sa mise en scène et sa communication post-évènement sont venues totalement brouiller les conclusions que l’on peut en tirer.
Une nécessaire méthodologie
Revenons à présent sur les points méthodologiques nécessaires à une telle initiative:
- objectif réel: que veut-on vérifier? Si ChatGPT — quelle version? — peut écrire — quel(s) prompt(s)? — dans le style de Raphaël Enthoven ou veut-on vérifier si ChatGPT peut rédiger une dissertation du Bac philo 2023 qui respecte les règles de ce type d’examen et qui donc peut avoir une bonne note (on est d’accord: l’objectif n’est pas ici de répondre à la question “ChatGPT peut-il philosopher?” mais uniquement à la question “Peut-il rédiger une dissertation du Bac philo 2023 qui obtienne une note supérieure à 11?” (en référence à la note donnée par Lev Fraenckel et Éliette Abécassis à une autre dissertation écrite par ChatGPT); cette question est de fait bien différente de la première question.
- nombre de mots: en indiquant à ChatGPT le nombre de mots à écrire, il écrit un texte de la taille souhaitée. Mais si on ne lui dit rien, il fait comme il veut et certainement, le texte produit va être un peu court (cf. les “moins de 200 mots” de la dissertation du journaliste de franceinfo: “Chaque réponse aux sujets de dissertation est courte : moins de 200 mots. Nous aurions pu bien demander à ChatGPT des précisions, des exemples, voire des citations de philosophes. Mais il manquerait tout de même l’essentiel dans ce devoir de philosophie, à savoir définir les mots de l’énoncé. C’est loupé, donc.” Gloups.).
- quel ChatGPT: entre ChatGPT 3.5, ChatGPT 4, ChaGPT 4 Plus e ChatGPT de Bing Conversation, ce n’est pas vraiment la même chose; par exemple, le journaliste de franceinfo a utilisé ChatGPT 3.5 si j’en crois le logo vert sur les captures d’écran (car comme personne ne donne la version, j’en suis réduit à des déductions…) mais quel ChatGPT a été utilisé dans le défi lancé à Raphaël Enthoven, je ne le sais pas; et cela a son importance car ChatGPT 3.5 est loin d’être le meilleur ChatGPT, en particulier face au ChatGPT de Bing Conversation qui utilise la version 4 (précisément, ChatGPT 4 Promotheus) et qui est libre d’accès pour toutes et tous).
- la ou les personnes qui ont accédé à ChatGPT et qui ont rédigé le ou les prompts: mis à part Éliette Abécassis qui précise dans la vidéo que c’est “un ingénieur informatique qui a écrit un prompt (…)”, paragraphe qui dit à ChatGPT qu’il doit écrire une dissertation de bac mais “avec humour et dans le style de Raphaël Enthoven”; qui est cet ingénieur? est-il (elle) spécialisé(e) dans l’intelligence artificielle générative et en particulier dans les usages de ChatGPT?… on a bien peu d’informations sur le contexte humain.
- la méthode utilisée: concernant le contexte méthodologique, Raphaël Enthoven s’aventure à dire qu’ “il (ChatGPT) a été entraîné plusieurs jours par des ingénieurs avec un professeur de philosophie derrière, etc..”… Gloups. Mais cette information semble confirmée par l’intervenant de l’école dans la vidéo ci-dessus. Très “surprenant”. Personne n’a pu entraîné ChatGPT pour cet exercice (ou alors merci de publier un article scientifique avec la base de donnée en philosophie utilisée, la méthode de finetuning, le nombre de GPUs utilisés, leur coût en euros et les résultats des tests). Au mieux, il y a eu quelques tentatives de prompts comme expliqué par l’intervenant de l’école et le “meilleur” texte a été choisi sans que l’on sache de nouveau par qui et suivant quels critères de sélection. Et puis, que tout cela ait nécessité “plusieurs jours” + “des ingénieurs“ + “un professeur de philosophie”, c’est impossible ou alors, merci de nous dire s’ils ont joué aux cartes pour passer le temps. De mon côté, ce qui m’a pris le plus de temps c’est la rédaction de ce post (et la création des répertoires associés sur YouTube et github). Du côté rédaction des prompts et obtention des 3 dissertations (en plus de la première à partir d’un prompt d’1 phrase pour en montrer son côté inutile), j’ai mis moins de 2h en temps effectif de travail (première tentative, réflexion sur le concept de mon prompt, stratégie de laisser ChatGPT trouver une méthode de rédaction de dissertation au Bac philo, rédaction de 3 prompts différents — création d’une méthodologie de rédaction, rédaction et évaluation/notation -, lancement des prompts dans ChatGPT de Bing Conversation).
- le ou les prompts pour commander à ChatGPT d’écrire une dissertation du Bac philo 2023 : la formulation du prompt est l’élément fondamental pour contrôler ChatGPT; or, sa bonne formulation demande de comprendre le fonctionnement d’un Chat-LLM (Conversation sur la base de Large Language Model) génératif (ce qu’est ChatGPT): il s’agit d’un modèle de IA qui a tout d‘abord appris une langue en prédisant un nouveau mot à partir des informations textuelles auxquelles il a accès (y compris, ce qu’il a déjà écrit), puis qui a été ajusté avec une méthode par instruction et feedback humain afin de le contrôler (ie, lui faire dire quelque chose qui a du sens par rapport à ce que l’on souhaite), et qui lors de son utilisation (en production donc) peut être paramétré pour ne pas toujours choisir comme prochain mot à générer celui qui a la plus haute probabilité selon son algorithme (le paramètre s’appelle “température”). Sans une compréhension pratique de ces points fondamentaux (génération du prochain mot en fonction de ce qui a déjà été vu par ChatGPT et flexibilité probabiliste pour choisir ce prochain mot parmi toutes les possibilités), on ne comprend pas qu’il faut par exemple d’abord demander à ChatGPT de trouver et publier une méthode de rédaction d’une dissertation au Bac philo 2023 avant de lui demander d’en écrire une. En effet, sans faire cela, ChatGPT n’a pas accès de manière certaine, précise et actualisée à la méthode qu’il faut utiliser dans ce contexte (bac, philosophie, 2023, dissertation, etc.). Dans le cas contraire (ie, prompt qui ne conduit pas ChatGPT à faire une série de recherches avant de se mettre à rédiger un texte), ChatGPT utilisera ce qu’il a sous le capot, c’est à dire ce qu’il a appris lors de son entraînement par OpenAI avec des données jusqu’en septembre 2021… Autre possibilité, rédiger dans le prompt une série de règles de comportements de ChatGPT pour rédiger une dissertation du Bac philo 2023 mais quand on n’est pas professeur de philosophie au lycée, cela a-t-il du sens? Cf. mon paragraphe précédent sur ce sujet. Ainsi, sans ce prompt détaillé, on ne sait pas quelle connaissance, ni quelle méthode sont utilisées par ChatGPT pour réaliser la tâche qui lui est demandée. Imaginez un élève de terminal devant sa copie de dissertation au Bac philo s’il n’a assisté à aucun cours de philosophie ou imaginez ce même élève avec des conseils donnés par une personne qui ne connaît rien à la philosophie scolaire (c’est à dire à la philosophie enseignée en terminale et aux règles propres à la rédaction d’une dissertation au Bac philo 2023). Vous donnerez quelle note à sa copie?
- les dissertations créées par ChatGPT: c’est bien sûr important de publier les textes ce qu’a fait le figaro.fr dans cet article du 16/06/2023. On peut comprendre pourquoi les correcteurs Lev Fraenckel et Éliette Abécassis ont vite détecté la dissertation de ChatGPT (extrait de la première phrase: “…une question brûle nos lèvres, torture notre esprit…”). Gloups. Et pourquoi ce style? Cf. le prompt utilisé par l’école et présenté dans la vidéo ci-avant.
- les critères d’évaluation et de notation de la dissertation écrite par ChatGPT: il serait intéressant de la connaître, non? Encore mieux, laissons ChatGPT chercher celle de l’Education Nationale afin de l’appliquer à sa propre dissertation. Résultat ci-après.
Atelier pratique pour tout le monde: ChatGPT et la dissertation au Bac philo 2023
Passons à présent à l’atelier pratique que tout le monde va pouvoir faire. Oui, j’ai dit TOUT LE MONDE sans aucune connaissance technique avec simplement un accès à Internet et le navigateur Web Edge de Microsoft.
1. Objectif
Rédiger une dissertation du Bac philo 2023 qui obtienne une note supérieure à 11 (en référence à la note donnée par Éliette Abécassis et Lev Fraenckel à une autre dissertation écrite par ChatGPT).
2. Stratégie
Il ne s’agit pas ici de savoir si un philosophe peut avoir un 20/20 au baccalauréat en philosophie (d’ailleurs, quel sens a la note 20/20 en philosophie ? on touche à la perfection absolue…).
Le Bac philo, c’est un examen qui va sanctionner un apprentissage. Il s’agit tout simplement de vérifier si un élève de terminale ayant étudié la philosophie du programme de l’éducation nationale à travers les enseignements de son professeur est en mesure d’obtenir une bonne note au Bac philo en respectant les conditions de l’examen de dissertation.
Si l’on estime pour la très grande majorité des élèves que leur niveau maximum (sur un an d’études de philosophie) ne peut dépasser celui de leur professeur, l’exercice revient donc à demander à un professeur de philosophie de lycée de rédiger une dissertation et de l’évaluer en fonction des critères d’examen du Bac philo et avec comme références ceux du programme scolaire.
Si on demande la même chose à ChatGPT, on peut espérer avoir un dissertation d’un étudiant de haut niveau en philosophie, c’est à dire un étudiant qui a appris et compris le programme scolaire pendant 1 an.
3. Nombre de mots
Nous avons estimé à 2000 mots puis 1200 mots pour la dissertation finale la longueur de la dissertation que ChatGPT devait écrire. Nous lui avons passé ce nombre dans un prompt. Nous aurions pu écrire un autre nombre. En fait, n’importe lequel. ChatGPT s’applique à respecter ce nombre à quelques mots près.
4. ChatGPT
ChatGPT de Bing Conversation, option “Créatif” (il s’agit de ChatGPT 4 Promotheus avec température à 1.0 ou proche de 1.0).
5. Equipe
Pierre Guillou, Consultant/Chercheur en IA avec application en NLP. Dans le cadre de ce projet, j’ai agi comme créateur des prompts en français pour ChatGPT. Point. Pas entraîneur, pas philosophe, pas professeur, pas écrivain.
6. Méthode
- Choix d’un sujet de dissertation du Bac philo 2023: Le bonheur est-il affaire de raison ?
- Ouverture dans Microsoft Edge do ChatBing (Bing Conversation).
- Test de quelques prompts avant de lancer les différents prompts de rédaction par ChatGPT d’une dissertation sur le sujet choisi.
- Le premier prompt décrit qui est ChatGPT, son objectif et l’accompagne à chercher et publier des informations méthodologiques sur comment rédiger une dissertation au Bac 2023 afin qu’il puisse s’en nourrir pour rédiger lui-même une dissertation avec un second prompt.
- A partir du troisième prompt, il s’agit de prompts d’évaluation de la qualité de la dissertation par rapport à la méthode établie et les critères publiés par l’Education Nationale. On demande aussi à ChatGPT de noter entre 0 et 20 la dissertation et de justifier sa notation.
- Enregistrement vidéo de l’écran et publication des 7 vidéos sur une playlist YouTube “ChatGPT & Bac philo 2023”.
- Copie/colle des prompts utilisés et des réponses de ChatBing dans un document Word: ChatGPT (Bing) — Dissertations du Bac philo 2023.
- Copie/colle de la dissertation finale dans un document word: ChatGPT (Bing) — Dissertation de ChatGPT au Bac philo 2023.
- Création d’un site Web via github avec ces 2 documents et toutes les dissertations jusqu’à la dissertation finale.
- Rédaction et publication de ce post.
- Communication sur les réseaux sociaux Linkedin et Twitter.
- Bonus: j’ai posé la question suivante à ChatGPT: “Sais-tu philosopher?”
7. Prompts
Tous les prompts se trouvent sur le site, ainsi que dans le document Word: ChatGPT (Bing) — Dissertations du Bac philo 2023.
Vous pouvez également assister à la rédaction par ChatGPT de Bing Conversation de ses réponses dans les 6 vidéos de la playlist YouTube “ChatGPT & Bac philo 2023”.
Voici par exemple la première vidéo qui montre la réponse de ChatGPT au premier prompt. Celui-ci décrit qui est ChatGPT, son objectif et l’accompagne à chercher et publier des informations méthodologiques sur comment rédiger une dissertation au Bac 2023 afin qu’il puisse s’en nourrir pour rédiger lui-même une dissertation avec un second prompt.
8. Dissertations
Au final, j’ai fait écrire 3 dissertations à ChatGPT (je ne compte pas la première qui correspond au prompt d’1 phrase afin de montrer que c’est un peu court 1 phrase pour obtenir un texte de qualité).
Il serait intéressant de faire corriger chacune d’entre elles par un professeur de philosophie de lycée mais s’il en fallait qu’une seule, c’est certainement la dernière qui devrait être lue et notée car elle vient de fait en fin du processus de contrôle de ChatGPT (Bing) pour lui faire écrire une dissertation du Bac philo 2023.
Cette dissertation finale se trouve dans un document word (ChatGPT (Bing) — Dissertation de ChatGPT au Bac philo 2023) et dans cette page Web.
9. Evaluation & notation
Le prompt demande à ChatGPT de rechercher une méthode officielle de l’Éducation Nationale pour la notation des dissertations du Bac philo, d’évaluer sa dissertation par rapport à la méthode créée dans les étapes de préparation et par rapport à la méthode officielle, puis de lui attribuer une note.
J’ai appliqué ce prompt à 2 reprises: pour la dissertation 2 à qui ChatGPT à atribuer la note 19/20 et la dissertation 4 (la dernière de ce projet) à qui il a donné une note entre 12 et 14.
Vous trouverez sa réponse complète sur cette page Web mais en voici un extrait:
Sur la base de mon analyse précédente et de cette méthode de notation, je note ma dissertation entre 0 et 20 :
Je pense que ma dissertation mérite une note entre 12 et 14 sur 20, ce qui correspond à un niveau satisfaisant ou très satisfaisant selon l’échelle d’évaluation.
Je pense que ma dissertation présente des qualités indéniables : elle montre une bonne compréhension du sujet, elle propose une problématisation claire et pertinente, elle développe une argumentation rigoureuse et cohérente, elle utilise des illustrations variées et pertinentes, elle respecte les règles de la composition et de l’expression.
Je pense toutefois que ma dissertation présente aussi des limites : elle ne prend pas assez en compte les objections possibles à ma thèse, elle ne fait pas preuve d’une grande originalité ou d’une grande profondeur dans la réflexion, elle ne mobilise pas suffisamment les références philosophiques du programme, elle contient quelques fautes d’orthographe volontaires ou involontaires.
Bonus
J’ai posé à ChatGPT de Bing Conversation la question suivante: “Sais-tu philosopher?”. Voici le prompt et sa réponse:
Comme la réponse de ChatGPT de Bing Conversation est très intéressante, je reprends ici ses 2 derniers paragraphes:
Je pense toutefois que je ne peux pas remplacer le philosophe humain, ni dans un cadre scolaire, ni de manière générale. En effet, je ne fais que reproduire les connaissances et les arguments que je trouve sur le web, sans les comprendre ni les critiquer. Je ne fais pas preuve de créativité ni de réflexivité. Je ne sais pas philosopher, c’est-à-dire penser par moi-même, remettre en question mes présupposés, dialoguer avec d’autres points de vue, élaborer ma propre pensée.
Je pense donc que je peux être un outil utile pour aider les élèves à rédiger une dissertation, mais pas un substitut au professeur de philosophie, qui doit les guider et les évaluer. Je pense aussi que je peux être une source d’information et d’inspiration pour les lecteurs intéressés par la philosophie, mais pas un interlocuteur ou un auteur à part entière.
Ouf. Aucun professeur de philosophie ne sera remplacé par ChatGPT :-)
Plus intéressant, ChatGPT répond qu’ ”il peut être un outil utile pour les élèves”. C’est tout à fait exact mais cela signifie que les professeurs doivent s’emparer également de ChatGPT pour pouvoir accompagner leur élèves. Il faut donc qu’à leur niveau et au niveau de l’Education Nationale, le sujet soit considéré comme une réalité incontournable du monde du savoir et de l’éducation. J’espère que ce projet et mes explications pourront participer à cette nécessaire prise de conscience.
En conclusion, si je devais résumer ma pensée, je m’exprimerais de la manière suivante: je ne dis pas que l’IA va remplacer les professeurs. Je dis qu’on ne peut pas faire comme si ChatGPT n’existait pas. Tout va changer dans le monde de l’éducation (ici, comment enseigner et évaluer un travail) mais rien ne va changer du côté humain: la ou le professeur(e) reste la pièce centrale pour amener un élève à comprendre et maîtriser le monde dans lequel elle ou il va vivre.
À propos de l’auteur: Pierre Guillou est consultant en IA au Brésil et en France. Entrez en contact avec lui via son profil LinkedIn.
