« ChatGPT, c’est un outil de génération de textes, pas une base de connaissances »

Dans le cadre de la semaine de l’intégrité de l’information organisée pour les élèves ingénieurs en deuxième année à Centrale Méditerranée, Frédéric Béchet, Professeur des Universités en informatique à Aix-Marseille université, chercheur en Traitement Automatique du Langage et directeur du LIS CNRS (Laboratoire d'Informatique et Systèmes) a donné une conférence sur un thème d’actualité « ChatGPT Comment ça marche ? À quoi ça sert ? »

Pendant deux heures, Frédéric Béchet a replacé ce qu’il appelle « la plus grosse success story actuelle du web » dans son contexte historique. Si ChatGPT existe aujourd’hui, c’est grâce à l'ensemble des travaux scientifiques sur les modèles de langage statistique menés depuis de nombreuses années dont l'un des points de départ remonte à un premier modèle réalisé en 1913 sur la base d’un corpus de 20.000 lettres du roman "Eugène Ounéguine" d’Alexandre Pouchkine.

Le mathématicien russe Andrei Markov qui en est à l’origine voulait savoir si la modélisation de phénomènes à mémoire courte (les fameuses « chaînes de Markov ») permettait de prédire la succession des lettres. Dès lors la question de la prédiction du langage ne cessera plus d’être étudiée. Et pour cause, « Prédire le mot d’après c’est une tâche qui peut paraître toute bête, précise Frédéric Bechet, mais, si une machine le fait en s’appuyant sur un contexte très large, c’est aussi prédire le monde. »

 
Générer des hallucinations

Il faudra attendre le début des années 2000 et les premières applications grand-public de traduction automatique ou de transcription de parole pour que les avancées s’enchaînent en matière de modélisation du langage avec l’avènement des modèles prédictifs basés la représentation numérique des mots et l’encodage de contextes de plus en plus grands. En 2018, la vague de l' "apprentissage profond" (Deep Learning) basés sur les réseaux de neurones artificielles révolutionne le domaine avec la mise au point de modèles appelés "Transformer", dont le plus connu à l'époque est BERT et dont GPT est l'un des héritiers.

Depuis, « les progrès sont considérables et se mesurent presque en mois, voire en semaines », remarque le spécialiste. Ces évolutions ont abouti au « lancement de ChatGPT (pour Generative  Pre-trained Transformer) qui a bluffé toute la communauté scientifique en novembre dernier. »

Cette interface de communication qui a séduit en l’espace de quelques jours des millions d’utilisateurs génère des textes qui imitent autant que possible ce qu’un humain pourrait écrire. Mais attention, à ne pas perdre de vue la visée de cet outil. « Chat GPT, c’est un outil de génération de textes, pas une base de connaissances, a rappelé Frédéric Bechet à plusieurs reprises, ChatGPT peut générer des textes qui ont l’apparence de la vérité, mais qui sont truffés d'erreurs que l'on appelle des hallucinations » a-t-il encore mis en garde le public d’étudiants face à lui.
 

La responsabilité des utilisateurs

ChatGPT pose évidemment bon nombre de questions quant à son utilisation, à son développement, aux visées de l’entreprise OpenAI à qui elle appartient. La demande de moratoire notamment signée par Elon Musk le 29 mars pour ralentir le développement de ce type de projets en pose d’autres.

Face aux étudiants centraliens, Frédéric Bechet a également rappelé que si « ChatGPT peut aussi être vu comme un outil pour s’affranchir de certaines tâches, il est de la responsabilité de la personne qui demande à produire un texte de mener un travail de vérification de ce qui est écrit. »

Et de conclure après un échange de questions-réponses avec la salle « bonne chance pour appréhender ce monde nouveau avec ce type de modèles ! » Après la conférence Frédéric Béchet est revenu sur cette conclusion.  « Les étudiants prennent ces progrès technologiques en face. Beaucoup d’emplois vont être impactés. Les ingénieurs centraliens vont devoir vivre avec ces outils, mais aussi inventer les métiers de demain avec ça ».

« Je leur dis bonne chance, car les étudiants vont utiliser ChatGPT. Nous, enseignants, devons nous adapter au fait qu’ils vont rendre du texte, du code malaxé par ces outils-là. Les étudiants auraient tort de s’en priver. Plus personne ne remet en cause l’utilisation de la calculatrice. Les outils de traduction automatique marchent aussi très bien. Mais comment noter ces devoirs ? Les étudiants qui demandent à ces machines de leur trouver des solutions vont-ils remettre en question la solution apportée par la machine ? S’ils ne le font pas, que vont-ils apprendre ? »

Des questionnements passionnants qui ne sont pas près d’être tranchés.

Evolution de la qualité de génération d'image
Crédit photo : Midjourney