Analyser les interactions des étudiants avec l’IA en FLE : discussions, comportement, prompts et autonomie.

On peut observer la progression des étudiants à travers l’évolution de leurs prompts

L’IA est présente sous de nombreuses formes dans nos cours de FLE, tant du coté de la préparation des cours par les enseignants, que du coté des apprenants qui vont l’utiliser dans leurs différentes stratégies d’apprentissage, personnalisées à différents degrés.

L’IA est intégrée progressivement dans les cours de FLE, au sein des dispositifs d’hybridation, dans les dispositifs de type classe inversée, ainsi que dans les parcours en autonomie relative ou complète.

Dans ce blog, nous avons détaillé plusieurs expériences de création de différents d’agents IA dans le contexte spécifique du FLE.
Par exemple, les GPT d’accompagnement aux cours de FLE, ceux de préparation aux diplômes et certificats type DELF, TCF, les GPT pour les tests de positionnement, etc…

Nous analysons aussi comment décliner les termes de paramétrages de nos agents sur d’autres outils.
En effet, conçus sur ChatGPT, ces GPT peuvent ensuite être reproduits sur d’autres IA d’autres origines, tels Mistral, NotebookLM, Edubot… et nous l’espérons bientôt sur des outils universitaires sécurisés et libres d’utilisation.

L’idée est de trouver le paramétrage le plus efficace selon le contexte d’apprentissage.
Nous allons vous exposer, en une série d’article, l’état de nos expérimentations dans ce domaine.

Pour aller plus loin, nous allons nous intéresser à l’analyse des discussions des apprenants avec les différentes interfaces IA, comme nous avons pu le faire dans le passé dans le contexte des cours en ligne, et des applis de discussion monitorées (Wechat, Whatsapp, discussions dans Zoom, etc…).

Pour cela, il y a différentes manière de procéder, tout d’abord, il est possible d’analyser les discussions d’un apprenant avec un agent IA, par exemple, notre GPT tuteur de français

Voir la liste de nos agents listés dans cet article

Dans cette démarche, nous allons tout d’abord analyser les comportements des étudiants à travers l’étude de leurs « comportements de prompts » . C’est à dire que nous allons analyser quels sont les prompts qui ont été utilisés par les étudiants dans leur démarche d’utilisation de l’IA, en contexte d’apprentissage du FLE.

Ces prompts sont à la fois des commandes, mais aussi des discussions, par exemple lorsque l’agent bascule d’une réponse simple à une question, continuant vers un dialogue, dialogue qu’il va instaurer dans le cadre d’un exercice, d’un quiz, ou d’une remédiation.

Ces interactions peuvent être donc de différentes natures, qu’il va convenir de qualifier et d’analyser.

Plus simplement: nous avons accès aux requêtes tapées par les étudiants, aux modifications, aux fréquences des questions, aux reformulations, à leur temporalité, et cela donne beaucoup d’informations sur la gestion personnelle de leur apprentissage (en autoapprentissage).

Dans le cadre du FLE, il y a également l’élément spécifique du passage d’une langue à l’autre dans le texte du prompt et de l’interaction en général (soit le français, à différents niveaux de maitrise, soit la langue usuelle d’usage de ChatGPT par l’apprenant).

Toutes ces données, ainsi que les indications de temps qu’elles permettent, fournissent des informations très intéressantes sur les stratégies d’autoformation déployées par les étudiants dans ce contexte. 

On peut analyser ainsi la progression de leur apprentissage à travers l’évolution de leurs interactions, prompts, et discussions.

1. Un peu de méthode…

Pour analyser les interactions des apprenants, différentes démarches sont possibles. Tout d’abord, analyser les interactions depuis leurs comptes personnels, selon l’IA utilisée.
En fonction de ces interactions: type de prompts, type de discussions, types de questions posées, etc.. il va être nécessaire de créer des catégories d’interactions, et dans un premier temps de voir si le paramétrage de l’agent IA « fonctionne » en fonction de l’objectif pédagogique proposé (est-il efficace?).
Suivant l’objectif recherché, et en observant les interactions de l’agent avec l’apprenant, arrivons-nous au but escompté dans la séquence? à quel rythme? avec quelle qualité?
Comment modifier le paramétrage de l’agent IA pour qu’il tienne compte de ces comportements des apprenants? L’IA peut-elle modifier d’elle-même sont paramétrage, ou pouvons nous le guider afin qu’il soit plus efficace?

En dehors du cadre théorique de la recherche, et de la qualification scientifique de ce type d’analyse, l’observation de l’historique des chats dans un salon de discussion est une pratique pédagogique qui existe depuis plusieurs décennies. La nouveauté est qu’ici elle est automatisée et passe par l’intelligence artificielle.

2. Des outils simples…

Dans un premier temps, l’idée est d’analyser en parallèle le comportement des apprenants dans une interaction de type discussion en ligne, classique, en « clavardage », avec des « humains », et en parallèle d’analyser le même type d’interaction, mais cette fois le dialogue a lieu avec une IA.
La synthèse de ces comportements permet d’analyser de près les enjeux de ces types de systèmes pédagogiques.
Mais comment faire au plus pratique?
Idéalement, il faudrait un outil intégrant: des apprenants, des enseignants (admins) et l’IA. Trois parties interagissantes, et où l’enseignant, par son rôle d’admin, aurait accès aux historiques de conversation.
Quel outil pratique pourrait permettre cela?

Nous avons décidé de tester plusieurs solutions.

Pour commencer, EDUBOT, dont voici la vidéo de présentation:

Edubot est un outil proposant de créer des espaces de classe, centrés autour de l’usage de l’IA et d’outils spécifiques définis par le professeur.

Il est similaire au GPT de ChatGPT, mais avec une sécurité renforcée, et, dans le cas particulier qui nous intéresse, un accès direct à l’historique des interactions de chaque étudiant avec l’agent IA de la classe.
Le professeur (ou l’admin) peut ainsi observer directement tout ce qu’il s’est passé, analyser l’évolution des interactions, et le comportement de l’élève.

Afin d’en savoir plus, nous avons tout simplement posé au Chatbot d’Edubot la question suivante:

Bonjour Edubot, quelle est la différence entre Edubot et un GPT de ChatGPT ?

Voici la réponse:

Bonjour ! C’est une excellente question. EduBot et un GPT de ChatGPT sont tous deux des outils basés sur l’intelligence artificielle, mais ils présentent des différences notables en termes de fonctionnalités et d’utilisation.

EduBot est spécifiquement conçu pour l’éducation. Il permet aux enseignants de créer des chatbots personnalisés à partir de leurs propres ressources (documents, cours, etc.). Ces chatbots peuvent ensuite être utilisés par les élèves pour obtenir des réponses, s’exercer et approfondir leurs connaissances sur des sujets précis. L’un des points forts d’EduBot est la capacité de lier les réponses aux sources, ce qui permet aux élèves de vérifier l’information et de comprendre d’où elle provient. De plus, EduBot offre des fonctionnalités dédiées aux enseignants, comme le suivi de la progression des élèves et la création de comptes élèves.

Un GPT de ChatGPT, en revanche, est un modèle de langage plus généraliste. Il peut être entraîné sur une grande variété de données et est capable de générer du texte, de répondre à des questions, de traduire des langues, etc. Les GPT sont plus polyvalents, mais ils ne sont pas toujours adaptés à un contexte éducatif précis. Ils peuvent manquer de la spécificité et de la contextualisation nécessaires pour un apprentissage efficace.

En résumé, EduBot est un outil spécialisé pour l’éducation, axé sur la création de chatbots personnalisés à partir de ressources pédagogiques. Un GPT de ChatGPT est un modèle de langage plus généraliste, capable de diverses tâches, mais potentiellement moins adapté aux besoins spécifiques de l’apprentissage.

Avez-vous d’autres questions concernant les fonctionnalités d’EduBot ou souhaitez-vous que je développe certains aspects ?

La partie qui nous intéresse le plus ici dans notre contexte est la suivante: « EduBot offre des fonctionnalités dédiées aux enseignants, comme le suivi de la progression des élèves et la création de comptes élèves. »

C’est en effet le suivi de la progression des élèves qui va être l’outil central de notre travail d’analyse.

La contextualisation est aussi très importante dans le cadre d’un travail utilisant des références précises, comme des grilles de notations, des exemples précis, etc.. mais cela ChatGPT le fait également.

Le suivi individualisé de la progression des étudiants est un des éléments les plus importants ici pour notre analyse. Ce type d’analyse a déjà été mise en place dans le passé à travers l’étude des interactions des étudiants dans des groupes de discussions, type « chat », mais la différence est ici l’usage de l’IA comme animateur, tuteur, au sein du groupe classe.

Quelles différences, quels avantages ou limites, cela permet-il, et à terme, comment l’organiser au mieux afin de pouvoir l’intégrer dans une séquence pédagogique qui atteigne des objectifs précis?

Pour tester cette solution, nous avons crée plusieurs espaces de test dédiés au FLE sur cet outil

• Pour tester cette option, connectez-vous à Edubot, puis créez un compte élève, puis il vous faut accéder au lien suivant :
  https://edubot.fr/addgroupe/8H498
  et entrer le code suivant : 8H498.

Nous allons tester dans un prochain article de blog les autres types d’agents IA permettant un suivi détaillé des interactions des élèves. Dans cet environnement en pleine évolution, de nouveaux produits apparaissent en permanence.

à suivre !