Utilisation de l'IA parmi les étudiants
Résumé d'une enquête menée auprès des étudiants de l'ETH en septembre 2023.
Fadoua Balabdaoui, Nora Dittmann-Domenichini, Henry Grosse, Claudia Schlienger, and Gerd Kortemeyer
Nous rapportons les résultats d'une enquête menée auprès de 4800 étudiants de l'ETH Zurich concernant leur utilisation de l'intelligence artificielle (IA), ainsi que leurs attentes et attitudes vis-à-vis de ces outils. Nous constatons que de nombreux étudiants ont développé des points de vue et des décisions différenciés et réfléchis concernant l'utilisation de l'intelligence artificielle. La majorité des étudiants souhaitent que l'IA soit intégrée dans leurs études et certains souhaitent que l'université mette à disposition des outils basés sur des matériaux universitaires fiables. Nous constatons que l'acceptation et l'attitude envers l'IA varient selon le domaine d'études. De plus, nous constatons des différences de réponses entre les sexes, mais celles-ci sont moindres lorsque la discipline principale des étudiants se rapproche de l'informatique.
Familiarité avec les outils
Les étudiants ont été interrogés sur leur degré de familiarité avec certaines classes d'outils d'IA. En moyenne, les étudiants affirment avoir un niveau de familiarité moyen avec les outils de chat et de traduction, tandis qu'ils déclarent en moyenne avoir peu ou pas de familiarité avec les outils de création d'images ou de présentations. Il existe de grands écarts-types dans ces auto-évaluations de la familiarité, ce qui indique un large éventail d'expériences et de niveaux de confort parmi les étudiants.
Outre des outils généraux tels que Google Bard et ChatGPT pour les t?ches d'écriture (à la fois en langage humain et informatique), Wolfram Alpha pour les opérations mathématiques, Whisper pour la transcription d'interviews, Grammarly pour la révision grammaticale, DeepL pour la traduction linguistique et GitHub Copilot pour les t?ches de programmation, ils utilisent des outils plus spécialisés tels que ATLAS.ti pour l'analyse qualitative des données, Rayyan pour la recherche documentaire et Quillbot pour la paraphrase. Outre le code Python, les étudiants génèrent également du code Matlab ainsi que LaTeX pour la composition de documents et TikZ pour l'intégration de diagrammes dans des documents LaTeX. Certains d'entre eux font remarquer qu'ils entra?nent leurs propres modèles et mentionnent dans ce contexte PyTorch et CUDA comme outils et BERT comme base. Outre ces applications académiques, les étudiants indiquent également qu'ils utilisent Midjourney et Elevenlabs pour créer du contenu pour les médias sociaux et GPT pour trouver des idées pour cuisiner.
Utilisation actuelle de l'IA dans l'enseignement et l'apprentissage
Peu d'utilisation dans les scénarios d'enseignement formels
Seuls 17,2 % des étudiants ont déclaré avoir expérimenté l'IA dans des situations d'enseignement. Les réponses libres ne mentionnent que deux cas où les enseignants ont utilisé l'IA à des fins d'enseignement : l'un était un exemple d'instructions et d'enseignement explicites sur l'utilisation de l'IA pour la programmation informatique, et l'autre était un enseignant qui a généré des essais explicatifs avec ChatGPT et a demandé aux étudiants de rechercher les erreurs (il convient de noter que les instructions sur l'utilisation de l'IA sont différentes de l'enseignement sur la fa?on dont l'IA fonctionne). Cependant, les étudiants avaient un large éventail d'idées sur la manière dont elle pourrait et devrait être utilisée, comme le montrent leurs déclarations libres associées (N = 1701).
Points d'entrée pour l'apprentissage
De nombreux étudiants les utilisent pour des t?ches linguistiques générales : Surmonter le blocage initial de l'écriture, ainsi qu'améliorer, traduire ou corriger des textes en langues naturelles. Par exemple, ils con?oivent les points principaux qu'ils souhaitent formuler en langue simplifiée ou en points clés, puis font écrire par ChatGPT des paragraphes "joliment" formulés dans le style requis. Plusieurs étudiants ont également mentionné l'utilisation de cette méthode pour écrire des e-mails aux professeurs. Les étudiants étrangers ont également indiqué que cela les aidait à surmonter les barrières linguistiques.
Certains étudiants l'ont utilisé comme un "meilleur Google" ou un "point d'entrée" vers Google. Il fournit des réponses initiales utiles et ciblées à des questions spécifiques pour lesquelles une recherche Google normale ne donne que des résultats très généraux. Les détails de ces réponses peuvent ensuite être consultés sur Google, une fois que ChatGPT a clarifié ce qu'il faut chercher.
Un grand nombre d'étudiants ont utilisé ChatGPT pour résumer des dissertations ou du matériel pédagogique, et ils ont indiqué que le résumé était souvent plus compréhensible que l'original. Cela ne repose pas sur des connaissances pré-entra?nées, mais sur la capacité de l'outil à "calculer avec les mots".
Mauvais en maths, bon en programmation
Alors que plusieurs étudiants ont indiqué que ChatGPT était mauvais en mathématiques et que les preuves et les dérivations étaient souvent erronées, ils ont également indiqué qu'il était utile d'expliquer les preuves et les dérivations fournies par les enseignants.
En plus de travailler avec le langage naturel, de nombreux étudiants ont souligné sa capacité avec les langages informatiques et l'impact sur l'apprentissage et l'enseignement de base de la programmation. Il est intéressant de noter que certains étudiants ont indiqué qu'ils utilisaient GPT pour apprendre PyTorch et TensorFlow ; en d'autres termes, ils utilisent l'IA pour apprendre à construire et à former des solutions d'IA.
Utilisation de l'IA pour les examens et les devoirs
On a demandé aux étudiants comment l'utilisation d'outils basés sur l'IA tels que ChatGPT devrait être actuellement considérée dans les évaluations écrites des performances, la figure montre le résultat. L'occurrence fréquente de "cela dépend" n'est pas surprenante, et dans les commentaires libres associés, de nombreux étudiants ont souligné que cela dépendait des règles de l'enseignant. Cela correspond également à l'attitude générale de l'ETH.
De nombreux étudiants sont d'accord pour dire que l'utilisation d'outils d'IA, comme ChatGPT, est légitime pour des t?ches telles que la relecture, la correction grammaticale, la génération d'idées et l'aide à la recherche. Dans l'ensemble, les étudiants sont favorables à une utilisation contextuelle et recommandent des directives claires de la part des établissements d'enseignement et des enseignants.
Confiance dans l'IA
Les étudiants sont conscients des problèmes de confiance potentiels liés à l'IA. Lorsqu'on leur a demandé s'ils avaient rencontré des problèmes ou des préoccupations concernant l'exactitude, la fiabilité ou la partialité lors de l'utilisation de ChatGPT, 80,5 % ont répondu que c'était le cas. Les réponses libres ont principalement mis en évidence des préoccupations concernant l'exactitude, la fiabilité, la confiance et la cohérence des sorties des outils d'IA tels que ChatGPT. En ce qui concerne la précision, les étudiants ont souvent signalé des problèmes.
Toutefois, le problème le plus souvent évoqué était sans doute celui des calculs erronés : calculs numériques erronés et calculs symboliques erronés. L'IA "hallucinait" souvent ou produisait des réponses erronées, parfois même des réponses différentes à la même question. Certains étudiants ont fait remarquer que ChatGPT pouvait être si convaincant en cas de réponses erronées qu'il les poussait à remettre en question et à repenser les concepts et les solutions-types, et qu'ils apprenaient davantage au final.
De la même manière, la performance de l'IA est devenue moins fiable pour les t?ches nuancées ou les sujets moins courants. La partialité était un autre problème ; alors que la partialité est généralement considérée comme involontaire, certains étudiants ont pu soup?onner que le système avait été manipulé pendant l'entra?nement. En outre, les étudiants ont exprimé des inquiétudes concernant la protection des données et la sécurité et ont réaffirmé la nécessité d'un système d'information plus transparent, plus fiable, plus impartial et plus actuel.
Attitude envers l'IA
Plusieurs questions de l'enquête étaient destinées à évaluer l'attitude des étudiants vis-à-vis de l'IA. ? l'exception notable des préoccupations liées à l'exclusion et à la discrimination, les étudiants sont modérément optimistes quant à l'utilisation de l'IA. Le soutien au développement continu de l'IA et la croyance que les avantages de cette technologie l'emportent sur les inconvénients sont particulièrement forts.
La figure montre un score d'attitude cumulatif et la fa?on dont ces opinions varient selon la discipline et le sexe, classés par rapport aux scores totaux moyens (il convient de noter que les ratios de genre varient entre les programmes ; par exemple, le programme de génie des biosystèmes a un score d'attitude plus faible que le programme de gestion de la technologie, bien que le score soit plus élevé pour les hommes). C'est le programme de gestion de la technologie qui affiche l'attitude la plus positive à l'égard de l'IA ; le programme couvre des sujets liés à l'entrepreneuriat et à la commercialisation de la technologie. La large dispersion des opinions indiquée par les barres limite toutefois les affirmations déduites des données, mais on peut observer une tendance à ce que les femmes soient plus sceptiques que les hommes vis-à-vis de l'IA. L'ingénierie et les sciences de la vie ont tendance à être plus acceptantes vis-à-vis de l'IA que les sciences non-ingénierie et les sciences orientées vers les systèmes, avec les mathématiques et la physique au milieu.
Il s'avère qu'en ajoutant l'utilité per?ue du chat comme covariable et en effectuant une ANCOVA, certaines de ces différences entre les disciplines et les départements diminuent ; en d'autres termes, les différences d'attitude disciplinaires pourraient dépendre de l'utilité de l'IA dans cette discipline. L'utilisation de l'utilité per?ue du chat comme covariable comble également une partie de l'écart entre les sexes.
L'avenir de l'enseignement
Dans l'ensemble, les étudiants ne pensent pas que les formes actuelles d'enseignement et d'évaluation seront obsolètes dans un avenir proche. La figure montre la répartition des réponses à la question de savoir si les méthodes d'enseignement actuelles sont obsolètes, plus des 3/4 (76,6 %) des étudiants indiquant que les techniques actuelles ne seront pas obsolètes.
De nombreux étudiants expriment le souhait que ces outils soient intégrés dans leur expérience d'apprentissage, convaincus que l'IA pourrait améliorer leur vie académique et professionnelle. Cela va de pair avec leur réponse à la question de savoir si l'ETH devrait offrir des possibilités d'apprentissage pour encourager l'utilisation et l'application d'outils basés sur l'IA dans leurs études (≈ 2/3, 65 % ont répondu "oui") ; la question était certainement formulée de manière exubérante ("encourager l'utilisation"), mais les étudiants ont une vision réaliste du tohu-bohu et du battage médiatique autour de l'IA : Sur une échelle allant de l'exagéré (1) au raisonnable (5), ils ont évalué l'agitation autour de l'IA à 3,2 ± 1,1.
Alors que plusieurs étudiants proposent de se procurer une licence de campus pour GPT-4, certains étudiants suggèrent de créer une IA institutionnelle qui offrirait un soutien pédagogique fiable et ciblé pour certains cours.
Résumé
Les résultats de l'enquête offrent un aper?u de la familiarité des étudiants avec l'intelligence artificielle (IA), de leur utilisation et de leurs attitudes envers les outils d'IA dans le contexte académique. Nous avons constaté une disparité dans la familiarité, ce qui indique des expériences et des niveaux de confort différents parmi les étudiants. Bien que seule une minorité ait fait l'expérience de l'IA dans des situations d'enseignement formelles, ils ont une foule d'idées sur ses applications potentielles, en particulier dans la programmation et les t?ches liées au langage. L'attitude envers l'IA est généralement optimiste, les étudiants reconnaissant ses avantages potentiels pour améliorer leurs efforts académiques et professionnels. Cependant, les inquiétudes concernant la fiabilité, l'exactitude et la partialité potentielle des résultats de l'IA sont largement répandues. La majorité pense que les outils d'IA peuvent être des compléments utiles et devraient être intégrés dans les situations d'enseignement, mais ne devraient pas remplacer les méthodes d'apprentissage traditionnelles.
En outre, les réponses suggèrent une perspective différenciée sur l'utilisation de l'IA dans les évaluations. Alors que de nombreux étudiants considèrent que les outils d'IA sont légitimes pour des t?ches telles que la relecture et la génération d'idées, il existe un consensus sur le fait que le contenu principal devrait provenir de l'étudiant, la copie littérale des résultats de l'IA étant considérée comme contraire à l'éthique. Le besoin de transparence et de directives claires de la part des établissements d'enseignement est souligné, les étudiants plaidant pour une utilisation de l'IA basée sur le contexte. Malgré les avantages potentiels, certains s'inquiètent de la surdépendance de l'IA, des problèmes de protection des données et du défi de distinguer les travaux générés par l'IA. Plusieurs étudiants ont demandé que des outils d'IA soient fournis par l'institution afin de surmonter ces inquiétudes.