L'IA doit apprendre comme un enfant
Les nouveaux systèmes d'IA étonnent, mais ils ne sont pas à la hauteur des humains. Benjamin Grewe plaide donc pour que les machines intelligentes de demain apprennent comme les petits enfants.
Le rêve de créer une machine intelligente semblable à l'homme traverse l'histoire de l'humanité. Depuis peu, nous entendons parler à San Francisco d'un nouveau système vocal appelé GPT3. Selon ses concepteurs, il serait capable de répondre à des questions générales, de corriger et de compléter des textes ou de les écrire lui-même, sans avoir été formé à des t?ches spécifiques. Dans ce dernier cas, GPT3 serait si bon que les lignes générées ne se distingueraient presque plus des textes humains. Que faut-il en penser ?
GPT3 conna?t (presque) tout l'Internet.
GPT3 est entra?né avec un ensemble de données textuelles de 500 milliards de cha?nes de caractères, basé sur l'ensemble d'Internet (filtré), Wikipedia et plusieurs collections de livres numérisés. Une quantité énorme de connaissances que l'homme ne peut pas égaler. Mais que fait exactement le GPT3 avec cela ? Lors de l'entra?nement dit 'auto-supervisé', le réseau linguistique apprend simplement à compléter le mot suivant à l'aide d'une section de texte prédéfinie. Ensuite, l'algorithme se répète et peut calculer à l'avance quel est le mot suivant le plus probable. Il écrit ainsi une phrase ou un texte complet de manière itérative.
En règle générale, les systèmes linguistiques modernes d'IA : Plus le réseau est grand et plus les connexions entre les neurones artificiels sont nombreuses, mieux ils apprennent. GPT3 est constitué d'un nombre considérable de 175 milliards de paramètres de connexion de ce type. A titre de comparaison, le fameux réseau BERT de Google ne compte que 255 millions, mais le cerveau humain a 1014 des connexions synaptiques. Cela signifie qu'elle dépasse GPT3 d'un facteur allant jusqu'à 10'000 !
Pour moi, ce sont surtout les nombreux défauts que présente GPT3 qui illustrent de manière emblématique le problème des réseaux neuronaux artificiels 'haute performance' modernes. Ainsi, pratiquement tous les textes générés sont grammaticalement irréprochables. Le contenu est même logiquement cohérent sur plusieurs phrases. Toutefois, le contenu des textes plus longs n'a souvent que peu de sens. Il ne suffit pas de prédire le mot suivant. Pour être vraiment intelligente, une machine devrait comprendre les t?ches et les objectifs d'un texte sur le plan du contenu et de la conception. Le système linguistique GPT3 n'est pas capable de répondre à toutes les questions générales. Une intelligence de type humain n'a donc pas été développée avec GPT3.
Les gens apprennent plus que des modèles statistiques
L'exemple de GPT3 illustre en outre, à mon avis, un autre problème général dans lequel se trouve la recherche actuelle en matière d'IA. Les systèmes et algorithmes intelligents actuels sont incroyablement doués pour traiter de grandes quantités de données, reconna?tre des modèles statistiques et, le cas échéant, les reproduire eux-mêmes. Le problème réside toutefois dans les algorithmes d'entra?nement hautement spécialisés. Apprendre la signification d'un mot uniquement par le texte et l'utiliser correctement d'un point de vue grammatical ne suffit pas.
Prenons l'exemple du "chien" - même si nous apprenons à une machine que, statistiquement, le mot appara?t souvent dans les textes avec "teckel", "saint-bernard" ou "carlin", pour un être humain, ce mot résonne avec beaucoup plus de "significations". Il forme de nombreuses connotations qui se composent d'une multitude d'expériences et de souvenirs réels et physiques. C'est pourquoi le "système linguistique humain" peut lire entre les lignes, déduire l'intention de celui qui écrit ou interpréter un texte.
Comment les gens apprennent-ils et qu'est-ce que cela nous apprend ?
Le psychologue du développement suisse Jean Piaget a décrit les grandes lignes de l'apprentissage humain au cours du développement de l'enfant. Les enfants apprennent en réagissant à leur environnement, en interagissant avec lui et en l'observant. Ce faisant, ils passent par différents stades cognitifs qui se succèdent. Il est important de noter que l'intelligence sensori-motrice, du mécanisme réflexe à l'action ciblée, est la première à se développer. Ce n'est que bien plus tard qu'un enfant acquiert la capacité de parler, d'établir des liens logiques entre les faits ou même de formuler des pensées abstraites et hypothétiques, par exemple en rejouant des situations vécues.
"Les enfants - bien qu'ils traitent probablement moins de données en termes quantitatifs - peuvent néanmoins en faire plus que n'importe quelle IA".Benjamin Grewe
Je suis convaincu que si nous voulons faire des progrès décisifs en matière d'intelligence semblable à l'homme dans le domaine de l'apprentissage automatique, nous devons nous orienter beaucoup plus vers la manière dont les enfants, par exemple, apprennent et se développent. L'interaction physique avec l'environnement joue ici un r?le central. Concrètement, on pourrait imaginer les approches suivantes : Nous construisons ou simulons des robots interactifs orientés vers l'homme, qui intègrent une multitude d'expériences sensorielles dans l'apprentissage automatique et apprennent de manière autonome dans un environnement réel ou virtuel.
Les informations provenant de l'appareil locomoteur ainsi que des capteurs visuels, auditifs et haptiques sont alors mises en réseau de manière à créer des schémas cohérents. Une fois les schémas simples appris, l'algorithme peut commencer à les compléter lentement par un système linguistique abstrait. Cela permet d'abstraire davantage ce qui a été appris, de l'adapter et de le relier à d'autres concepts abstraits.
En bref : les enfants apprennent fondamentalement différemment des machines actuelles et, bien qu'ils traitent quantitativement moins de données, ils peuvent quand même en faire plus que n'importe quelle IA. Selon les développeurs, GPT3 se heurte sans doute déjà aux limites de ce qui est faisable avec la quantité de données. Cela montre également que les algorithmes d'apprentissage hautement spécialisés avec encore plus de données n'amélioreront plus l'apprentissage automatique de manière décisive. Ce billet de blog a d'ailleurs été écrit par un être humain et il faudra encore attendre très longtemps avant qu'une machine puisse faire de même.
Ce texte para?t également comme article d'opinion dans page externeNZZ am Sonntag.