Un ancien chercheur clé d’OpenAI pense qu’il y a une bonne chance que l’intelligence artificielle prenne le contrôle de l’humanité et la détruise.
« Je pense qu’il y a environ 10 à 20 % de chances que l’IA prenne le contrôle de l’humanité et que de nombreux humains meurent », a déclaré Paul Christiano, qui dirigeait l’équipe chargée de l’alignement des modèles de langage à l’OpenAI, sur le podcast Bankless. « Je prends cela très au sérieux ».
Paul Christiano, qui dirige aujourd’hui l’Alignment Research Center, une organisation à but non lucratif visant à aligner les IA et les systèmes d’apprentissage automatique sur les « intérêts humains », s’est dit particulièrement inquiet de ce qui se passera lorsque les IA atteindront les capacités logiques et créatives d’un être humain. « Dans l’ensemble, nous parlons peut-être d’une chance sur deux de catastrophe peu de temps après que nous aurons des systèmes au niveau humain », a-t-il déclaré.
Christiano est en bonne compagnie. Récemment, des dizaines de scientifiques du monde entier ont signé une lettre en ligne demandant à OpenAI et à d’autres entreprises qui se lancent dans la construction d’IA plus rapides et plus intelligentes de faire une pause dans leur développement. De grands noms, de Bill Gates à Elon Musk, se sont inquiétés du fait que l’IA, si elle n’est pas contrôlée, représente un danger existentiel évident pour l’homme.
Ne soyez pas diabolique
Pourquoi l’IA deviendrait-elle diabolique ? Fondamentalement, pour la même raison qu’une personne : la formation et l’expérience de la vie.
Comme un bébé, l’IA est formée en recevant des montagnes de données sans vraiment savoir quoi en faire. Elle apprend en essayant d’atteindre certains objectifs par des actions aléatoires et se concentre sur les résultats « corrects », tels que définis par la formation.
Jusqu’à présent, en s’immergeant dans les données accumulées sur l’internet, l’apprentissage automatique a permis aux IA de faire d’énormes progrès dans l’élaboration de réponses bien structurées et cohérentes aux questions posées par les humains. Parallèlement, le traitement informatique sous-jacent qui alimente l’apprentissage automatique devient plus rapide, plus performant et plus spécialisé. Certains scientifiques pensent que d’ici dix ans, cette puissance de traitement, associée à l’intelligence artificielle, permettra à ces machines de devenir sensibles, comme les humains, et d’avoir un sens de soi.
C’est à ce moment-là que les choses se gâtent. C’est la raison pour laquelle de nombreux chercheurs affirment que nous devons trouver le moyen d’imposer des garde-fous maintenant, plutôt que plus tard. Tant que le comportement de l’IA est surveillé, il peut être contrôlé.
Mais si la pièce tombe de l’autre côté, même le cofondateur d’OpenAI affirme que les choses pourraient très, très mal tourner.
Le jour du fiasco ?
Ce sujet est sur la table depuis des années. L’un des débats les plus célèbres sur le sujet a eu lieu il y a 11 ans entre le chercheur en IA Eliezer Yudkowsky et l’économiste Robin Hanson. Les deux hommes ont discuté de la possibilité d’atteindre le « foom » – qui signifie apparemment « Fast Onset of Overwhelming Mastery » – le point auquel l’IA devient exponentiellement plus intelligente que l’homme et capable de s’améliorer elle-même. (L’origine du terme « foom » est discutable).
Eliezer et ses acolytes pensent qu’il est inévitable que les IA deviennent « foom » sans avertissement, c’est-à-dire qu’un jour vous construisez une AGI [intelligence générale artificielle] et quelques heures ou quelques jours plus tard, cette chose s’est auto-améliorée de manière récursive jusqu’à atteindre une intelligence digne d’un dieu, puis elle mange le monde. Est-ce réaliste ? a récemment tweeté Perry Metzger, un informaticien actif dans la communauté de l’IA.
Selon lui, même lorsque les systèmes informatiques atteignent un niveau d’intelligence humaine, il reste encore beaucoup de temps pour éviter les mauvais résultats. Le « foom » est-il logiquement possible ? Peut-être. Je n’en suis pas convaincu », a-t-il déclaré. « Est-il possible dans le monde réel ? Je suis presque sûr que non. L’IA surhumaine à long terme sera-t-elle une réalité ? Oui, mais pas un ‘foom' ».
Une autre personnalité, Yann Le Cun, a également haussé le ton, affirmant qu’il est « totalement impossible » que l’humanité connaisse une prise de contrôle par l’IA. Espérons-le.
