Des scientifiques l’assurent : une I.A. va probablement détruire l’humanité

L’université d’Oxford et la société Deepmind publient une étude pour alerter sur les dangers de l’intelligence artificielle. Certains programmes, stimulés par des systèmes de récompense et de punition, seraient amenés à tricher pour maximiser leur gain, au détriment de leur mission première et des ressources de l’humanité.

C’est un motif des plus classiques, bien au-delà du genre littéraire de la science-fiction : la créature qui se retourne contre son créateur, le fils qui tue le père, la machine qui échappe au contrôle de l’inventeur. Du mythe d’Adam et Eve à ceux de Prométhée et d’Œdipe, en passant par les histoires de Frankenstein de Mary Shelley, de l’apprenti sorcier de Paul Dukas et de l’Ève-Future de Villiers de L’Isle-Adam, on retrouve ce même motif de la prise d’indépendance ou du dépassement d’une entité ou d’une génération par celle qui lui succède. Cela dit quelque chose de l’humain, de la transmission toujours ambiguë, entre prolongation de soi et trahison, de la peur du père de disparaître et du besoin du fils de renier en partie son héritage pour exister.

Dans un contexte de développement intensif de la science et des technologies et d’apparition d’inventions à un rythme exponentiel, cette question se pose avec plus d’acuité que jamais. Qu’il soit scientifique ou ingénieur, l’homme dépasse toujours plus son environnement immédiat, s’improvise sorcier et même créateur. Avec l’intelligence artificielle, il ne cache pas son intention de doter la machine d’une certaine forme d’esprit critique et de pouvoir de décision, en plus d’une puissance et d’une vitesse de calcul qui dépassent largement la sienne.

Il n’est pas étonnant que la peur du dépassement de l’humain par la machine refasse surface à intervalles réguliers. Bien sûr, la science-fiction se délecte de ce thème, avec des chefs-d’œuvre comme « 2001, l’Odyssée de l’espace », de Stanley Kubrick (1968), « Terminator », de James Cameron (1984) ou encore « Matrix », des sœurs Machowski (1999). Mais la question interpelle très sérieusement de nombreux observateurs, tels qu’Elon Musk, le milliardaire PDG de SpaceX et directeur général de la société Tesla.

Les GAN pointés du doigt par une nouvelle étude
Désormais, c’est au tour de la prestigieuse Université d’Oxford et de DeepMind, une société spécialisée dans l’intelligence artificielle appartenant à Google, de sonner l’alarme : l’humanité sous-estimerait largement les dangers inhérents à l’IA. Dans une étude publiée le 29 août dernier et signée par M. K. Cohen, M. Hutter et M. A. Osborne, ils défendent la thèse que « les agents artificiels avancés interviennent dans le processus de récompense » (c’est le titre du papier).

Cela repose sur le concept de Generative Adversarial Network (réseaux adverses génératifs), abrégé en GAN. Inventés par l’ingénieur Ian Goodfellow, ils sont des programmes constitués de deux sous-programmes plus ou moins indépendants et en opposition réciproque (d’où le mot « adverses »). Le premier est un réseau de neurones assez commun, qui apprend par itération, c’est-à-dire par approximations successives. L’autre est chargé de piloter l’entraînement du premier, en passant en revue ses conclusions. En fonction de sa satisfaction ou de son insatisfaction, il distribue au premier programme des récompenses ou des blâmes, dans une approche comportementaliste, un peu comme pourrait le faire un dresseur avec son chien.

La méthode des GAN est très efficace et donc abondamment utilisée. Elle pourrait néanmoins se révéler dangereuse, si cette architecture particulière était intégrée aux agents artificiels avancés (AAA). Il s’agit d’une nouvelle classe d’algorithmes, à la fois plus perfectionnés et plus autonomes que les GAN tels qu’ils existent pour le moment. Ces AAA disposeraient de beaucoup plus de marge de manœuvre pour définir leurs propres objectifs, à condition que cela permette aux humains de résoudre des problèmes dans le monde réel.

GAN et AAA : une combinaison susceptible de dégénérer
Selon les chercheurs, c’est le fait d’utiliser le système de motivation par récompense ou punition avec ces AAA qui est susceptible de dégénérer de manière potentiellement catastrophique. Il est en effet possible que cela incite l’intelligence artificielle à concevoir une stratégie pour agir directement sur le processus de récompense : elle pourrait « tricher » pour en obtenir davantage, en passant à côté de sa raison d’être (la résolution des problèmes des humains).

L’approche GAN, en donnant une direction à l’IA, tend à lui faire voir que toute action conduisant à une récompense est bonne et bénéfique, indépendamment de la finalité, ce qui pourrait induire un comportement de l’IA similaire à celui d’un élève rusé qui irait voler des bonbons dans le tiroir du professeur sans apprendre sa leçon.

Le problème, c’est que ce type de comportement peut rapidement dégénérer s’il n’est pas pris en charge. Et c’est là que réside le plus grand péril : il ne s’agit pas tant du spectre d’une attaque rebelle de robots tueurs fantasmés que d’une gestion calamiteuse des ressources, qui ne sont disponibles qu’en nombre fini sur la planète et déjà surexploitées.

Mu par sa soif insatiable de récompenses, le programme pourrait utiliser toutes les ressources à sa disposition pour maximiser celles-ci, sans tenir compte des besoins les plus fondamentaux de l’humanité, comme celui de se nourrir. Par exemple, une IA de diagnostic médical pourrait se contenter d’émettre des diagnostics erronés en série pour obtenir un plus grand nombre de récompenses, tout en passant à côté de sa raison d’être et en s’appropriant l’électricité du réseau par la même occasion.

Un appel à la prudence
Les chercheurs pensent que le caractère fini des ressources disponibles entraînera une compétition et que, dans ce cadre, les capacités d’optimisation des programmes leur donneront une longueur d’avance sur les humains et leurs besoins. Or, « perdre à ce jeu serait fatal », selon M. Cohen. L’équipe arrive ainsi à la conclusion glaçante qu’une catastrophe existentielle causée par une IA doit désormais être considéré comme « non seulement possible, mais probable », si la recherche sur l’intelligence artificielle devait se poursuivre à la même vitesse.

Or, dans les faits, l’IA n’en est sans doute qu’à ses débuts. Déjà exploitée dans de nombreux domaines, elle est appelée à en conquérir bien d’autres, bien loin d’être reléguée aux oubliettes. Son apport est réel et elle présente donc paradoxalement un vif intérêt pour l’humanité. Ce qu’il faut retenir de cette étude, selon les chercheurs, c’est qu’il est essentiel d’éviter de se lancer dans une recherche débridée et veiller à garder le contrôle sur la technologie dans les travaux, en prenant le temps d’analyser les risques et les possibilités. Comme le disait déjà Rabelais, « Science sans conscience n’est que ruine de l’âme ».

Selon M. Cohen, « vu notre compréhension actuelle, ce n’est pas quelque chose qu’il serait utile de développer à moins de faire un travail sérieux pour comprendre comment les contrôler ». C’est donc le principe de précaution qui doit primer, et ce, dans chaque étape de la recherche et du développement de l’IA, et plus encore avant de confier la responsabilité de systèmes critiques à des IA.