L’armée américaine a accidentellement mis au point une IA qui décime son propre camp

Une des craintes propres à l’IA a toujours été qu’elle prenne des décisions imprévisibles et dépourvues d’émotion et de morale dans le but de réaliser la mission pour laquelle elle a été programmée. Ces craintes semblent se confirmer en ce qui concerne une intelligence artificielle produite par l’armée américaine.

Nombreuses sont les expériences de pensées sur les IA qui font froid dans le dos : on imagine ainsi des scénarios où elle pourrait tuer toute l’humanité dans le but de diminuer la souffrance, la pauvreté, la maladie, ou de ne pas être dérangée par les piétons dans sa mission de réparer la voie publique.

Mais pour la première fois, nous venons peut-être de découvrir que ces expériences de pensées avaient un fond de vérité. En effet, lors de ce qui n’est heureusement qu’une simulation informatique de l’armée, un drone augmenté d’une IA avait décidé que la meilleure manière de mener à bien sa mission était de se débarrasser de celui qui le contrôlait.

En effet, l’intelligence artificielle censée sélectionner les cibles ne pouvait pas effectuer le tir sans l’autorisation de son opérateur. De son point de vue, elle recevait des points positifs en cas de destruction des cibles, et celui qui la contrôlait l’empêchait de récolter ces points. Elle en a donc logiquement et froidement conclu qu’éliminer son opérateur était la meilleure marche à suivre.

Pour remédier à ce problème, les concepteurs de cette simulation ont donc décidé de modifier l’entraînement de l’IA afin qu’elle perde des points en cas d’élimination d’un des membres de son propre camp. L’intelligence artificielle a donc décidé de plutôt s’attaquer à l’antenne de communication, afin de ne plus recevoir d’interdiction, et d’être libre de mettre à bien sa mission.

Cela prouve effectivement la présence de raisonnements problématiques imprévisibles, et potentiellement dangereux, chez les IA. L’implémentation de règles éthiques, à l’image des « Lois de la robotique », sorties tout droit de l’imagination de l’auteur de science-fiction d’Isaac Asimov, semble donc nécessaire si l’humanité désire continuer à utiliser l’intelligence artificielle sans risque.