Dans la newsletter d’aujourd’hui:

Pour les abonnés gratuits:

• L’édito : Oui une IA peut aussi s'empoisonner toute seule

Pour les abonnés payants:

• Repéré sur Linkedin : Des difficultés de combattre le narcotrafic

• Études : 62 % des opérateurs d’eau et d’électricité interrogés

• A ne pas manquer sur le web : Cyberguerre et IA : l’armée française est-elle prête pour les conflits du futur ?

Je suis Frédéric Simottel, journaliste tech depuis plus de 30 ans. Je vous propose à travers cette newsletter dédiée à la cyber, de vous faire partager mon regard sur certaines actualités liées à la sécurité numérique des entreprises, aux innovations dans le domaine à partir de points de vue éditoriaux, tribunes, chiffres, études et articles.

Oui une IA peut aussi s'empoisonner toute seule

C'est une vidéo qui a beaucoup tourné sur les réseaux ces derniers jours. Un robot humanoïde chinois qui devient fou. Installé dans un entrepôt pour participer à des missions de manipulation logistique. La machine s'emballe d'un coup au risque de blesser les opérateurs présents à ses côtés. Les internautes -surtout les occidentaux…- ont tout de suite bondi sur ce fait divers numérique pour brandir la menace du soulèvement des machines, persuadés que la machine se retournait contre son créateur.

Bien entendu, le robot n’a jamais pris conscience qu’il perdait son self contrôle. Les experts formulent plutôt l’hypothèse d’une erreur de programmation. Le robot n’a pas su faire face à une situation imprévue, a sans doute perdu l’équilibre et a cherché via ses propres algorithmes à reprendre le cours normal de sa mission. Problème, en imaginant qu’il ait été conçu dans un process de machine learning, il s’est quelques part lui-même empoisonné. Plus il se débattait, plus il envoyait des données erronées à son propre modèle d’IA et ne réagissait plus comme il aurait du. Etant utilisé dans un contexte expérimental, l’idée d’une cyberattaque a été écartée. Au final, plus de peur que de mal, mais une bonne piqûre de rappel pour les développeurs.

Les IA sous la menace de manipulation et d’empoisonnement des donnés

En fait, au moment où je visionnais cette vidéo, j’étais en pleine réflexion sur les menaces cyber qui peuvent viser les modèles d’IA générative. Il en existerait principalement deux : la manipulation et l’empoisonnement des données. Ces attaques très différentes compromettent la fiabilité, la précision et l’intégrité de ces modèles. L’empoisonnement va consister par exemple à introduire des logiciels malveillants dans le système, diriger les utilisateurs vers un site piégé par rapport à une question qu’ils auraient posé à l’IA, ou insérer des fausses informations dans les données d’apprentissage du modèle. Je résume en quelques mots ces attaques qui sont bien entendu bien plus sophistiquées que la façon dont je vous le raconte. Mais il faut bien comprendre que ces menaces auxquelles sont confrontés les modèles d’IA générative proviennent de moins en moins d’actions intentionnelles humaines, mais de plus en plus de mauvaises données générées par d’autres modèles d’IA.

Et c’est là où je veux en venir par rapport au robot fou dont je vous parlais ci-dessus. Cette vidéo est en fait la parfaite illustration physique de ce qui se passe de façon invisible dans les modèles d’IA “empoisonnés”. Nous devrions tous profiter de cette vidéo pour sensibiliser autour de nous sur les risques potentiels des IA génératives et pourquoi, malgré leurs incroyables capacités et qualités, il faut toujours douter dès qu’un résultat nous apparaît louche. Ces IA peuvent en effet être touchées par un effet d’auto-rétroaction. C’est à dire qu’elles peuvent finir par s’empoisonner elles-mêmes, comme ce pauvre robot chinois.

...