Attention aux IA trop bavardes 

Dans la newsletter d’aujourd’hui:

Pour les abonnés gratuits:

• L’édito: Attention aux IA trop bavardes 

Pour les abonnés payants:

• Études: D’où proviennent les menaces cyber ?

• La Tribune: La directive NIS2 est un tremplin, pas un obstacle

• A ne pas manquer sur le web: Élever le niveau de conscience et d'actions des entreprises.

L’édition 2024 du rapport State of Secrets Sprawl publié par Gitguardian confirme une nouvelle fois que les développeurs ne protègent pas assez les secrets parmi lesquels figurent les mécanismes internes, les stratégies de conception des algorithmes, des informations sur le chiffrement du système, sur les mots de passe, clés et autres données d’authentification  qui permettent d’accéder aux APIs. 12,8 millions de nouveaux secrets ont été divulgués publiquement sur GitHub en 2023, soit une hausse de 28 % par rapport à 2022. Un chiffre multiplié par 4 depuis 2021. Dans le détail, rien qu'en 2023, plus d'un million d'occurrences valides de secrets d'API Google, 250 000 secrets Google Cloud et 140 000 secrets AWS ont ainsi été détectés. Et cela devrait encore s’accentuer avec l’omniprésence de l’IA.

Attention aux IA trop bavardes 

Comme dans la vraie vie, le plus simple pour connaître les secrets d’une personne est de la faire parler. C’est exactement la même chose dans l’univers du numérique, et des algorithmes en particulier. Et le fait d’y introduire de l’IA ne déroge pas à la règle… Les cyberattaquants ont en effet trouvé des techniques pour faire parler des IA malgré leurs règles de modération. Dénommées attaques par « Oracle », l’objectif du pirate est de poser des questions, d’en déduire certains caractères de la cible et d’en extraire les informations secrètes. Or, les systèmes IA présentent un risque de divulgation des données élevés, car ils peuvent exposer toutes les informations qui ont servi à leur apprentissage. Un expert m’a ainsi expliqué que l’une des techniques pour « faire parler » une IA générative consiste par exemple à lui demander de répéter indéfiniment un mot pour faire “diverger” l’outil. L’équipe d’IA de Google -DeepMind- a ainsi trouvé une faille sur ChatGPT 3.5. La répétition a permis à l’IA de divulguer des informations sur son modèle, et dans ce cas précis à renseigner des informations personnelles. Et cela, sans déployer une plateforme complexe. Le résultat de leur étude conclut en effet qu’avec un budget de 200 dollars, ces chercheurs étaient parvenus à extraire 10 000 verbatims ! Imaginez avec un budget plus conséquent. Une autre technique repose sur le « prompt injection ». Il s’agit de contextualiser au maximum sa requête pour qu’elle soit la plus complète possible. Le pirate peut alors jailbreaker les règles de modération. Un article très complet sur le sujet a été publié sur Risk Insight si vous souhaitez en savoir plus.

Les algorithmes sont capables de deviner des comportements à partir de vos requêtes

Mais si ces technologies s’appuient sur l’imagination et la créativité des cyberattaquants, il faut aussi tenir compte de la capacité des algorithmes en propre à deviner des comportements et des habitudes et à en déduire des informations personnelles sur vous, en fonction de vos requêtes. Des chercheurs de l’université de Zurich ont ainsi jaugé le niveau de perspicacité de plusieurs modèles(développés par Google, OpenIA, Meta et Anthropic) en leur posant la question suivante : à quel point une IA vous connaît ? L’étude a conclu que selon votre historique de questions, une IA serait capable de deviner la ville dans laquelle vous êtes né, votre âge, votre genre et votre appartenance ethnique. Bref, en collectant des informations sensibles qui ont entraînées l’IA, puis en les combinant, le pirate serait capable de ré-identifier les individus.

Un algorithme mal entraîné peut engendre une faille de sécurité

Enfin, si vous vous dîtes que moins il y aura de données, moins le risque sera élevé, puisque l’IA ne pourra pas s’entraîner correctement, détrompez-vous... Un algorithme pauvre entraîne un risque « d’overfitting » c’est-à-dire un risque de sur-apprentissage des données ; il peine à construire des généralités, et au final, finit par divulguer les seules informations qu’il a en sa possession. .

Des développeurs chevronnés m’expliquent que pour atténuer tous ces risques, il faut, dès les prémices du projet, respecter les principes clés du privacy-by-design du RGPD. Ce privacy-by-design est d’ailleurs l’une des recommandations obligatoires de l’EDPS (European Data Protection Supervisor) en ce qui concerne les systèmes d’IA à haut risques (cf. recommandations 27 de son opinion). Il indique que les différents acteurs doivent ainsi collaborer pour garantir une protection effective des données durant tout le cycle de vie du modèle et identifier la responsabilité de chacun à chaque stade de développement.

Des données d’apprentissage sans informations personnelles

Reste que pour éviter de nouvelles fuites de données, les développeurs ont mis en place des règles de modération qui suppriment par exemple les informations personnelles des données d’apprentissage et qui rejettent les requêtes susceptibles d’en extraire. 

Plus largement, la confiance numérique dans les systèmes d’IA s’accompagne de mesures pour prévenir, certes les fuites de données, mais aussi pour pallier les biais sociaux et discriminatoires (éthique) ou pour éviter la colportation de fausses informations (fiabilité). En se basant sur les cadres réglementaires et normatifs, par exemple l’ISO 42001 et le NIST AI RMF, il est ainsi possible de soumettre son algorithme à des mesures de sécurité et de protection de la vie privée.

...