Il y a quelques mois une arnaque mettant en scène un faux Brad Pitt dopé à l'IA défrayait la chronique. L'utilisation de celle-ci pour amplifier et perfectionner des attaques et autres escroqueries en ligne est un phénomène connu bien que difficile à mesurer. En revanche, les attaques qui s'en prennent directement aux systèmes d'IA, le sont moins.

C'est l'un des constats du rapport « Analyse d'attaque sur les systèmes de l'IA » publié par le Campus Cyber, en collaboration avec le Hub France IA, à l'occasion du salon Incyber (du 1er au 3 avril à Lille). Ce document entend provoquer « une prise de conscience », expliquent Françoise Soulié-Fogelman, informaticienne pionnière de l'IA, et le général Perrot, officier de gendarmerie et docteur en IA, tous deux à la tête du groupe de travail qui a rédigé le rapport. Leur document entend informer sur les incidents cyber liés à l'IA et proposer des moyens de s'en protéger. L'objectif est aussi d'inciter les éditeurs à protéger leurs modèles dès leur conception.

Prompt injection et empoisonnement de données

Le rapport identifie différents types d'attaques comme le prompt injection, qui consiste à infiltrer le système pour modifier l'instruction (le prompt) de l'utilisateur, afin de demander au modèle une action (aller sur un site et cliquer sur un lien, par exemple). Une autre méthode consiste à empoisonner les données d'entraînement d'un modèle pour dégrader ses performances ou y intégrer volontairement des biais. Ce type d'attaque dev