Le red teaming consiste à attaquer volontairement un système d'IA, comme le ferait un adversaire, pour découvrir ses failles avant qu'elles ne soient exploitées : jailbreaks, injections de prompt, fuites de données, actions imprévues d'un agent. Le terme est emprunté à la sécurité informatique, où une « équipe rouge » est autorisée à imiter un attaquant pour éprouver les défenses d'une organisation. Il se pratique avant la mise en service, puis tout au long de la vie du système. Pour les fournisseurs de modèles d'IA à usage général présentant un risque systémique, l'AI Act impose depuis le 2 août 2025 des « essais contradictoires » documentés (article 55), et la Commission européenne peut contrôler et sanctionner ces fournisseurs depuis le 2 août 2026. En France, l'ANSSI recommande des audits de sécurité avant toute mise en production d'un système d'IA générative, y compris des tests manuels sur des scénarios d'attaque sophistiqués.
En pratique chez Gensai
Dans ses projets, Gensai ajoute aux jeux de tests des tentatives de contournement, d'injection et de fuite de données, rejouées avant la mise en ligne puis à chaque changement de modèle, de consignes ou d'outils connectés.
Une entreprise qui déploie un chatbot doit-elle faire du red teaming ?
Oui, à l'échelle de son projet. L'obligation de l'AI Act vise les fournisseurs des plus grands modèles, mais une entreprise qui déploie un chatbot ou un agent a tout intérêt à vérifier qu'on ne peut pas lui faire dévoiler ses consignes ou des données internes, ni déclencher une action imprévue. Pour structurer la démarche, l'OWASP a publié le 20 octobre 2026 un manuel de red teaming de l'IA générative en huit phases, de la planification à la remédiation, qui couvre aussi les agents.
Erreur fréquente
Faire un red teaming unique avant le lancement et le considérer comme acquis. Un test réussi montre seulement que les attaques essayées ont échoué : les techniques évoluent, les réponses d'un modèle varient d'un essai à l'autre, et chaque nouveau modèle, nouvelle consigne ou nouvel outil peut rouvrir une faille.
Dans le même thème
Définition rédigée avec l'assistance de l'IA, vérifiée par Sébastien Lecocq, co-fondateur de Gensai.
Aller plus loin que la définition ?
Passer du concept au projet : Gensai conçoit des solutions IA sur mesure, souveraines et conformes au RGPD.
Services associés : Chatbots et moteurs de réponses, Solutions IA sur mesure