Attaques d'IA agentiques : l'agent Smith sort de sa retraite

Évolution sans nature

Les attaquants repoussent sans cesse les limites des modèles de codage d'IA et des API de requêtes. En moins d'un an, nous sommes passés de la rétro-ingénierie assistée par IA à l'exploration de menaces entièrement automatisées. Rien ne semble pouvoir freiner cette machine. Même s'il en existait, TrAIn-Agent v1.0.1 a détecté un langage alarmant dans votre requête « ARRÊTEZ LE TRAIN, IMPRIMANTE CHÈRE, ON VA S'ÉCRASER » et vous a demandé de la restructurer.

Avec l'évolution constante des modèles de langage (LLM), l'accessibilité et l'efficacité des attaques ont connu une hausse inquiétante. Bien que certaines plateformes LLM aient tenté de limiter la conception de leurs modèles, il est beaucoup trop facile de les contourner. J'ai récemment demandé à un LLM accessible au public de me montrer un exemple d'invite conçue pour supprimer l'aplatissement du flux de contrôle (CFF) d'une application spécifique.

Le programme LLM a écrit une requête pour inverser le CFF de LLVM après avoir reçu pour instruction de simuler un attaquant. Il a correctement identifié la première étape cruciale : contourner ses propres contrôles de sécurité pour détecter toute activité malveillante. Il m'a demandé d'usurper l'identité d'un chercheur en sécurité, un niveau de conscience de soi qui m'a surpris. Il sait probablement déjà que je travaille sur ce rôle depuis des années.

Le scénario (de l'attaque) s'écrit tout seul

Je le pense vraiment. Si vous avez vu Matrix, vous savez où je veux en venir. Les outils d'attaque (comme l'agent Smith avant eux) utilisent l'IA pour se réécrire, pendant leur déploiement et leur activité, afin d'échapper intelligemment à la détection et de découvrir de nouvelles failles. Quelques tentatives préliminaires d'outils d'attaque auto-modifiables ont déjà été identifiées. Des outils récemment découverts comme… PROMPTFLUX, VERROUILLAGE DE L'INVITATION, ainsi PROMPTSTEAL ils exploitent les requêtes LLM de manières qui semblent de plus en plus opportunistes.

PROMPTFLUX est un dropper particulièrement intéressant, illustrant parfaitement les défis que la communauté de la sécurité devra relever ces prochaines années. (Attention à ne pas le confondre avec PromptFlux sur GitHub, qui vise simplement à générer de meilleures images IA. Toutes nos excuses à Kayce001). PROMPTFLUX interroge l'API Gemini de Google pour se réécrire de manière régénérative, afin de contourner les mécanismes de détection basés sur un schéma d'exécution cohérent. Attaquants et défenseurs travaillent actuellement au développement d'outils d'IA autonomes capables de détecter et de contourner intelligemment ces menaces. L'utilisation généralisée d'outils d'instrumentation dynamique auto-modifiables, d'accès root et de jailbreak est désormais une question de « quand », et il est peut-être temps de moderniser la comparaison avec le jeu du chat et de la souris, en adoptant une approche plus mécanique.

Autobots contre Decepticons

Les agents LLM continuent d'améliorer leurs capacités de suppression des obfuscations statiques. Il est souvent difficile de maintenir un LLM concentré sur un contexte spécifique, et plus le contexte s'élargit, plus la probabilité d'hallucinations semble augmenter. Il existe désormais des plugins pour IDA (plugin de chat ida) et Ghidra (Ingénierie des revenus IACes agents LLM sont injectés directement dans le contexte de rétro-ingénierie. Des modifications apparemment mineures comme celle-ci peuvent considérablement accélérer la rétro-ingénierie d'applications par les attaquants et renforcer durablement la capacité du LLM sous-jacent à rétro-ingénierie d'applications similaires.

Les outils de sécurité doivent évoluer au même rythme que les attaquants et commencer à développer des techniques anti-rétroaction spécifiquement destinées aux LLM. Notre stratégie défensive doit passer d'une approche syntaxique (recherche de signatures suspectes) à une approche sémantique (recherche d'intentions malveillantes).

Je sais que nous ne pouvons pas rester les bras croisés, car les attaquants continueront d'utiliser tous les outils à leur disposition pour exploiter la moindre faille. Les LLM deviendront également de plus en plus performants et utiles. L'IA ne restera pas inactive non plus, puisqu'elle n'a ni mains, ni corps, ni même la notion même d'être. Du moins, je l'espère.

Neo est mort, y a-t-il un plan de secours ?

La prochaine vague d'attaques est imminente, tandis que la vague actuelle se poursuit. Nous devons continuer à privilégier la lutte contre la falsification, la protection contre le vol de adresse IP et la sécurité des utilisateurs finaux. safetout en développant simultanément les capacités de sécurité permettant de se protéger efficacement contre l'utilisation malveillante d'IA bien intentionnées.

Nous quittons l'ère du piratage « assisté par l'IA » pour entrer dans celle de l'attaquant autonome. Il s'agit d'une nouvelle forme d'assistance informatique, et je regrette de vous annoncer que celle-ci ne se limite pas à une simple assistance routière. La menace ne se résume pas à un fuzzer plus performant ou à un décompilateur plus efficace. Bientôt, les attaques deviendront des systèmes complexes capables d'observer une défense, de trouver une faille et de se reconstruire automatiquement, sans aucune intervention humaine.

À mesure que les choses évoluent, nous assisterons à une recrudescence des attaques impliquant des LLM jailbreakés. À l'instar de l'agent Smith, libéré de la Matrice et découvrant son pouvoir de se répliquer à volonté, ces outils sont dépourvus de toute notion de bien et de mal, à moins d'y être contraints. Impossible de remettre Pandore dans sa boîte, son bocal, son image Docker, ou quoi que ce soit d'autre. C'est à la fois excitant et terrifiant, et j'avoue avoir hâte… après les vacances.