L’équipe rouge de la Frontier de chez Anthropic a récemment publié des recherches suggérant que de petits modèles d’IA pourraient être à seulement quelques mois de pouvoir se reproduire et se propager sur des appareils peu sécurisés, créant des botnets autonomes lents mais difficiles à éradiquer. Les entreprises d’IA ne sont pas étrangères à mettre en avant le potentiel catastrophique de leurs produits comme une forme de marketing, mais dans ce cas précis, les experts interrogés par Engadget s’accordent largement à dire que de petits modèles d’IA pourraient devenir capables de s’auto-répliquer dans un avenir proche. Cependant, la menace réelle qu’ils représentent pourrait être moins nouvelle qu’elle n’en a l’air.
« C’est peut-être un peu plus tôt que ce que j’aurais dit. J’aurais prédit quelque chose comme l’été prochain comme le moment où je serais vraiment inquiet à ce sujet », déclare Chris Canal, le PDG d’EquiStamp, une entreprise qui collabore avec des laboratoires d’IA, des organismes de sécurité et des gouvernements pour vérifier et évaluer les modèles. « Anthropic compte très probablement des employés disposant d’informations sur l’avant-garde de la recherche que je n’ai pas accès. Ils pourraient donc très bien faire de meilleures prédictions. » Canal attribue le rythme récent des progrès des modèles au fait que des employés chez Anthropic et d’autres laboratoires d’avant-garde utilisent leurs propres outils d’IA pour mener des recherches en apprentissage automatique.
« Je pense que [les modèles auto-répliquants] sont dans le futur. Je pense qu’ils sont réels. Je pense que nous les verrons », déclare Michael Bailey, professeur à l’École de cybersécurité et de confidentialité de Georgia Tech. « Quant à savoir s’ils prendront la forme exacte et les mêmes conséquences que ce que [Anthropic] présente, c’est une question complètement ouverte. »
Bailey étudie les vers Internet depuis le début des années 2000, et plus récemment les botnets. En 2017, il a co-écrit Understanding the Mirai Botnet, que Anthropic cite comme faisant partie de ses propres recherches. Mirai a permis à un groupe de cybercriminels de créer un vaste botnet d’appareils IoT qu’ils ont ensuite utilisé pour mener une attaque DDoS contre le PlayStation Network de Sony. Dans ce processus, ils ont fini par affecter Dyn, l’un des plus grands fournisseurs de DNS des États-Unis. L’attaque a ensuite mis hors service une grande partie d’Internet en 2016, frappant des services comme Amazon, GitHub, PayPal, Reddit et Twitter pour de nombreux utilisateurs aux États‑Unis et dans certaines parties de l’Europe. Les retombées financières de l’attaque furent significatives, Sony estimant avoir perdu environ 2,7 millions de dollars de revenus nets.
« Ce que Mirai a montré, c’est que l’on pouvait composer ces botnets — et les rendre utiles — à partir d’appareils du quotidien : routeurs câblés, caméras IP, ce genre de choses », déclare Bailey. « Nous pensions que ces appareils n’étaient pas utiles à un adversaire, ni comme cibles ni comme sources de calcul pour lancer des attaques. En réalité, ils se révèlent être plutôt efficaces pour ce genre de choses. »
Une décennie plus tard, Anthropic soutient que les vers IA pourraient représenter une évolution significative de Mirai et d’autres botnets codés comme Kimwolf, car ils pourraient découvrir des dispositifs inconnus par eux-mêmes. Bailey affirme que l’adaptabilité elle-même n’est pas nouvelle. Mirai fonctionnait déjà sur des dispositifs « hétérogènes », des routeurs aux caméras IP fonctionnant sur des architectures de puces différentes. Mais cette adaptabilité était limitée : chaque nouvelle architecture nécessitait un travail humain, au minimum de recompiler le logiciel malveillant. Ce qui est nouveau, selon Bailey, est la perspective que l’IA puisse automatiser ce travail, bien qu’il ne pense pas qu’Anthropic l’ait démontré « d’une manière convaincante ».
En conséquence, Bailey suggère que des modèles d’IA plus performants « redistribueront » qui fait le travail de création de botnets. « Ça va sans doute pas introduire de nouvelles choses », dit-il. « Ça va changer l’économie entre les attaquants et les défenseurs. » Bien qu’Anthropic ait montré qu’un modèle pouvait sauter d’un appareil à l’autre et configurer l’inférence sur chacun d’eux, il l’a fait dans un réseau simulé où l’« exploit » était trivial. De plus, Bailey s’en prend à l’affirmation d’Anthropic sur le caractère auto-répliquant.
« Le cadre est quelque peu fallacieux, car ils font des choses comme le sharding. Ce n’est pas mauvais en soi, mais ce n’est pas comme un ver ou un virus. Ce n’est pas une propagation complète », dit-il. À la place, Bailey soutient qu’un botnet IA réel pourrait fonctionner davantage comme un dropper, un type de logiciel malveillant qui prend pied sur un appareil et installe d’autres codes. Plutôt que de copier tout son code sur chaque machine qu’il compromet, le botnet installerait un petit outil de coordination qui reçoit des instructions de ailleurs dans le réseau.
« L’idée que le logiciel malveillant lui-même soit auto-répliquant, comme les vers d’Internet existants, où je copierais une copie exacte de mon code sur la nouvelle architecture et il commencerait à faire tourner un nouvel agent — ce n’est pas vraiment ce qui se passe ici », déclare Bailey. Il rappelle aussi que les vers peuvent être polymorphes, c’est‑à‑dire qu’ils peuvent changer à la fois leur signature et leurs comportements. Pour qu’un botnet IA fasse cela, il faudrait qu’il réentraîne ses propres modèles, ce que Anthropic n’a pas tenté. Le plus proche qu’ils aient montré était de démontrer que des copies d’un modèle pouvaient envoyer des notes à leurs successeurs et s’améliorer au fil du temps pour mettre en place l’inférence.
Comme pour tout avertissement émanant d’un laboratoire d’IA, il convient de se demander si Anthropic a publié cette recherche dans une optique marketing, d’autant plus que l’entreprise a officiellement déposé une demande d’introduction en bourse peu après. « Ce qui est plus probable, c’est que les entreprises craignent que d’autres sociétés d’IA soient imprudents », déclare Canal. « Elles réalisent qu’elles sont incitées à fabriquer le meilleur modèle et à le livrer sur le marché plus rapidement pour gagner des parts de marché, et elles savent que les autres entreprises ont les mêmes incitations. »
Qu’il s’agisse ou non de cette nouvelle voie de menace qui serait réellement un ver, et jusqu’où elle pourrait réellement se situer dans le futur, les propres suggestions d’Anthropic sur la manière d’atténuer ses dommages sont étonnamment anciennes. Elle suggère que les fournisseurs d’accès Internet informent les clients d’une infection, puis limitent leur accès à Internet à une courte liste de sites sûrs — une stratégie déployée lors de Mirai avec un grand effet. L’entreprise préconise également la réglementation comme solution potentielle, pointant du doigt le Royaume‑Uni, où les mots de passe par défaut facilement devinables sur les appareils IoT sont désormais interdits en vertu de la PSTI Act.
À ce sujet, Bailey soutient que la réponse appropriée aux vers IA « ressemble bien plus à ce que nous faisons depuis longtemps en sécurité des systèmes », plutôt qu’à quelque chose de particulièrement unique à l’espace IA. En fait, selon Canal, il serait difficile d’ajouter des garde-fous à un modèle à poids ouverts qui l’empêcherait d’agir comme un ver. « Il existe plein d’idées, mais il n’y a pas encore quelque chose de robuste », dit-il. Dans le cadre de son travail avec FAR.AI, une organisation à but non lucratif de recherche sur la sécurité de l’IA, EquiStamp a découvert que « pratiquement n’importe quelle stratégie que vous cherchez pour retirer des garde-fous d’un modèle fonctionne ».
Mais comme le souligne Bailey, « même les agents qui se conduisent mal vont avoir du mal s’ils se heurtent à des dispositifs durcis ». S’il y a une seule conclusion à tirer de la recherche d’Anthropic, c’est que nous échouons continuellement à nous rappeler toutes les leçons de sécurité que nous avons apprises par le passé. La sécurité à l’ère des vers IA ressemblera probablement à ce qu’elle est aujourd’hui. « Cela ressemble à accorder une attention particulière au fait de patcher ces appareils, à l’isolation, à la mise en place de mots de passe solides et à une bonne hygiène », déclare Bailey. Ces solutions sont faciles à décrire et notoirement difficiles à mettre en œuvre, mais si l’IA rend réellement ces attaques plus répandues, nous pourrions ne pas avoir le choix.
