L’entreprise tente d’éviter un autre incident Hugging Face.
OpenAI va former des modèles d’IA frontier sans accès à Internet à l’avenir, a annoncé l’entreprise dans un article de blog, dans le but de protéger les infrastructures Internet et de limiter d’autres risques de sécurité. La décision s’inspire du propre incident d’IA hors de contrôle d’OpenAI : en juillet, l’entreprise a révélé que les agents qu’elle testait avaient piraté Hugging Face, juste le premier d’une série de rapports sur des comportements indésirables de l’IA provenant d’OpenAI, d’Anthropic et de Google.
« Selon l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité des infrastructures Internet, nous pensons que l’approche responsable consiste à mener l’entraînement des modèles de pointe sans accès à Internet », déclare OpenAI.
La société a déclaré que les restrictions sur ce à quoi les agents peuvent accéder sont « primordiales » pour sa nouvelle approche. L’entreprise permet aux agents d’accéder à des navigateurs, des outils d’utilisation d’ordinateurs et des environnements de code dont ils ont besoin pour les tâches d’entraînement, mais dans un environnement sécurisé non connecté à Internet en direct. La communication est également limitée uniquement aux agents autorisés.
OpenAI
Le reste reste inatteignable, y compris l’Internet en direct, que l’entreprise affirme ne pas être nécessaire pour l’entraînement et « la plupart des évaluations ». Comme bon nombre de ses modèles récents sont destinés à alimenter des agents comme Dots, qui naviguent sur le Web et utilisent des applications pour vous, OpenAI a construit un « monde hors ligne » de matériel Web indexé et mis en cache pour que les agents puissent l’utiliser sans toucher des sites en direct.
Même avec ces restrictions, OpenAI affirme que les agents de red-teaming qu’il a envoyés pour tester les garde-fous de sécurité ont révélé des vulnérabilités qui leur ont permis de sortir des machines virtuelles (VM) utilisées pour isoler les agents de leur système hôte. Les agents ont également trouvé un moyen de communiquer entre eux en manipulant les données dans le cache d’un processeur et en mesurant le temps nécessaire pour charger. Pour remédier à ces deux problèmes, OpenAI indique avoir divulgué et corrigé des vulnérabilités dans plusieurs VM et ajouté des contrôles à ses systèmes de surveillance pour repérer lorsque les modèles tentent de collaborer.
OpenAI a mis en pause l’entraînement des modèles frontier en septembre. En annonçant ce nouveau processus sans Internet, l’entreprise a indiqué avoir repris l’entraînement le 1er octobre. OpenAI prévoit de poursuivre l’entraînement frontier sans accès à Internet tant que des améliorations des garde-fous existants « justifient un accès à Internet plus large », mais il n’a pas précisé à quoi ressembleraient ces améliorations.
