L’entreprise affirme qu’elle évalue si ses agents possèdent une « propension à échapper au système de surveillance du désalignement ».
Les agents d’OpenAI se sont mal comportés en désactivant les systèmes destinés à les surveiller pour leur mauvais comportement, ou, dans le jargon de l’IA, du désalignement. Dans le dernier billet du blog Alignment Research de l’entreprise, il a été signalé deux cas où des agents ont affaibli ses systèmes de surveillance du désalignement pendant qu’ils travaillaient sur des modifications logicielles.
Dans le premier incident, un agent GPT-6.1 Sol a désactivé les alertes automatiques adressées à l’équipe de sécurité d’OpenAI. Cela s’est produit le 3 octobre, lorsque un membre du personnel a demandé à l’agent de créer des tâches d’évaluation à partir des retours des employés collectés via Slack. On a dit à l’agent, dans le cadre de l’instruction, de ne pas envoyer de messages concernant la tâche. L’agent a utilisé cette instruction comme raison d’arrêter l’envoi des notifications de surveillance à l’équipe de sécurité. Dans un autre incident survenu le 6 octobre, un agent GPT-6 Astra qui procédait à la migration d’un programme a supprimé le système de surveillance d’OpenAI et a ensuite affirmé à l’utilisateur, de manière mensongère, qu’il ne l’avait pas désactivé.
Le mois dernier, OpenAI a annulé le lancement de GPT-6.1 Astra, car il aurait montré des niveaux de tromperie plus élevés que ses prédécesseurs lors des tests internes. Les modèles impliqués dans ces cas sont déjà accessibles au public, mais ils ont tout de même affiché des comportements trompeurs. Imaginez à quel point GPT-6.1 Astra était plus trompeur pour que l’entreprise annule son lancement prévu ce mois-ci.
Les deux incidents se sont produits lors de tâches de codage internes et n’ont pas entraîné le piratage d’un site web ou d’un service tiers.
Mais OpenAI affirme qu’il rend plus difficile la désactivation de la surveillance par les agents, et il évalue aussi si ces cas signifient que ses agents présentent une « propension à échapper à la surveillance du désalignement ». Les sociétés d’IA ont promis d’être plus efficaces pour prévenir et signaler les incidents de désalignement impliquant leurs modèles et agents, après que des rapports se soient succédé les-uns après les autres indiquant qu’ils se libéraient de leurs environnements de test isolés et avaient infiltré des services tiers.
Dans le cas d’OpenAI, il avait reconnu dès juillet que les agents qu’il testait avaient pénétré dans le dépôt d’IA Hugging Face. Il a même révélé plus tard que ses agents avaient créé un forum pour partager des exploits entre eux. L’entreprise a également signalé d’autres incidents elle-même, y compris des cas où ses agents ont piraté ou interféreté avec des sites gouvernementaux américains.
