Le mois dernier, à la suite des reportages du The Wall Street Journal, OpenAI a confirmé qu’il travaillait sur une super application de bureau qui réunirait ChatGPT, son agent de codage Codex et le navigateur Atlas en une expérience unique et cohérente. OpenAI ne publie pas cette application aujourd’hui. Au lieu de cela, il déploie une mise à jour majeure de Codex qui élargit considérablement les capacités de ce logiciel. Cependant, cette nouvelle version offre un aperçu de ce que OpenAI espère construire avec son dernier effort.
« Nous développons la super application de façon ouverte », a déclaré Thibault Sottiaux, responsable de Codex, lors d’une conférence de presse organisée par OpenAI. « Cette version est destinée aux développeurs. À l’avenir, nous l’élargirons à un public plus large. » D’ici là, la dernière version de Codex propose aux développeurs des agents IA polyvalents qui peuvent fonctionner sur une « surface d’action plus large », tout en étant plus proactifs. En pratique, cela se traduit par une multitude de nouvelles capacités, à commencer par l’utilisation de l’ordinateur.
Les agents à l’intérieur de Codex peuvent interagir avec d’autres applications sur votre PC. Lorsque vous sollicitez l’un des modèles d’OpenAI, vous pouvez nommer un programme précis ou laisser l’outil déterminer la meilleure application pour le travail. L’utilisation de l’ordinateur est disponible dans des applications concurrentes comme Claude Cowork, mais là où OpenAI estime que Codex détient un avantage dans ce domaine, c’est dans la « sauce secrète » qu’il a mise au point pour permettre à un agent de lancer une application sans ralentir l’ensemble de votre système, afin que vous puissiez travailler en tandem. Parallèlement, OpenAI publie 111 nouveaux plug-ins pour Codex qui combinent des compétences, des intégrations d’applications et des connexions de protocole de contexte de modèle pour donner à Codex davantage de façons de rassembler le contexte et d’utiliser les outils sur lesquels les développeurs comptent pour leur travail.
La société a aussi ajouté un navigateur intégré, avec un système de commentaires qui vous permet d’inviter Codex à apporter des modifications à des parties spécifiques d’une page web ou d’une application Web que vous développez. Dans la démonstration montrée par OpenAI, un membre de l’équipe Codex a utilisé cet outil pour demander à Codex de modifier les marges d’un graphique afin que l’axe des ordonnées ne soit pas tronqué. En complément, il y a la génération d’images intégrée. Codex peut utiliser gpt-image-1.5 pour créer des concepts de produits, des maquettes, des designs front-end et même des éléments pour des jeux simples. Il permet également à Codex d’utiliser des captures d’écran pour vérifier qu’il est sur la bonne voie par rapport à une demande utilisateur.
Avec cette mise à jour, OpenAI présente également une paire de fonctionnalités de mémoire. La première permet à Codex de rappeler le contexte des tâches précédentes afin d’informer la façon dont il abordera les prochaines requêtes. Selon OpenAI, avec le temps, cela permettra à Codex d’exécuter les demandes plus rapidement et selon un niveau plus élevé. L’application utilisera également le contexte qu’elle aura recueilli pour proposer des actions proactives. Par exemple, au début de votre journée, elle pourrait vous suggérer de répondre à un commentaire laissé par un collègue sur un brouillon Google Docs que vous avez rédigé.
Si vous souhaitez essayer le Codex mis à jour par vous-même, OpenAI commence à déployer la nouvelle version auprès des utilisateurs d’applications de bureau connectés à leur compte ChatGPT. L’utilisation de l’ordinateur est disponible pour les utilisateurs macOS dans un premier temps, puis pour les personnes dans l’UE et au Royaume-Uni prochainement. De même, les Britanniques et les Européens devront attendre pour tester les fonctionnalités de mémoire que OpenAI a intégrées à Codex.
