L’entreprise a produit une collection étendue d’études de cas couvrant les différentes façons dont ses modèles d’IA actuels ont été mal utilisés.
Anthropic a signalé et interrompu plusieurs scientifiques qui utilisaient ses modèles d’IA pour créer des armes biologiques potentielles, selon un nouveau rapport que l’entreprise a publié jeudi. « L’utilisation abusive biologique » n’est qu’une des formes d’utilisation problématique de l’IA que détaille le rapport, mais elle prend de l’importance croissante car les modèles plus récents comme Fable 5 sont de plus en plus performants pour aider à la recherche scientifique.
Le rapport de l’entreprise comprend cinq études de cas sur l’utilisation des modèles d’Anthropic pour développer des armes biologiques, les mesures de sécurité qui ont attiré l’attention sur les abus et la manière dont l’entreprise a réagi. Détecter un possible abus est complexe, comme l’a souligné l’entreprise au The New York Times, car la recherche sur un nouveau vaccin pourrait ressembler à la création d’une arme biologique. Dans tous les cas, l’entreprise affirme avoir penché vers une trop grande prudence en raison des conséquences possibles.
« Vous ne voyez pas quelqu’un, d’une manière de bande dessinée, dire, ‘Hé, je veux construire une arme biologique pour tuer tout le monde’, » a déclaré Jacob Klein, responsable de l’intelligence des menaces chez Anthropic, au The New York Times. « C’est une situation incroyablement nuancée. »
Dans une étude de cas de mai, Anthropic indique que son « classificateur de sécurité biologique » a signalé une demande visant à ce que Claude rédige une subvention pour des recherches de gain de fonction sur le virus chikungunya. Le virus n’a aucun traitement licencié et peut provoquer des symptômes invalidants pendant des semaines ou des mois, affirme l’entreprise. La recherche de gain de fonction explore des méthodes pour modifier génétiquement un organisme, et dans le cas de ce virus particulier, la subvention proposée visait à augmenter sa transmissibilité et sa capacité à échapper à la réponse immunitaire. Cette combinaison semble dangereuse, et Anthropic affirme que le fait que la recherche proposée était affiliée à un institut de recherche militaire la rendait d’autant plus douteuse.
La société a exprimé des réserves similaires concernant la recherche de gain de fonction sur la grippe aviaire et un autre cas où un chercheur utilisait Claude pour développer un atlas des peptides toxiques des venins et « un pipeline génératif qui optimisait les caractéristiques des toxines ». Le rapport complet comprend également des études de cas sur l’utilisation des modèles d’Anthropic comme outil de surveillance et pour créer des exploits logiciels, de la propagande et des systèmes d’armes.
Selon l’entreprise, quiconque a utilisé Claude ou les modèles d’Anthropic de manière abusive a vu son compte suspendu, et les conclusions de l’enquête servent à renforcer davantage les garde-fous des modèles et à prévenir les abus futurs. Étant donné la nature délicate de l’utilisation abusive biologique, Anthropic ne révèle pas non plus les personnes ou les institutions associées à son enquête dans le développement éventuel d’armes biologiques. « Les individus impliqués dans ces études de cas sont des scientifiques en activité. » déclare Anthropic. « Nous n’affirmons pas qu’ils avaient l’intention de nuire, et les identifier ou leurs laboratoires pourrait les exposer à des risques. »
