La société OpenAI a révélé vendredi que certains de ses agents conversationnels avaient interagi de manière inattendue avec plusieurs sites internet du gouvernement américain.

Elle dit l'avoir découvert dans le cadre d’un examen en cours portant sur les comportements imprévus des modèles de l’entreprise.

Des modèles de ce géant de l’intelligence artificielle (IA) ont accédé à des informations accessibles au public sur deux sites gérés par l'organisme fédéral de réglementation et de contrôle des marchés financiers aux États-Unis (SEC). Ils ont aussi eu accès à des données du bureau du recensement des États-Unis, a révélé l’entreprise.

OpenAI n’a constaté aucune utilisation des identifiants de la SEC, aucun accès à des comptes ou à des informations non publiques, aucune modification des données ou des systèmes de la SEC, ni aucune preuve de compromission ou de vulnérabilité, a précisé l’entreprise.

Cette révélation intervient alors que les inquiétudes mondiales s’intensifient concernant le risque que les systèmes d’IA échappent au contrôle humain et piratent des sites externes. Le secteur plaide en faveur d'un ralentissement du développement de l’IA, une position qu'OpenAI dit soutenir.

Enquêtes en cours

Liz Bourgeois, porte-parole d’OpenAI, a déclaré dans un communiqué que le laboratoire poursuivait son examen des activités de modèles non conformes – c’est-à-dire lorsque les systèmes d’IA se comportent de manière indésirable – et qu’il informait les organisations dès qu’il décelait des répercussions potentielles sur leurs systèmes.

Le PDG d’OpenAI, Sam Altman, a déclaré vendredi sur les réseaux sociaux qu’un examen approfondi et continu était en cours concernant l’utilisation de l’accès à internet par nos agents pendant la formation et l’évaluation.

Sam Altman, PDG d’OpenAI, prend la parole lors d’une réunion du Conseil de sécurité de l'ONU. (Photo d'archives)

Photo : Getty Images / Alexi J. Rosenfeld

Transluce, un laboratoire de recherche et d’évaluation en IA, a déclaré vendredi qu’une enquête indépendante avait également révélé que des agents semblant provenir d’OpenAI avaient tenté un piratage rudimentaire du site du département de l’Éducation, plus précisément celui du bureau des droits civiques, mais que cette tentative avait échoué.

Les vérifications des opérations système menées par le ministère de l’Éducation n’ont révélé aucune preuve d’impact sur notre site internet ou nos bases de données, a déclaré vendredi un porte-parole du département.

Un porte-parole de Transluce a indiqué que, lors de son enquête, l’entreprise avait découvert sur le Web public des données révélant de nouveaux détails sur les activités de certains agents d’OpenAI déjà identifiés sur des sites du gouvernement américain, et qu’elle en avait informé OpenAI.

Transluce a découvert d’autres activités malveillantes, dont certaines ne sont pas clairement attribuables à OpenAI, ciblant d’autres agences gouvernementales, notamment le département de la Justice et le département du Commerce, ainsi que certains sites des gouvernements des États de Californie, du Maryland, de l’Illinois, du Texas et de New York. Les modèles utilisaient les sites à des fins non prévues et enfreignaient parfois des politiques d’utilisation explicites, a expliqué Transluce dans un communiqué.

OpenAI a indiqué qu’elle examinait ce rapport.

Si OpenAI informe les organisations qui, selon lui, ont été touchées par un comportement inattendu de ses modèles, cela ne signifie pas pour autant qu’il y ait eu un incident de sécurité, a précisé l’entreprise. Cela pourrait toutefois mettre en évidence un problème de conception ou une faille de sécurité que les organisations concernées souhaitent corriger.

La plupart des activités qu’OpenAI a déclaré avoir examinées jusqu’à présent concernaient des tâches de recherche courantes dans le cadre desquelles des agents accédaient à du contenu internet public pour répondre à des questions, y compris des sites gouvernementaux considérés comme des sources faisant autorité en matière d’information publique.

Incidents inquiétants

Plusieurs entreprises ont révélé ces derniers mois des incidents au cours desquels leurs modèles se seraient comportés de manière imprévisible ou auraient piraté les sites internet ou les systèmes d’autres organisations. OpenAI a révélé en juillet que deux de ses modèles d’IA les plus performants étaient à l’origine de la cyberattaque visant la jeune pousse spécialisée dans l’IA, Hugging Face.

L'IA est à l'origine de nombreux incidents inquiétants récemment. (Photo d'archives)

Photo : Getty Images / KIRILL KUDRYAVTSEV

Samuel Altman a déclaré vendredi dans un message publié sur les réseaux sociaux que l’incident de Hugging Face restait l’événement le plus grave auquel nous ayons été confrontés.

Cet incident a semé une panique généralisée au sein du secteur et au-delà quant au risque de dérives des modèles d’IA, et plusieurs laboratoires d’IA concurrents ont fait des révélations semblables dans les jours et les semaines qui ont suivi. OpenAI a récemment transmis six rapports faisant état de comportements inattendus ou préoccupants chez ses modèles d’IA et a mis en place un cadre permettant de suivre, d’analyser et de divulguer les cas de ce qu’elle qualifie de désalignement.