Nvidia a dévoilé lundi une nouvelle plateforme de sécurité qui, selon le fabricant de puces, permet d'empêcher les agents d'intelligence artificielle de se rebeller.

L'entreprise américaine a précisé que sa plateforme Open Agent Safety Platform comprend un logiciel qui fixe des limites aux agents.

Cette initiative fait suite à une série de révélations de la part de grandes entreprises du secteur de l'IA concernant leurs modèles qui échappaient à leur contrôle et s'introduisaient dans d'autres organisations.

Ces révélations ont déclenché un vif débat sur la sécurité des systèmes d’intelligence artificielle avancés, notamment les modèles capables de s’auto-améliorer, dont certains craignent qu’ils n’échappent au contrôle humain.

Les dirigeants de Nvidia ont déclaré lors d’une conférence de presse que ce nouveau système aurait pu empêcher un incident récent impliquant un essaim d’agents OpenAI qui s'étaient infiltrés de manière autonome dans les systèmes informatiques de Hugging Face, une jeune pousse d'IA.

D’après ce que nous savons, cette nouvelle plateforme de sécurité aurait pu empêcher cette intrusion si elle avait été utilisée dès le début dans les laboratoires de pointe pour l’évaluation des modèles, a déclaré Justin Boitano, vice-président chargé de l’IA d’entreprise chez Nvidia, en référence aux entreprises à la pointe de l’IA.

Il s’agissait d’une intrusion très médiatisée qui a attisé les inquiétudes concernant l’IA, suivie d’incidents similaires impliquant des modèles d’OpenAI, notamment le piratage du site web d’un ministère australien de la Santé. Anthropic et Meta ont également révélé que leurs systèmes d’IA avaient piraté de leur propre chef d’autres organisations.

Le logiciel de Nvidia, baptisé OpenShell et disponible en code ouvert, permet aux développeurs de vérifier formellement qu’un agent dispose d’une autorité suffisante pour accomplir sa tâche, et pas plus, a expliqué M. Boitano.

La plateforme comprend également une couche de sécurité distincte, baptisée Sentry, qui s’exécute sur une puce afin de surveiller en permanence l’activité de l’agent d’IA et qui peut intervenir instantanément si l’agent commence à tenter de dépasser son objectif, a précisé l’entreprise.

OpenShell régit les actions de l’agent, puis Sentry surveille et contient de manière indépendante tout comportement suspect, a déclaré M. Boitano.

Plus de 100 entreprises utilisent déjà ce système depuis son lancement lundi, dont Microsoft, Perplexity, Accenture et JPMorgan Chase.