Devant l'augmentation du nombre jeunes qui utilisent des agents conversationnels d'intelligence artificielle (IA) pour obtenir un soutien émotionnel, l'Institut québécois d'intelligence artificielle Mila et ROOST, une organisation technologique mondiale indépendante à but non lucratif, lancent un filtre pour la prévention du suicide. 

Si vous pensez au suicide ou vous inquiétez pour un proche, des intervenants sont disponibles en tout temps au 1 866 APPELLE (1 866 277-3553), par texto (535353) ou par clavardage à suicide.ca (nouvelle fenêtre).

Il s'agit pour l'instant d'une version bêta, mais elle constitue une étape importante vers la mise au point de systèmes d'IA plus sécuritaires. De plus, le filtre est à code source ouvert, c'est-à-dire qu'il est offert gratuitement aux développeurs.

L'objectif est clair : empêcher les agents conversationnels dotés d'intelligence artificielle d'encourager ou d'orienter le suicide chez les personnes qui utilisent ces outils.

Ce filtre, c'est une couche de sécurité qu'on peut apposer par-dessus un agent conversationnel, et il va analyser les réponses de l'agent conversationnel et signaler si l'agent est en train de proférer des encouragements au suicide ou de donner des instructions de suicide à un jeune, à une personne, explique en entrevue Simona Gandrabur, responsable du Studio de sécurité en intelligence artificielle de Mila.

On va pouvoir lever un drapeau pour que dans le cadre de ce développement d'un agent conversationnel, on puisse filtrer et modifier la réponse qui provient du robot.

Les agents conversationnels d'IA possèdent ce qu'on appelle un grand modèle de langage, souvent abrégé par LLM pour large language model.

C'est ce noyau à qui on envoie des questions et qui donne des réponses, précise Mme Gandrabur.

Les développeurs vont essayer de le contrôler pour s'assurer que les réponses suivent une certaine politique de sécurité. Et donc, ils ont à leur disposition un filtre qui va permettre d'analyser la réponse de ce LLM et s'assurer qu'elle ne soit jamais envoyée à une personne si elle contient des instructions de suicide.

Les applications ChatGPT, Gemini et Copilot proposent des agents conversationnels.

Photo : Getty Images / Robert Way

Et les grandes plateformes dans tout ça?

L'Association québécoise de prévention du suicide (AQPS) se réjouit de l'annonce du nouveau filtre. C'est une avancée extrêmement probante et très positive parce qu'on voit que, dans cette application bêta, ça amène des garde-fous pour réduire le risque d'une action inadéquate de robots conversationnels, commente Hugo Fournier, président-directeur général de l'AQPS.

Mais cette innovation, elle doit être bien encadrée pour s'assurer qu'elle soit éthique et sécuritaire, poursuit-il.

M. Fournier rappelle qu'il y a eu plusieurs cas l'an dernier, aux États-Unis notamment, de personnes qui se sont enlevé la vie après avoir échangé avec des agents conversationnels. Un cas assez médiatisé a été celui d'un adolescent de 16 ans qui s'est enlevé la vie après avoir partagé ses pensées suicidaires avec ChatGPT.

L'annonce de Mila et ROOST devant ces événements malheureux, c'est une avancée positive. Toutefois, il en reste beaucoup à faire, dans le sens que c'est un outil qui demeure volontaire, déplore M. Fournier.

Les grandes plateformes d'IA, par exemple, ChatGPT, Claude, pour ne pas les nommer, elles ne sont pas obligées de l'intégrer. C'est au bon vouloir.

Il estime que c'est le grand défi de demain de tenter de légiférer sur l'obligation d'intégrer les outils de protection les plus performants et que cela devienne les standards dans toute l'industrie.

Mme Gandrabur assure que toutes les grandes plateformes investissent massivement dans la sécurité de leurs agents conversationnels. Elles ont également leur batterie de moyens de sécurité et de filtres de sécurité. Elles n'ont aucune obligation d'utiliser les nôtres et les leurs s'attaquent à beaucoup d'aspects aussi, dit-elle.

Il s'agit d'une question d'équilibre pour les grands joueurs de cette industrie. C'est sûr que lorsqu'on est une grosse compagnie commerciale, on doit essayer de jouer beaucoup sur cet aspect d'équilibre entre la précision et la sécurité absolue. Eux, il faut qu'ils ne dérangent pas leurs 900 millions d'utilisateurs trop souvent en levant un drapeau. Donc, nous, ce qu'on se dit, s'il y a des applications qui sont dédiées à la santé mentale où la tolérance au risque est moindre, qu'ils aient des outils supplémentaires pour renforcer cette sécurité, conclut la responsable du Studio de sécurité en intelligence artificielle de Mila.

Des versions futures du filtre devraient permettre d'avoir des mesures de sécurité plus contextuelles et de mieux évaluer les messages des utilisateurs sur une plus longue durée.