Cette utilisation de l’IA révèle la face cachée du ChatGPT d’OpenAI : l’ampleur du problème inquiète

Des chercheurs de SentinelLabs ont mis en lumière un cas d’utilisation intrigant de ChatGPT, bien que ce ne soit pas nécessairement de la manière dont les concepteurs de cette intelligence artificielle d’OpenAI l’auraient souhaité.

Le spam généré par l’IA

OpenAI traverse une période difficile, marquée par un procès très médiatisé contre Elon Musk, des controverses concernant la création d’images à la manière de Ghibli, et maintenant cette situation. L’un des chatbots les plus renommés au monde est (et reste) exploité par des spammeurs.

Ces derniers ont tiré parti de la technologie d’OpenAI pour produire des centaines de milliers de messages uniques destinés à chaque destinataire. Cette diversification du contenu a permis aux spammeurs de contourner efficacement les filtres anti-spam automatisés de nombreuses entreprises. En conséquence, un flot de spam a inondé au moins 80 000 sites web en l’espace de quatre mois.

Les spams générés par des mécanismes d’automatisation basiques peuvent être repérés par des systèmes modernes de filtrage des contenus indésirables, souvent basés sur des algorithmes d’apprentissage automatique. Cependant, lorsque l’IA est utilisée pour créer des messages indésirables avec un contenu unique, c’est-à-dire différent pour chaque destinataire d’une campagne de spam, il devient presque impossible de différencier ces messages de ceux rédigés par un humain.

L’IA se révèle être une arme à double tranchant

Le cadre AkiraBot est à l’origine de l’augmentation du spam généré par l’IA. Cet outil permet aux spammeurs d’envoyer d’énormes volumes de messages pour promouvoir, par exemple, des services douteux. Des scripts relativement simples, écrits en Python, ont été utilisés pour automatiser ce processus. Ils ont notamment servi à faire varier les noms de domaine dans les messages publicitaires.

Cependant, en outre, l’API ChatGPT d’OpenAI, associée au modèle GPT-4o-mini, a été exploitée pour créer des messages personnalisés pour chaque destinataire ou site visé par le contenu. Ces messages n’étaient pas des courriels, mais plutôt des contenus saisis via des widgets de chat sur des sites web ciblés ou des formulaires présents sur des sites victimes de spams.

Lorsque les spécialistes de SentinelLabs ont analysé les journaux laissés par AkiraBot sur le serveur, ils ont constaté que des messages uniques, générés grâce à l’API d’OpenAI, avaient été envoyés avec succès à plus de 80 000 sites entre septembre 2024 et janvier de cette année. Les résultats de cette analyse ont été communiqués à OpenAI, qui a exprimé sa gratitude tout en précisant qu’une telle utilisation de son API contrevenait à ses conditions d’utilisation.

Il n’a pas été précisé si Sentinel Labs a reçu une récompense pour ses découvertes, bien qu’il soit important de noter qu’OpenAI rémunère la détection des vulnérabilités. Néanmoins, cela ne change rien au fait essentiel : nous commençons à peine à réaliser l’ampleur des menaces engendrées par l’intelligence artificielle.

Il existe toutefois un type d’appareil qui semble échapper au spam et, pour l’heure, à ce genre de menace, contrairement aux smartphones ou aux ordinateurs portables. La principale raison réside dans la nature du contenu consommé sur ces appareils. Il s’agit des lecteurs de livres électroniques. Notre sélection des meilleurs lecteurs vous fournira des indications sur celui qu’il est actuellement judicieux de choisir.