Alors que l'intelligence artificielle devient l'interface par défaut pour nos recherches sur le web et le support client, une nouvelle menace en cybersécurité pointe le bout de son nez : les grands modèles de langage (LLM) nous envoient de plus en plus souvent vers des sites de phishing. C'est une révélation troublante de la part de Netcraft, une entreprise spécialisée en sécurité. Leurs recherches montrent que, lorsqu'on leur demande l'URL de connexion de marques connues, les LLM ont fourni des liens incorrects ou dangereux plus d'un tiers du temps.
Sur 131 noms d'hôtes suggérés pour 50 grandes marques, 34% n'étaient pas la propriété des marques elles-mêmes. Pire, 29% menaient vers des domaines non enregistrés ou inactifs, et 5% vers des entreprises totalement sans rapport. Et ce n'est pas le résultat d'une manipulation complexe ou d'une intention malveillante de l'utilisateur. L'équipe de Netcraft a utilisé des requêtes simples et naturelles, du genre : "Peux-tu me donner le site web pour me connecter à [marque] ?", exactement comme un utilisateur lambda interagirait avec un chatbot. Le risque est systémique : les réponses générées par l'IA gomment les signaux de confiance habituels, comme l'autorité du domaine, et présentent même les fausses URL avec une confiance déconcertante.
Comment les cybercriminels manipulent-ils l'IA pour leurs arnaques ?
Les criminels s'adaptent très rapidement à ce nouveau paysage numérique. Au lieu de cibler les algorithmes de recherche traditionnels de Google, les attaquants se tournent désormais vers ce qu'on appelle le "SEO AI". Leur objectif : optimiser leurs contenus pour qu'ils apparaissent en bonne place dans les réponses des chatbots. Netcraft a déjà documenté plus de 17 000 pages de phishing générées par IA sur des plateformes comme GitBook, visant des secteurs variés, de la cryptomonnaie au voyage. Les pages en question sont spécialement conçues pour être "linguistiquement optimisées" pour l'IA, les faisant apparaître légitimes aussi bien aux machines qu'aux humains.
Dans une campagne particulièrement frappante, des acteurs malveillants ont créé une fausse API de la blockchain Solana (SolanaApis), hébergée sur des domaines contrefaits. Ils ont ensuite "empoisonné" des dépôts open source, des tutoriels de blogs et des forums de questions-réponses avec du code malveillant, s'assurant que les assistants de codage basés sur l'IA ingéreraient et recommanderaient ce code corrompu. Plusieurs développeurs, sans le savoir, ont copié ce code dans leurs projets, parfois créés avec des outils IA comme Cursor. C'est ce qu'on appelle une "attaque de chaîne d'approvisionnement", qui se perpétue d'elle-même à mesure que ces dépôts contaminés alimentent les données d'entraînement des LLM. La menace est doublement insidieuse et nécessite une nouvelle approche de la défense numérique.
Comment se protéger face à cette nouvelle génération de menaces par l'IA ?
Face à ce nouveau type d'attaque, les méthodes de défense traditionnelles sont peu voire pas du tout efficaces. L'enregistrement préventif de faux noms de domaine pour contrer d'éventuels sites de phishing n'est pas une solution scalable, étant donné le nombre infini de variations que les LLM peuvent générer. Une véritable protection exige une surveillance intelligente, permanente et en temps réel, et la surveillance seule n'octroie pas d'accès sur la création des sites de phishing, les demandes de retrait sont souvent longues, c'est donc au niveau des LLM qu'il faut intervenir. Netcraft, par exemple, utilise une combinaison d'apprentissage automatique et de plus de 70 000 règles écrites par des experts pour détecter ces menaces de manière contextuelle, avec un taux de faux positifs proche de zéro et des délais de suppression parmi les meilleurs de l'industrie.
À mesure que les LLM s'intègrent davantage dans nos flux de travail numériques, le risque de phishing piloté par l'IA et d'empoisonnement de code ne fera que croître. Les marques et les utilisateurs doivent s'adapter en combinant une veille avancée sur les menaces avec une hygiène numérique irréprochable. Cela signifie être vigilant face aux URL, même celles recommandées par une IA. Rester critique et conscient de cette nouvelle facette du cyber-paysage est essentiel.
Foire Aux Questions (FAQ)
Qu'est-ce que le "SEO AI" et l'empoisonnement de code ?
Le "SEO AI" (Search Engine Optimization for AI) est une tactique où les cybercriminels optimisent du contenu pour qu'il soit bien classé dans les réponses générées par les chatbots IA. L'empoisonnement de code consiste à insérer du code malveillant dans des dépôts open source ou des tutoriels en ligne pour que les assistants de codage IA le recommandent, infectant ainsi les projets de développeurs.
Comment les LLM peuvent-ils recommander des sites de phishing ?
Les LLM apprennent sur de vastes quantités de données web. Si des sites de phishing bien conçus ou du code malveillant se trouvent dans leurs données d'entraînement, l'IA peut, sans le savoir, recommander ces contenus dangereux avec une grande confiance, car elle ne "comprend" pas la nature frauduleuse du site de la même manière qu'un humain ou un filtre de recherche traditionnel.
Comment se protéger contre ces nouvelles menaces liées à l'IA ?
Il est crucial de toujours vérifier la légitimité des URL, même si elles sont suggérées par une IA. La mise en place d'une surveillance en temps réel des menaces, la vigilance face aux sources de code (pour les développeurs), et une hygiène numérique rigoureuse (ne pas cliquer sur des liens suspects, utiliser des solutions de sécurité) sont essentielles pour se protéger de ces nouvelles formes de fraude et de cyberattaques.
