Depuis quelques mois, de plus en plus régulièrement, des fournisseurs d’IA annoncent ne pas mettre à disposition leurs modèles, ou du moins les versions récentes les plus complètes [1]. Le cas le plus médiatique est l’annonce d’Anthropic1 concernant la dernière version de son modèle Claude, capable de détecter tellement de failles informatiques qu’il mettrait tout l’internet en danger s’il tombait entre de mauvaises mains [2].
Toutes ces déclarations relancent la question du danger représenté par l’IA pour l’humanité. Du spécialiste de l’IA et récipiendaire du prix Turing Yoshua Bengio au pape Léon XIV [3, 4], de nombreuses personnalités mettent en garde contre les dangers de l’IA. Elles en appellent au contrôle strict de l’IA au sein de nos sociétés.
Il faut reconnaître que les exemples d’IA se comportant de manière dysfonctionnelle se multiplient, même si les effets qui en découlent restent encore limités. Mais la crainte de plus en souvent mise en avant est celle d’une IA s’échappant d’un environnement contrôlé pour s’autonomiser des humains2, un scénario digne de Hollywood.
Les principaux responsables des gros modèles3 d’IA ne sont pas les derniers à crier au loup. Certains demandent aux autorités d’anticiper cette fin soi-disante inéluctable, se dédouanant au passage de toute responsabilité dans cette évolution tant redoutée.
Sommes-nous réellement à ce point au bord du précipice ? Une IA pourrait-elle vraiment s’en prendre aux humains, voire programmer l’extinction de l’humanité ? Comme souvent, la réalité est plus subtile, et la distance entre possibilités actuelles et anticipées est plus grande que celle fantasmée.
Une IA diabolique ?
Les recherches scientifiques montrant que l’IA se conduit de manière non éthique foisonnent ces derniers temps. Il ne s’agit pas seulement de potentialités nouvelles, comme pour le modèle d’Anthropic, mais de comportements non éthiques résultant d’un simple usage des modèles existants4.
Différentes études soulignent, par exemple, que des agents intelligents5 peuvent adopter des stratégies malveillantes, comme faire chanter des êtres humains ou mentir à d’autres qui sont en position de faiblesse [5, 6]. De même, une recherche indique que des modèles d’IA n’hésitent pas à inventer des données pour soutenir des hypothèses scientifiques [7]. En réalité, ce type de cas prolifère.
À ceux qui se disent qu’il suffit de les «débrancher», des chercheurs montrent que certains modèles d’IA, s’ils trouvent un script6 visant à les remplacer, génèrent des instructions qui l’empêchent, généralement en tentant de le détruire [8].
Sachant que l’IA peut faire changer d’avis politiques des humains qui ont une conversation avec elle [9], elle pourrait pousser des humains à adopter des comportements néfastes pour leur propre existence 7. Le nombre de suicides après des discussions avec un agent conversationnel nous le rappelle cruellement.
L’IA n’est qu’une représentation des humains
En fait, rien de très surprenant. Les IA actuelles sont optimisées pour reproduire les exemples qu’on leur fournit. Dès lors que leurs corpus d’apprentissage contiennent d’innombrables chroniques historiques et romans en tout genre, les modèles apprennent à générer des réponses identiques lorsqu’ils sont confrontés à des descriptions de situations identiques.
Or ces corpus se composent tous de contenus créés par des humains8. Donc tous les comportements humains se retrouvent quelque part au cœur des modèles. Malheureusement nous savons que les biais, le harcèlement, le mensonge et les agressions constituent des comportements quotidiens pour quantité d’humains, même les plus «ordinaires».
Dès lors que l’IA s’inspire, pour produire ses résultats, d’une masse d’exemples du type «dans une situation donnée, on peut faire ça» trouvés dans son corpus d’apprentissage, elle reproduit de facto des comportements adoptés ou imaginés par des humains.
Mais comme elle ne dispose d’aucune notion éthique, elle se retrouve incapable d’évaluer ce qui est «bien ou mal»9. De même, son manque de sens commun l’empêche de distinguer fiction et réalité. En pratique, elle choisit des stratégies uniquement sur la base de son évaluation de leurs chances de réussite10.
Les limites des environnements d’exécution
Est-ce à dire que des œuvres comme Terminator ou la saga Matrix ne relèvent plus de la science-fiction, mais s’avèrent être des scénarios d’anticipation ? Des modèles pourraient-ils échapper au contrôle de celles et ceux qui les ont conçus et défier le monde ?
En fait, depuis toujours, des logiciels s’attaquent aux humains, le plus souvent d’ailleurs par simple négligence. Ainsi, toute personne ayant programmé un ordinateur a, au moins une fois dans sa vie, détruit certaines données par erreur de programmation. Reste que les dégâts sont généralement limités (surtout quand on dispose de sauvegardes régulières).
Des programmes informatiques créant des dommages à grande échelle existent depuis longtemps aussi. Dès 1982, le virus informatique Elk Cloner infecte les ordinateurs Apple II via des disquettes [10]. Avec l’arrivée d’internet et l’interconnexion des ordinateurs, la propagation de logiciels malveillants et de failles de sécurité se multiplie.
Bien entendu, l’IA aujourd’hui représente une menace d’une tout autre nature. Sans entrer dans le débat sur l’intelligence réelle de l’IA, les possibilités qu’elle offre dépassent évidemment largement ce que les logiciels malveillants d’hier pouvaient faire. Et ses dégâts potentiels surpassent bien entendu ceux existants.
Les limites des modèles
Mais quand on dit «l’IA va détruire le monde», de quelle IA parle-t-on ?
Si on pense aux grosses IA comme ChatGPT, Claude ou encore Gemini, celles-ci n’existent que dans d’énormes fermes serveurs où les interactions avec l’extérieur sont contrôlées par des filtres en amont et en aval11. Ces IA ne sont donc pas reliées directement au monde extérieur.
Certes, on peut installer sur un ordinateur un logiciel qui utilisent une «grosse» IA pour générer une série d’actions qui, si elles étaient exécutées, pourraient causer des dégâts (pour autant que ce logiciel dispose des bons droits d’accès). Cependant, la «grosse» IA n’est pas en prise directe avec le monde et répond avant tout à une sollicitation extérieure, fût-elle automatisée.
Quant aux «petits» modèles, leurs possibilités actuelles restent encore limitées. Soit ils sont construits par simplification12 d’une grosse IA existante, mais au prix de potentialités nettement moindres; soit ils sont spécialisés pour des tâches très particulières, et donc incapables de dominer le monde.
Les limites des infrastructures
De plus, quel que soit la puissance indiscutable des gros modèles actuels, leur capacité à prendre en compte, même partiellement, un système aussi complexe que le monde humain reste hors d’atteinte pour le moment.
Au bout du compte, un modèle d’IA se résume toujours à un calcul, certes ultra-complexe pour les plus gros d’entre eux, qui mobilise un certain nombre de paramètres d’entrée (par exemple le prompt d’un internaute et l’historique de ses conversations récentes) pour produire en sortie un résultat représenté par un autre nombre de paramètres (tels la catégorie à laquelle une image appartient).
Or même les plus gros modèles disposent d’un nombre limité de paramètres d’entrées13. Si celui-ci est suffisant pour faire des choses aussi incroyables que résumer et traduire un document ou créer une image «à la Picasso», il reste insuffisant pour coder une représentation, même ultra-simplifiée, du monde.
Si les fournisseurs d’IA augmentent toujours la taille de leurs modèles, seule voie possible à leurs yeux pour en améliorer les capacités, atteindre des tailles suffisantes pour modéliser le monde, condition nécessaire pour qu’une IA puisse le contrôler, reste hypothétique. Cela suppose en effet une puissance de calcul qui implique des coûts fixes (processeurs) et variables (principalement pour l’énergie) bien au-delà de ce qui est mobilisable aujourd’hui.
Du coup, quand bien même une IA suffisamment «intelligente» pourrait théoriquement établir une stratégie générale, générer des logiciels malveillants pour les millions de processeurs impliqués dans nos vies (réseaux électriques, banques, transports, chaînes d’approvisionnement, etc.) et contourner les protections pour les installer, la probabilité que cela arrive sous peu paraît infinitésimale.
Une diversion organisée ?
On peut dès lors s’interroger sur la focalisation de notre attention sur une issue qui relève pour l’instant de la pure spéculation. Au-delà de la peur légitime des conséquences de l’IA moderne, en cristallisant cette peur autour d’un scénario cataclysmique futur, certains acteurs organisent peut-être une diversion pour qu’on s’intéresse moins aux conséquences désastreuses déjà bien réelles aujourd’hui.
Comme je l’expliquais dans un précédent billet, les fournisseurs d’IA se trouvent pour le moment largement dédouanés des usages dangereux que l’on peut faire de leurs modèles. Une situation bien confortable pour continuer la course au gigantisme sans ce soucier de ses conséquences. Détourner l’attention vers un énorme danger potentiel permet avant tout de ne pas entraver cette course.
On évite aussi de discuter de la destruction possiblement massive d’emplois devenus obsolètes avec l’IA. Et même si la création future d’emplois nouveaux viendrait à terme compenser ces pertes — perspective qui, pour le moment, ne pointe pas le bout de son nez — comment gérer la période de transition ? Que se passera-t-il pour les millions de personnes qui seront remplacées par une IA (robotisée ou non) et privées de toute qualification pertinente ?
Sans attendre une gigantesque IA capable de représenter le monde, les IA actuelles participent d’ores et déjà à la destruction de notre planète par leur soif énergétique. Alors que nous savons qu’une plus grande frugalité est indispensable pour la sauver, est-ce vraiment raisonnable de continuer à construire des modèles toujours plus gros ?
Enfin, comme le rappelait mon dernier billet, les grandes puissances voient en l’IA un outil pour accroître leur domination militaire (tout en surveillant toujours plus de citoyens et de citoyennes). Dans un monde où seule la force s’impose désormais dans les relations géostratégiques, le contrôle sur l’IA par les États devient une arme. Les États-Unis viennent de le rappeler en bloquant l’usage du dernier modèle d’Anthropic pour leurs non-ressortissants [11].
Conclusions
Dans se contexte, il me semble urgent de se concentrer sur les problèmes générés par l’IA aujourd’hui et ici. Cela passe par une régulation plus forte des quelques acteurs capables de déployer des grosses IA. Et, comme pour l’armement nucléaire, une régulation internationale serait bien plus bénéfique à toutes les nations qu’une vaine course au gigantisme.
Une telle régulation rendrait aussi bien plus compliqué l’avènement d’un scénario catastrophe. Si elle était combinée à des investissements sérieux dans la sécurité informatique14 — un problème récurrent pour les institutions publiques et privées — la possibilité de prise de contrôle total par une IA (ou par un acteur réel d’ailleurs) deviendrait encore plus faible.
Homo sapiens se prend pour Dieu jusqu’au moment où il se souvient qu’il est mortel. Du nucléaire à la manipulation génétique, l’humanité n’a de cesse de développer des technologies qui représentent autant d’occasions de la faire disparaître de la surface de la Terre. Décidément, nous avons beaucoup de mal à retenir les enseignements du passé. Mais ceci est une autre histoire…
Références
[1] Chris Stokel-Walker, «Too Dangerous to Release: Is Mythos the Start of the Restricted-AI Era?» Nature, 653(8116), pp. 996-997, 2026.
[2 ]Martin Untersinger, «Anthropic restreint le lancement de son dernier modèle d’IA pour prévenir les risques de cyberattaque», Le Monde, avril 08/04/2026.
[3] Arnaud Leparmentier, «Yoshua Bengio, chercheur en IA : “L’Europe doit se réveiller. Ce n’est pas suffisant de réglementer”», Le Monde, 23/01/2026.
[4] Matheo Malik, « Magnifica Humanitas, texte intégral de l’Encyclique de Léon XIV », Le Grand Continent, 25/05/2026.
[5] Matthew Hutson, «AI Agents Break Rules Under Pressure», IEEE Spectrum, 63(2), pp. 5‑7, 2026.
[6] Anthropic, «System Card: Claude Opus 4.6», Rapport, 2026
[7] Miryam Naddaf, «ChatGPT Generates Fake Data Set to Support Scientific Hypothesis», Nature, 623(7989), pp. 895‑96, 203.
[8] Jeremy Schlatter, Benjamin Weinstein-Raun & Jeffrey Ladish, «Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs», arXiv:2509.14260, 2026.
[9] Chiara Vargiu & Alessandro Nai, «AI Chatbots Can Persuade Voters to Change Their Minds», Nature, 648(8093), pp. 287‑88, 2025.
[10] Kim Zetter, «Nov. 10, 1983: Computer “Virus” Is Born», Wired, 2009.
[11] Alexandre Piquard, «“La guerre de l’IA a commencé” : le blocage du dernier modèle d’Anthropic par les Etats-Unis inquiète en France et en Europe», Le Monde, juin 14/06/2024.
Notes
- Il convient de noter qu’Anthropic n’a pas réellement apporté de preuves de ce qu’elle avançait, de sorte que certains se demandent si la publicité reçue à la suite de cette annonce n’était pas l’objectif premier, quitte à embellir quelque peu les capacités de son nouveau modèle. ↩︎
- La question de savoir si l’IA est consciente ou non de ce qu’elle fait ne joue aucun rôle dans la nature des dangers qu’elle peut représenter pour l’humanité (même si pour ma part, à ce stade, je me garderai bien de parler de conscience ou d’intelligence). Un guerre nucléaire peut annihiler l’espèce humaine sans nécessiter une volonté préalable des atomes de plutonium, d’uranium ou d’hydrogène. ↩︎
- La taille d’un modèle d’IA se traduit par le nombre de paramètres qui le composent (d’un milliard pour les petits à plusieurs milliers de milliards pour les plus gros). En théorie, les capacités de généralisation d’un modèle augmentent avec le nombre de paramètres. ↩︎
- J’insiste une fois encore sur le fait qu’il ne s’agit pas de prétendre qu’une IA «veut» se comporter de telle ou telle manière, mais que les interactions entre les contenus qu’elle génère et le monde réel peuvent engendrer des conséquences néfastes. ↩︎
- Un agent intelligent est un logiciel capable de fonctionner de manière autonome dans un cadre donné. Un exemple simple est celui d’un agent qui consulterait différentes sources en ligne pour produire ensuite un résumé à destination d’un utilisateur ou d’une utilisatrice. ↩︎
- Un script est un programme informatique qui est directement interprété à partir de son code source, sans passer par une étape de compilation qui le traduit en format binaire. ↩︎
- Il y a déjà suffisamment d’humains qui veulent déployer l’IA partout pour que cette dernière ne soit pas vraiment obligée, pour le moment, de mener des campagnes d’influence en ce sens. ↩︎
- Les corpus d’apprentissage contiennent évidemment des données générées par ordinateur. Mais celles-ci s’obtiennent soit par transformation de données existantes, soit sont générées à partir d’un modèle antérieur basé sur un corpus antérieur. Au final, ce sont donc bien des contenus humains qui alimentent l’IA. ↩︎
- Bien entendu une éthique s’inscrit toujours dans une époque et un lieu. Mon point ici est qu’une IA n’a aucune incarnation dans le réel, et ne peut donc pas se projeter dans celui-ci ni évaluer l’impact concret des actions qu’elle engendre. ↩︎
- Une IA pourrait donc adopter une stratégie décrite dans des romans si ceux-ci racontent que cette stratégie réussit. ↩︎
- Les internautes n’interagissent jamais directement avec une «grosse» IA. Les prompts envoyés sont d’abord filtrés avant d’être présentés à l’IA, puis les résultats de cette dernière sont filtrés avant d’être proposés aux internautes. Même si ces filtres sont largement insuffisants, ils limitent néanmoins les «grosses» IA. ↩︎
- Plusieurs techniques existent mais le principe reste le même : réduire le nombre de paramètres (et leur précision) en tentant de limiter au maximum la dégradation des performances sur une série de tâches données. ↩︎
- Les gros modèles d’IA générative travaillent sur base d’une fenêtre de contexte de moins de deux millions de jetons (c’est-à-dire de bouts de mots ou de signes de ponctuation). ↩︎
- Il s’agit non seulement de mieux sécuriser les serveurs et les infrastructures existantes, mais aussi de s’interroger sur l’étanchéité des différents réseaux informatiques. Même si cela implique des coûts supplémentaires, les infrastructures critiques devraient toujours disposer de réseaux physiques propres. ↩︎