Imaginez le patron de Moulinex convoquant la presse pour annoncer que son prochain grille-pain pourrait provoquer l’extinction de l’humanité. On lui conseillerait probablement de revoir le thermostat avant la mise en marché. Dans l’intelligence artificielle, c’est plus compliqué. Depuis quelques années, certains des gens qui développent les systèmes les plus puissants sont aussi parmi ceux qui nous mettent le plus solennellement en garde contre leurs dangers. En mai 2023, le Statement on AI Risk du Center for AI Safety affirmait en une seule phrase que réduire le risque d’extinction lié à l’IA devait devenir une priorité mondiale comparable aux pandémies et à la guerre nucléaire. Parmi les signataires : Geoffrey Hinton, Yoshua Bengio, Demis Hassabis et Sam Altman.
Ont-ils raison ? Je n’en sais rien, et d’autres sont bien mieux équipés que moi pour trancher. Mon métier consiste à observer ce qui se passe quand quelqu’un dit quelque chose à quelqu’un d’autre. Or, du point de vue de la communication, cette phrase est fascinante. Elle transmet deux informations en même temps. La première est évidente : « ce que nous fabriquons pourrait être dangereux ». La seconde l’est beaucoup moins : « regardez à quel point ce que nous fabriquons est puissant ».
La menace comme démonstration
Où le pire défaut d’un produit devient sa meilleure publicité
C’est le paradoxe merveilleux de la communication sur l’IA : son défaut ultime peut devenir la démonstration de sa qualité ultime. Si je vous annonce que mon logiciel peut résumer votre réunion Teams, j’ai fabriqué un outil pratique. Si je vous annonce qu’il pourrait un jour devenir incontrôlable et menacer l’humanité, j’ai changé de catégorie. Hier, je vendais un logiciel ; me voilà en train de manipuler une force historique.
Attention : cela ne signifie absolument pas que les gens qui lancent ces avertissements mentent. On peut sincèrement craindre une technologie que l’on contribue à développer. L’intention est d’ailleurs presque secondaire ici. En communication, un message peut être parfaitement sincère et produire un avantage pour celui qui l’émet. Et celui-ci en produit un formidable : plus le danger potentiel paraît grand, plus la technologie paraît puissante. Une machine capable d’exterminer l’humanité doit forcément être autrement plus impressionnante qu’une machine capable de corriger mes fautes de français.
Mais il se passe quelque chose d’encore plus intéressant. Si je vous annonce avoir découvert dans ma cave une créature extrêmement dangereuse, que personne ne comprend vraiment, et que je suis l’une des rares personnes à connaître son fonctionnement, qui allez-vous inviter à la réunion sur la sécurité des créatures ? Moi. Le récit construit la puissance de l’objet et, au passage, la légitimité de celui qui en parle.
Sam Altman en fournit une image assez spectaculaire. Le 16 mai 2023, le patron d’OpenAI témoignait devant le Sénat américain et appelait lui-même à réglementer les systèmes d’intelligence artificielle. Six jours plus tard, dans un billet intitulé Governance of superintelligence (OpenAI, 2023), il proposait avec Greg Brockman et Ilya Sutskever une forme de supervision internationale des systèmes les plus puissants, inspirée de l’Agence internationale de l’énergie atomique. Peut-être est-ce précisément la bonne chose à faire. Mais regardons simplement le déplacement communicationnel : celui qui fabrique la chose devient celui dont nous avons besoin pour comprendre la chose, évaluer les dangers de la chose et participer à la discussion sur les règles entourant la chose. Le vendeur devient expert. L’expert devient conseiller. Et le conseiller se retrouve autour de la table où l’on écrit les règles.
Doomers contre antidoomers
Deux camps, deux récits, et la même matière première
On a fini par donner un nom à ceux qui insistent particulièrement sur les scénarios catastrophiques : les doomers. Le terme est injustement large. Il rassemble des chercheurs prudents, des spécialistes de la sécurité, des philosophes, des entrepreneurs et quelques prophètes de l’Apocalypse qui ne disent ni la même chose ni avec la même certitude. Mais le mot révèle quelque chose : nous avons transformé une discussion technologique en affrontement de récits.
Le récit doomer est extraordinairement puissant. Nous avons créé quelque chose qui pourrait nous dépasser. Nous ne savons pas exactement ce qui arrivera. Nous avons peut-être encore le temps d’agir. Prométhée n’est jamais très loin. Et comme nous l’avons vu dans I.A. La peur comme méthode, la peur peut être extrêmement utile : elle attire l’attention sur un danger et nous oblige à imaginer ce qui pourrait mal tourner. La communication ajoute simplement une petite question : agir comment, et en suivant qui ?
Car toute bonne catastrophe a besoin d’un sauveteur. « Cette technologie pourrait devenir dangereuse » est une alerte. « Cette technologie pourrait devenir dangereuse et nous savons comment la rendre sûre » commence à ressembler à un positionnement. La différence paraît minuscule, mais elle distribue tous les rôles : il y a la menace, les victimes potentielles et ceux qui savent. Nous sommes assez puissants pour créer le problème, assez responsables pour vous en avertir et assez compétents pour le résoudre. Difficile d’imaginer meilleure proposition de marque.
Évidemment, toute grande histoire finit par produire sa contre-histoire. Face aux doomers apparaissent les techno-optimistes, les accélérationnistes et les antidoomers. Leur récit promet les progrès scientifiques, médicaux et économiques que l’IA pourrait accélérer. Enfin un peu d’optimisme ? Pas vraiment. Parce qu’eux aussi ont découvert l’extraordinaire efficacité de la peur.
Dans son Techno-Optimist Manifesto (Andreessen Horowitz, 2023), l’investisseur Marc Andreessen retourne le raisonnement comme une crêpe : si les nouvelles technologies peuvent sauver des vies, empêcher leur développement peut coûter des vies. Il va jusqu’à présenter les morts qu’une technologie interdite aurait pu éviter comme une forme de meurtre.
Et voilà. Les deux camps parlent maintenant de cadavres.
Mais à qui profite le crime contre l’humanité ?
En attendant l’apocalypse, les dividendes sont déjà versés
D’un côté : si vous nous laissez aller trop vite, des gens pourraient mourir. De l’autre : si vous nous obligez à ralentir, des gens pourraient mourir. Le désaccord technique devient une urgence morale. Me contredire revient désormais à accepter une catastrophe, ce qui est tout de même plus lourd à porter qu’une simple divergence d’analyse.
C’est ici que doomers et antidoomers se ressemblent le plus. Leurs histoires diffèrent, leur charpente est la même : le monde court un danger, nous l’avons compris, écoutez-nous. Pour les uns, le héros ralentit et sécurise. Pour les autres, il refuse la peur et accélère le progrès. Chacun attribue alors à l’autre le rôle idéal : le doomer devient l’ennemi du progrès ; l’antidoomer, l’apprenti sorcier.
Alors, à qui profite le crime ? Probablement à personne, puisqu’il n’a pas encore eu lieu. En revanche, la peur produit quelque chose de très réel aujourd’hui : de l’attention. Claire Robertson et ses collègues l’ont mesuré dans Negativity drives online news consumption (Nature Human Behaviour, 2023) : en analysant quelque 105 000 variantes de titres testées par le site Upworthy, ils ont constaté que chaque mot négatif ajouté à un titre de longueur moyenne augmentait le taux de clics de 2,3 %. Et la peur fait davantage que retenir le regard. Dans Appealing to Fear (Psychological Bulletin, 2015), Melanie Tannenbaum et son équipe ont passé 127 articles au crible de la méta-analyse : les appels à la peur influencent bel et bien les attitudes, les intentions et les comportements, et leur effet grandit lorsque le message propose une réponse au danger.
Ce dernier détail est essentiel. La peur seule nous fait regarder. La peur accompagnée d’une solution peut nous faire agir.
Voilà donc à qui profite la fin du monde : à celui qui la raconte, pourvu qu’il ait une solution sous le bras. L’attention d’abord, la légitimité ensuite, et pour finir une chaise à la table où s’écrivent les règles. Le bénéfice est le même dans les deux camps, et il est encaissé bien avant que l’on sache qui avait raison.
Repérez le « donc »
Un exercice modeste, pour les gens qui ne prédisent pas l’avenir
Voilà pourquoi, dans un discours catastrophiste, la phrase la plus instructive arrive juste après la catastrophe.
« Nous courons un risque immense, donc… »
Donc il faut réglementer. Donc il faut accélérer. Donc il faut investir. Donc il faut interdire. Donc il faut créer une institution. Donc il faut nous inviter autour de la table. Donc il faut nous faire confiance.
Aucune de ces propositions n’est nécessairement mauvaise. Mais aucune ne devient bonne simplement parce que la phrase précédente faisait peur.
La prochaine fois que quelqu’un vous expliquera que l’intelligence artificielle va sauver l’humanité ou la détruire, je vous propose donc un exercice beaucoup plus modeste que de prédire l’avenir. Écoutez-le jusqu’au bout, et repérez le « donc ».
L’exercice vaut aussi loin du Sénat américain. La même phrase circule dans nos salles de réunion, en format réduit : « si nous ne prenons pas le virage de l’IA maintenant, nous sommes morts, donc… » Donc il faut signer cette licence. Donc il faut débloquer ce budget. Donc il faut embaucher ce consultant (oui, je sais). Là encore, la demande est peut-être excellente. Elle mérite d’être examinée pour elle-même, une fois la peur retombée.
Une communication sur le futur décrit rarement le futur pour le plaisir. Elle cherche à obtenir quelque chose dans le présent : une émotion, une décision, une permission, une interdiction, un investissement, une confiance. Nul besoin de savoir si l’IA sauvera le monde ou le détruira pour le comprendre.
Et si le patron de Moulinex convoque un jour la presse pour annoncer que son grille-pain menace l’humanité, laissez-le finir sa phrase. Le « donc » arrive. Je mise sur un nouveau modèle, plus sûr, et un peu plus cher.
.avif)