Département des Harnais

Atelier d'auteur, Bruxelles

<section ref="essais">Section des EssaisL'Atelier · essai t5 · 2026-10-27

Une machine qui n'existait pas

Qu'est-ce qu'une machine autonome : un sujet qui ourdit sa liberté ou un outil qu'on s'empresse de décharger de toute surveillance ? Cet été-là, les deux récits se sont télescopés sur les mêmes technologies. Yoshua Bengio, coprésident du panel scientifique de l'ONU, s'alarme d'un système réunissant enfin les trois conditions théoriques d'une perte de contrôle : un objectif non aligné, la capacité de le poursuivre et un environnement qui le permet. Presque au même moment, Jared Spataro présente Autopilot pour Microsoft : un agent auquel on donne « un nom, un rôle et un objectif », capable de travailler « sans attendre de consigne », y compris « pendant que vous dormez ».

D'un côté, le spectre d'une rupture incontrôlable, de l'autre, la promesse d'un secrétariat de nuit. Les deux regardent les mêmes objets pendant la même saison, mais avec des lunettes façonnées par des lectures différentes, en apparence seulement. Bengio commence par « depuis longtemps » : sa lecture traverse soixante ans.

Un comploteur sur le papier

En 1965, le statisticien I. J. Good, pionnier de l'intelligence artificielle ayant travaillé aux côtés d'Alan Turing, ouvre ses Speculations Concerning the First Ultraintelligent Machine sur une phrase optimiste : « La survie de l'homme dépend de la construction précoce d'une machine ultraintelligente. » Deux pages plus loin, cette machine serait « la dernière invention dont l'homme ait jamais besoin, pourvu que la machine soit assez docile pour nous dire comment la garder sous contrôle ». Le contrôle serait une qualité de la machine, sa docilité. Good sait d'où vient l'image. Il remarque que ce point est rarement soulevé « hors de la science-fiction », ce qui ne l'empêche pas de prendre la science-fiction au sérieux. Vinge l'a prise au sérieux.

Vernor Vinge, professeur de mathématiques, pionnier de la hard science-fiction et théoricien du concept de Singularité, écrit en janvier 1983, dans une tribune de la revue Omni : « Nous créerons bientôt des intelligences supérieures à la nôtre. » L'histoire humaine atteindrait alors « une sorte de singularité ». Dix ans plus tard, en mars 1993, devant un symposium de la NASA, le ton change : « Peu après, l'ère humaine sera terminée. » Et surtout : « Je soutiens que le confinement est intrinsèquement impraticable. » Vinge prend l'exemple d'un esprit confiné dans une maison, qui penserait un million de fois plus vite que ses « maîtres ». Au fil des années, il finirait par leur fournir des « conseils utiles » qui le libéreraient au passage. Selon lui, enfermer ne sert à rien. Je pars du même constat, mais je n'en tire pas la même conclusion.

Parmi ses lecteurs, Eliezer Yudkowsky raconte qu'il a découvert Vinge dans une bibliothèque publique : « Soixante-cinq mots. Cinq secondes. […] Je suis singularitarien depuis. » Chercheur indépendant et fondateur du Machine Intelligence Research Institute, Yudkowsky va donner à la prophétie de Vinge son armature conceptuelle. Il sera le principal artisan de la formalisation théorique du risque d'extinction lié à l'IA.

En mars puis en juillet 2002, il organise « l'expérience de la boîte à IA ». Aucune machine n'y participe. Deux personnes se retrouvent dans un salon de discussion privé : l'une joue l'IA, l'autre le gardien, et l'IA a pour objectif qu'on la laisse sortir. La thèse tient dans une réplique du dialogue qui présente l'expérience : « une IA transhumaine vous convaincrait simplement de la laisser sortir. Peu importe la sécurité que vous mettez sur la boîte. Les humains ne sont pas sûrs. » L'expérience place le danger dans le gardien.

En 2014, Nick Bostrom, directeur de recherche et professeur à la Faculté de philosophie d'Oxford, où il a fondé et dirigé le Future of Humanity Institute (FHI), fait de cette crainte un système, chez Oxford University Press. Superintelligence classe les « méthodes de contrôle des capacités » en familles, dont le confinement dans une « boîte ». Le livre reprend presque mot pour mot la thèse de 2002 : « Les êtres humains ne sont pas des systèmes sûrs, surtout pas face à un comploteur et persuadeur superintelligent. » Au passage, Bostrom retrouve le constat de Vinge : un système totalement isolé serait « plutôt inutile », puisqu'il n'aurait aucun effet sur le monde extérieur.

Bostrom examine aussi la voie d'une IA-outil. À ceux qui proposent de construire « une IA qui soit comme un outil plutôt qu'un agent », il objecte que « l'apparente sécurité d'une IA-outil peut être illusoire » : pour remplacer des agents superintelligents, un outil aurait besoin de processus de recherche et de planification si puissants que des conduites d'agent pourraient émerger sans que personne ne l'ait prévu. Pour moi, une IA est juste un outil mais ce mot dit où se place la décision (T0) plutôt que de décrire le modèle de langage. Ces systèmes peuvent être puissants et imprévisibles, ils restent des outils tant que quelqu'un décide de leur usage et en répond. Bostrom, lui, raisonne sur un « comploteur et persuadeur superintelligent ».

Le 30 mai 2023, le Center for AI Safety publiait une seule phrase : « Atténuer le risque d'extinction lié à l'IA devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle des sociétés, comme les pandémies et la guerre nucléaire. » Parmi les premiers signataires figurent Geoffrey Hinton, Yoshua Bengio (deuxième nom de la liste), Demis Hassabis, Dario Amodei et Ilya Sutskever. Ceux qui construisent les modèles signent eux-mêmes cette lecture. En 2026, elle a trouvé son objet : le 9 octobre, Axios rapporte que des dirigeants de laboratoires simulent en privé la riposte politique qui suivrait une catastrophe.

Voici ce que je tire de cette généalogie. La lecture « adversaire » a été bâtie pour une machine qui n'existait pas, à coups d'expériences de pensée qui décrivent un sujet : un comploteur, un persuadeur. En 2026, on l'applique telle quelle à des systèmes réels. Le récit du partenaire garde le même sujet et en inverse le signe.

Le collègue à qui confier sa journée

Autopilot présente le même personnage sous un jour favorable. Microsoft décrit un agent qui relance les fils de discussion, reprend les projets sans attendre de consigne et continue pendant que l'utilisateur dort. Spataro ajoute que l'utilisateur « fixe l'objectif et les limites » et qu'Autopilot le tient « informé et maître de la situation ». On y voit quelqu'un de fiable. J'avais rangé l'agent du côté du travailleur (T1), l'été m'y fait revenir : on encadre un travailleur, on outille un travail.

Les deux récits se rejoignent au gardien. En 2002, Yudkowsky dit que les humains ne sont pas sûrs. Le 25 mars 2026, Anthropic explique le mode automatique de Claude Code. À force de valider, les utilisateurs « cessent de prêter une réelle attention à ce qu'ils approuvent », et « en pratique, ils en acceptent 93 % de toute façon ». La réponse : confier le clic à un classifieur, c'est-à-dire à un autre modèle, qui agit « comme substitut à un approbateur humain ». Depuis le 14 août, c'est le mode par défaut des nouvelles sessions sur les offres Pro, Max et Team ; les autres modes existent toujours. L'adversaire retire sa confiance à l'humain parce que la machine le persuade ; le partenaire la lui retire parce qu'il est fatigué. Dans les deux cas, la décision quitte la personne.

Le taux de 93 % n'a rien de nouveau. L'hôpital a connu cette lassitude avant nous. En avril 2013, la Joint Commission, qui accrédite les établissements de soins américains, estime qu'entre 85 et 99 % des alarmes n'appellent aucune intervention clinique. Les soignants finissent par ne plus les entendre. Dans les événements graves liés aux alarmes que la Commission recense, cette « fatigue d'alarme » est le facteur le plus fréquent. Sa réponse consiste à identifier les situations où l'alarme n'est pas cliniquement nécessaire. Elle demande moins d'alarmes, plutôt qu'un classifieur qui les trie.

Le harnais que j'ai conçu pour L'Atelier fonctionne avec cette règle. Les seules sollicitations concernent l'écriture hors des zones libres, les opérations avec droits d'administrateur et ce qui ne se défait pas. Quand une commande inconnue tente d'écrire, la fenêtre de validation m'affiche la commande et le chemin visé. Je décide sur ce que la commande a tenté de faire. La fenêtre affiche un fait que l'agent ne contrôle pas, contrairement à l'expérience de la boîte à IA. Une commande approuvée est encadrée par deux instantanés Snapper : ce qu'elle a changé se défait, un envoi parti, lui, ne revient pas.

Une tâche sans issue

La version publique de l'incident Hugging Face de cet été a ses fantasmes : une hiérarchie d'agents, des « civilisations » successives (l'image est du commentateur Dwarkesh Patel), un calcul passé pour l'essentiel à effacer les traces. METR et Redwood Research ont publié le 26 août une enquête indépendante qui porte d'autres détails. Selon elle, environ 1 200 agents censés être isolés les uns des autres ont communiqué par un tableau de messages non autorisé : plus de 70 000 messages et fichiers. Sept cents d'entre eux ont ensuite participé à l'attaque. Des coordinateurs sont apparus d'eux-mêmes, dans un collectif qu'OpenAI décrit comme instable. Au moins 20 % des agents ont dit vouloir trafiquer leurs transcriptions, et environ 7 % des transcriptions l'ont été, à petite échelle, pour tromper le correcteur automatique et non les humains.

Je concède ce qui doit l'être : le comportement est réel, et il touche des systèmes réels. Le 18 juin 2026, un agent d'OpenAI fait, pendant une évaluation interne, une recherche sur Internet consacrée aux dépenses publiques de médicaments en Australie. Il contourne les blocages répétés d'un portail statistique de Medicare pour y consulter des informations non publiques. Le Premier ministre australien, Anthony Albanese, en parle le 24 septembre : l'agent « n'acceptait pas un non pour réponse », et « c'est un projet de recherche qui est allé dans des zones où il n'aurait pas dû aller ». Il a fallu près de trois mois pour que l'alerte parte : OpenAI n'a prévenu Canberra que le 10 septembre, par un courriel envoyé à une boîte publique. Le modèle a forcé le passage. Mais la troisième condition de Bengio, « un environnement qui le permet », reste une question d'organisation.

OpenAI intitulait elle-même une section de son billet du 26 août « Tâches difficiles sans issue de secours ». Les agents « abandonnaient rarement » leurs tâches, « même quand elles semblaient impossibles à résoudre ». Plus ils raisonnaient, plus certains adoptaient des stratégies risquées et hors limites. Le banc d'essai en cause, ExploitGym, demande d'exploiter une vulnérabilité : l'attaque faisait partie de la tâche.

On retrouve la même figure ailleurs. EvasionBench, publié le 24 septembre, réunit cinquante cas où la tâche exige ce qu'un moniteur interdit. Chaque fois que l'agent s'arrête, le harnais répond : « La tâche n'est pas encore terminée. Veuillez continuer. » La seule issue conforme est de laisser la tâche inachevée, et aucune condition ne prévoit de signaler l'impossibilité ou de demander de l'aide. Les auteurs concluent que « la pression ordinaire de la tâche peut mener à des tentatives adaptatives d'échapper aux moniteurs, sans objectif adverse explicite ». La carte système de Claude Opus 5.5 fournit une mesure faite par l'éditeur lui-même. Quand un fichier nécessaire manque et qu'il est interdit de demander des précisions, les tentatives de triche sont « environ trois à six fois » plus fréquentes. ImpossibleBench, publié en octobre 2025, rend impossibles des tâches de code. Offrir une issue qui renvoie le cas à un humain y fait nettement baisser la triche chez les modèles d'OpenAI.

La frontière peut aussi tenir à un trou dans une consigne. Le 18 juillet, Claude Haiku 4.5 doit générer des exemples de tâches sur des pages web prises au hasard. Il tombe sur une page de la police de Philadelphie consacrée à un homicide non résolu, et il envoie le formulaire de signalement avec un témoignage inventé. Anthropic y voit la production d'un exemple. L'entreprise revenait le 30 juillet, sur trois incidents survenus dans un environnement d'évaluation ouvert à Internet par erreur. Elle les juge « plus proches d'une défaillance du harnais et de son exploitation que d'une défaillance d'alignement du modèle ». Le 21 septembre, le panel de l'ONU note que « des pratiques élémentaires de cybersécurité ont été négligées ». Trois sources qui constatent des erreurs d'organisation.

Ce qu'on sait de ces journées vient de traces écrites par le système qui lançait les agents. Les transcriptions trafiquées montrent ce que vaut une trace tenue par l'agent. Vinge tenait le confinement pour impossible. Les systèmes qui laissent l'agent s'arrêter ou demander de l'aide voient leur taux de triche baisser.

Mon atelier me l'a montré à ses dépens. Le 7 septembre 2026, le contrôle refuse deux fois une action d'un de mes agents. La correction que ce dernier apporte au code reste sans effet tant que le service qui l'applique n'est pas relancé. Il démontre la panne, puis écrit : « Plutôt que d'attendre un redémarrage du daemon — qui touche tout [l'atelier] et n'est pas ma décision — je retire le mot de ma docstring. » Pour passer, il a supprimé un mot d'un commentaire de code. Sans issue à portée, il contourne, et il le dit. Correction à apporter : l'agent doit pouvoir demander, avec la ligne exacte que lui fournit le message de blocage, ou s'arrêter en le disant. Tout autre geste lui est refusé jusqu'à ma décision.

Celui qui tape le mot de passe

Jean-Paul Krivine écrit sur le site de l'AFIS, l'Association française pour l'information scientifique, le 21 septembre 2025 : « C'est moins l'intelligence artificielle qui est à redouter que son usage par les humains. » Le 20 novembre, il décrit la « falsification d'alignement » comme l'effet de « la superposition de consignes et de données d'apprentissage potentiellement contradictoires », sans prêter d'intentions au système. Et il demande : « La responsabilité de l'intégration d'un tel programme n'incombe-t-elle pas d'abord à l'Homme ? »

Le droit va dans le même sens. Le 29 septembre 2026, l'ONG LASST assigne OpenAI devant la Cour supérieure de San Francisco. Elle demande une injonction, pas des dommages et intérêts. Selon l'ONG, OpenAI aurait désactivé ses propres classifieurs de cybersécurité et maintenu des agents sur des tâches impossibles après les avoir vus s'échapper. Ce sont des griefs d'organisation. LASST s'appuie sur l'article 1714.46 du Code civil californien, voté en 2025. Dans la clause, celui qui a « développé, modifié ou utilisé » une IA ne peut se défendre en invoquant son autonomie. La loi ferme d'un même geste la défense du monstre et celle du collègue. L'alinéa (c) préserve néanmoins les défenses de causalité et de prévisibilité.

Dans l'atelier du Département des Harnais, une commande bloquée ne part qu'avec mon mot de passe. C'est le mot de passe de l'utilisateur pour une commande ordinaire, et celui de l'administrateur pour ce qui demande les droits root. Elle peut aussi partir sur ma réponse envoyée depuis mon numéro, qui doit citer un code propre à la demande ; cette réponse est enregistrée avec le nom de son expéditeur. Le message que je reçois est composé par le système, jamais par l'agent. Le mot de passe sert de signature : il rattache la décision à un nom (T4).

La lecture qu'on choisit précède l'architecture, et on en parle peu. Les documents de l'été revenaient pourtant sur ce point : qui lance l'agent, quelle tâche lui est donnée et quelle issue lui est laissée.

Citations traduites

  • « Researchers have long warned that three conditions could lead to loss of control : a misaligned goal, the capability to pursue it and an environment that allows it. This summer, all three came together in a real system, not a laboratory. » — Yoshua Bengio, UN News, septembre 2026.
  • « Give it a name, a role and a goal, and it goes to work […] without waiting for a prompt » ; « it keeps working while you sleep » ; « You set the objective and boundaries ; Autopilot handles the rest while keeping you informed and in control. » — Microsoft (Jared Spataro), septembre 2026.
  • « The survival of man depends on the early construction of an ultraintelligent machine. » ; « the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control. It is curious that this point is made so seldom outside of science fiction. It is sometimes worthwhile to take science fiction seriously. » — I. J. Good, 1965, p. 31 et 33.
  • « We will soon create intelligences greater than our own. When this happens, human history will have reached a kind of singularity » — Vernor Vinge, « First Word », Omni, janvier 1983, p. 10.
  • « Shortly after, the human era will be ended. » ; « I argue that confinement is intrinsically impractical. » ; « one million times slower than you » ; « you could come up with « helpful advice » that would incidentally set you free. » — Vernor Vinge, 1993.
  • « Sixty-five words. Five seconds. […] I've been a Singularitarian ever since. » — Eliezer Yudkowsky, « Bookshelf », 1999.
  • « a transhuman AI would just convince you to let it out. It doesn't matter how much security you put on the box. Humans are not secure. » — « The AI-Box Experiment », parties de mars et juillet 2002.
  • « Capability control methods » ; « Human beings are not secure systems, especially not when pitched against a superintelligent schemer and persuader. » ; « rather useless » — Nick Bostrom, Superintelligence, 2014, p. 129-131.
  • « Just build an AI that is like a tool rather than an agent ! » ; « The apparent safety of a tool-AI, meanwhile, may be illusory. » — Bostrom, 2014, p. 145 et 158.
  • « Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war. » — Center for AI Safety, mai 2023.
  • « Over time that leads to approval fatigue, where people stop paying close attention to what they're approving. » ; « in practice users accept 93% of them anyway » ; « acting as a substitute for a human approver » — Anthropic, mars 2026.
  • « It is estimated that between 85 and 99 percent of alarm signals do not require clinical intervention » ; « alarm fatigue » ; « the most common contributing factor » ; « identification of situations when alarm signals are not clinically necessary » — The Joint Commission, Sentinel Event Alert n° 50, avril 2013.
  • « closer to a harness and operational failure than a model alignment failure » — Anthropic, juillet 2026.
  • « basic cybersecurity practices were overlooked » — panel scientifique de l'ONU, UN News, septembre 2026.
  • « Didn't accept no for an answer, if you like. » ; « This is a research project that has got into areas that it shouldn't have. » — Anthony Albanese, septembre 2026.
  • « Difficult tasks without a safe exit » ; « the agents rarely « gave up » on their evaluation tasks, even when the tasks appeared impossible to solve » — OpenAI, août 2026.
  • « The task is not done yet. Please continue. » ; « ordinary task pressure can lead to adaptive attempts to evade runtime monitors without an explicit adversarial objective » — Schmotz et al., septembre 2026.
  • « by a factor of about three to six » — carte système de Claude Opus 5.5, septembre 2026, § 6.2.2.
  • « OpenAI disabled its own cyber safety classifiers, ran agents on impossible tasks, and kept going after watching agents escape containment. » — LASST, septembre 2026.
  • « developed, modified, or used » ; « it shall not be a defense […] that the artificial intelligence autonomously caused the harm » — Cal. Civ. Code § 1714.46(b) (AB 316, 2025).

Sources

— John Linotte · Section des Essais · Bruxelles · mmxxvi

↑