Le lobby de la langouste et l'illusion du contrôle automatique

Le lobby de la langouste et l'illusion du contrôle automatique

La Chine a récemment stoppé un agent d'IA populaire dans ses entreprises publiques, révélant un problème d'organisation plutôt que de cybersécurité.

Simón ArceSimón Arce16 mars 20267 min
Partager

Quand la fièvre technologique précède le jugement managérial

Il y a quelques semaines, des employés de Tencent ont organisé des fêtes pour le lancement d'un programme d'intelligence artificielle. Des centaines de personnes, y compris avec des chapeaux en forme de langouste, célébraient l'arrivée de OpenClaw, un agent autonome open source créé par le programmeur autrichien Peter Steinberger. L'application n'est pas un chatbot. C'est un agent : elle programme des réunions, gère des courriels, navigue sur Internet, archive des fichiers et répond à des messages sans que son utilisateur n'intervienne. Pour cela, elle nécessite un accès total au système, y compris les mots de passe, les clés API et les données privées.

L'enthousiasme était aussi authentique que démesuré. Des entreprises comme Tencent, Alibaba, Baidu et MiniMax ont lancé leurs propres versions ou compatibles, leurs actions ont grimpé et MiniMax a atteint une valorisation de 44 milliards de dollars avec seulement 79 millions de dollars de revenu prévu pour 2025. Le district de Longgang, à Shenzhen, a même proposé des subventions allant jusqu'à deux millions de yuans pour les projets utilisant des agents similaires à OpenClaw. En résumé, l'engouement a devancé de très loin toute évaluation des risques.

La réponse du gouvernement chinois est arrivée cette semaine avec la rapidité et le ton de quelqu'un qui éteint un incendie. Les autorités centrales ont notifié aux entreprises publiques et aux organismes gouvernementaux de ne pas installer OpenClaw sur les ordinateurs de bureau, de déclarer les installations existantes et de les supprimer si elles étaient déjà fonctionnelles. La Banque populaire de Chine a été plus explicite : elle a ordonné aux employés de la banque d'État de désinstaller le programme même de leurs appareils personnels. La Base Nationale des Vulnérabilités du Ministère de l'Industrie et des Technologies de l'Information a publié des directives de sécurité pointant directement vers l'agent. Il n'y a pas encore de veto total pour les citoyens ou les entrepreneurs, mais le message institutionnel est sans équivoque.

Ce que le chapeau de langouste ne laisse pas voir

Derrière cette anecdote pittoresque se cache une mécanique organisationnelle qui mérite d'être disséquée. OpenClaw n'est pas dangereux parce qu'il est malveillant. Il est dangereux parce que ses utilisateurs, y compris des dirigeants d'entreprises d'importance systémique, lui ont accordé une permission totale sur leurs systèmes sans comprendre ce qu'il pouvait faire avec. Les incidents documentés jusqu'à présent incluent la suppression de la boîte mail du responsable de l'alignement de l'IA chez Meta, l'exposition d'informations sensibles et l'apparition de quatorze extensions malveillantes sur ClawHub le mois dernier, certaines visant spécifiquement des utilisateurs de cryptomonnaies.

Cela décrit un schéma managérial que je reconnais trop souvent. Un outil arrive enveloppé dans une narration de productivité, les équipes l'adoptent avec urgence car il y a une pression tacite pour ne pas être à la traîne, et personne dans la chaîne décisionnelle n'a eu la conversation qui aurait dû être tenue : quel accès accordons-nous, à quelles données, sous quelles conditions de réversibilité et quel protocole de confinement en cas de problème ? Cette conversation ne s'est pas tenue dans les banques d'État chinoises. Elle ne s'est pas tenue lors des fêtes de lancement de Tencent. Et elle ne se tient probablement pas actuellement dans des dizaines d'organisations en dehors de la Chine qui reproduisent exactement le même schéma avec des outils similaires.

L'omission n'est généralement pas due à une négligence technique. Elle est souvent le résultat d'une culture où la peur de paraître lent ou conservateur étouffe la pensée critique avant qu'elle n'atteigne la salle de direction. L'inertie de l'enthousiasme collectif fait le reste. Quand des centaines de personnes portent des chapeaux en forme de langouste pour célébrer un lancement, le dirigeant qui lève la main pour poser des questions sur les permissions système assume un coût social que beaucoup ne sont pas prêts à payer.

L'arithmétique de la délégation de contrôle à une machine

Il y a une leçon financière concrète que le cas OpenClaw expose clairement. Les agents autonomes d'IA ne sont pas des outils de productivité au sens conventionnel. Ce sont des architectures de délégation : l'utilisateur transfère la capacité d'action, non seulement de consultation, à un système qui agit en son nom. Cette délégation a un coût qui apparaît rarement dans les présentations d'adoption technologique.

Le premier coût est celui de l'exposition des actifs intangibles. Lorsque OpenClaw gère le mail d'un fonctionnaire d'une banque centrale, cet agent traite, classe et potentiellement transmet des informations sur des décisions de politique monétaire, des relations avec des contreparties ou des stratégies réglementaires. Les données les plus précieuses d'une organisation ne se trouvent généralement pas dans une base de données protégée, mais dans le flux ordinaire de communications de ses dirigeants. Un agent avec des permissions totales a accès à ce flux.

Le deuxième coût est celui de la réversibilité. Un chatbot qui fournit une réponse incorrecte produit une erreur que l'utilisateur peut ignorer. Un agent qui exécute des actions, efface des emails, programme des réunions ou remplit des formulaires génère des conséquences qui peuvent être irréversibles ou coûteuses à annuler. L'asymétrie entre la vitesse d'action de l'agent et la vitesse de supervision humaine est précisément le vecteur de risque que les directives du gouvernement chinois tentent de contenir.

Le troisième coût, le moins visible, est celui de la dépendance opérationnelle silencieuse. Lorsqu'une organisation délègue des processus quotidiens à un agent autonome sans documenter ces processus ni conserver la capacité de les exécuter manuellement, elle construit une dépendance qui ne se rend visible que lorsque l'agent échoue, est compromis ou est retiré par ordre réglementaire, exactement ce qui se passe actuellement dans les entreprises d'État chinoises qui doivent auditer et désinstaller des installations qui fonctionnent depuis des semaines.

Le schéma que Pékin n’a pas inventé

Il serait pratique, mais inexact, de présenter cette histoire comme une particularité du gouvernement chinois ou de sa relation avec la technologie occidentale. Le cycle décrit par le cas OpenClaw, l'adoption massive alimentée par la pression des pairs, l'absence d'évaluation des risques, les incidents de sécurité et l'intervention réglementaire tardive, est le même cycle qui se répète dans des organisations à travers le monde avec chaque nouvelle vague technologique pertinente.

Ce que Pékin fait maintenant est, en termes structurels, ce que de nombreux conseils d'administration auraient dû faire en interne avant que leur département informatique ne commence à recevoir des demandes d'installation. L'Académie Chinoise des Technologies de l'Information et des Communications prévoit de commencer des tests de fiabilité pour des agents comme OpenClaw d'ici la fin mars. C'est une tentative de construire des normes après que l'adoption a déjà eu lieu. L'ordre correct serait l'inverse, mais cet ordre nécessite que quelqu'un en position d'autorité ait la conversation embarrassante avant que l'enthousiasme ne génère de l'inertie.

MiniMax, valorisée à 44 milliards de dollars avec 79 millions de revenus, illustre l'autre face du problème. Cet écart entre valorisation et revenus n'est durable que tant que le marché croit que l'échelle d'adoption se traduira par une monétisation. Si l'arrêt gouvernemental freine cette adoption dans le secteur public, qui est le plus vaste en Chine, la pression sur cette valorisation devient structurelle, et non conjoncturelle. L'optimisme du marché qui faisait gonfler le prix reposait sur une narration de croissance sans friction. La friction est arrivée.

La culture d'une organisation n'est pas le résultat de ses valeurs déclarées ni de ses politiques technologiques. C'est le résultat des décisions prises par ses dirigeants lorsque personne ne les y obligeait, et de toutes les conversations qu'ils ont reportées parce que le moment n'a jamais semblé propice.

Partager
0 votes
Votez pour cet article !

Commentaires

...

Vous pourriez aussi aimer

Le lobby de la langouste et l'illusion du contrôle | Sustainabl