Les pionniers de l’IA alertent sur les dangers majeurs liés au développement d’une superintelligence

Tout à coup, celles et ceux qui ont inventé l’intelligence artificielle moderne tirent le frein à main. Ils ne parlent plus de progrès, mais de danger existentiel. Une superintelligence qui dépasserait l’humain dans presque tout. Perte de contrôle. Menaces pour la démocratie. Et, dans le scénario noir, disparition de notre espèce. Exagération ou alerte à prendre au sérieux ?

Qui sont ces pionniers de l’IA qui disent « stop » ?

Derrière cet appel, il ne s’agit pas de marginaux en colère. Ce sont, pour beaucoup, les véritables « pères » de l’IA moderne. Geoffrey Hinton, par exemple, figure clé des réseaux de neurones profonds et désormais Prix Nobel de physique 2024. Yoshua Bengio, autre architecte de l’IA dite « profonde ». Stuart Russell, auteur de l’un des manuels de référence mondiale sur l’IA. Et même Steve Wozniak, cofondateur d’Apple.

Avec eux, plus de 700 signataires : scientifiques, entrepreneurs, responsables politiques, personnalités publiques. Tous ont soutenu un appel lancé par le Future of Life Institute. Leur demande est radicale : interdire le développement d’une superintelligence artificielle tant que sa sécurité n’est pas démontrée et que le grand public n’a pas donné son accord éclairé.

En clair, pas seulement ralentir. Mettre un cadre strict avant d’aller plus loin. Car pour Max Tegmark, président de l’institut, « construire une telle chose est inacceptable ». Le ton est posé, mais le message est frontal.

Superintelligence : de quoi parle-t-on exactement ?

Le mot revient partout, mais reste souvent flou. Une superintelligence, dans ce débat, ce n’est pas seulement un chatbot qui rédige des textes ou une IA qui reconnaît des images. C’est une IA qui dépasserait les humains dans la quasi-totalité des tâches intellectuelles : analyse, planification, persuasion, recherche scientifique, cybersécurité…

Imaginer un « cerveau » non humain. Plus rapide. Plus puissant. Capable d’apprendre seul à une vitesse folle. Et relié à d’énormes centres de données, à des systèmes financiers, à des réseaux d’énergie, à des infrastructures critiques. Un tel système pourrait, en théorie, prendre des décisions ou influencer des événements à une échelle que nous contrôlons mal.

Et c’est là que la peur commence. Les pionniers de l’IA ne redoutent pas seulement des bugs. Ils redoutent une perte de contrôle structurelle. Une situation où l’humain continuerait à appuyer sur des boutons, mais sans vraiment comprendre ni maîtriser ce qui se passe derrière.

Les grands risques évoqués par les experts

Les signataires ne parlent pas seulement de science-fiction. Ils détaillent des risques très concrets, de court et de long terme. Parmi eux, plusieurs reviennent en boucle.

• Perte de contrôle humaine : une IA superpuissante pourrait poursuivre des objectifs mal définis ou mal compris. Même sans « vouloir » nous nuire, elle pourrait provoquer des dégâts massifs en optimisant aveuglément une tâche.
• Déresponsabilisation : plus les décisions importantes sont automatisées, plus les humains peuvent se cacher derrière la machine. « Ce n’est pas moi, c’est l’algorithme. » Qui est responsable en cas de catastrophe ?
• Menaces pour la sécurité nationale : cyberattaques automatisées, manipulation d’opinions à grande échelle, systèmes d’armes autonomes. Une superintelligence pourrait devenir un outil majeur de conflit, ou un facteur d’escalade incontrôlable.
• Manipulation de masse : des IA très avancées pourraient produire de la désinformation ultra-ciblée, imiter des voix, des visages, influencer des élections. Et cela, de manière presque invisible.
• Risque existentiel : dans le scénario le plus sombre, une superintelligence pourrait altérer profondément notre environnement, nos institutions, voire rendre la vie humaine vulnérable à un point de non-retour.

Les experts ne disent pas que tout cela va arriver demain matin. Ils disent que la probabilité n’est pas nulle. Et qu’avec de tels enjeux, même un faible pourcentage suffit pour justifier un frein très net.

Pendant ce temps, la course à l’IA s’emballe

Ce qui choque beaucoup d’observateurs, c’est le contraste. D’un côté, des chercheurs qui répètent : « Nous ne savons pas vraiment ce que nous sommes en train de fabriquer. » De l’autre, des entreprises qui appuient sur l’accélérateur.

Sam Altman, patron d’OpenAI, évoque la possibilité d’une superintelligence dans les cinq ans. Microsoft, Google, Meta, Anthropic et d’autres investissent des dizaines de milliards. Les data centers géants poussent partout : États-Unis, Chine, Europe. La puissance de calcul devient la nouvelle arme stratégique.

Le projet Stargate, porté notamment par OpenAI, Nvidia et SoftBank, parle déjà de besoins énergétiques équivalents à plusieurs réacteurs nucléaires à l’horizon 2030. En Chine, le plan Dong Shu Xi Suan vise des dizaines de gigawatts de puissance de calcul dans les prochaines années. Chaque acteur sait que celui qui prendra du retard risque de perdre la main pour longtemps.

Résultat : personne ne veut lâcher la pédale. Même ceux qui reconnaissent les risques ont peur de voir un concurrent, ou un autre pays, prendre l’avantage. C’est une vraie dynamique de course. Et les appels à la prudence, pour l’instant, pèsent peu face à cette logique.

Est-il possible de vouloir l’IA… mais pas la superintelligence ?

Un point subtil complique encore le débat. Beaucoup d’experts ne sont pas contre l’IA en général. Max Tegmark lui-même le dit : on peut soutenir des outils d’IA qui sauvent des vies, améliorent la médecine, aident à lutter contre le changement climatique. Et en même temps s’opposer fermement à la superintelligence.

Où tracer la limite entre les deux ? A partir de quel niveau de puissance, de connexion au monde réel, de capacité d’auto-amélioration, dit-on : « stop, au-delà c’est trop dangereux » ? Pour l’instant, personne n’a de réponse claire. Les technologies progressent plus vite que les définitions juridiques ou éthiques.

C’est un peu comme si l’on essayait de fixer un code de la route alors que les voitures passent déjà à 300 km/h. Tout le monde sent bien qu’il faut des règles. Mais les lignes restent floues. Et certains préfèrent continuer à accélérer tant qu’aucune loi stricte ne les en empêche.

Une alerte qui dépasse le monde de la tech

Un autre élément marquant de cet appel, c’est la diversité des signataires. On y trouve des grandes figures de la tech, mais aussi des entrepreneurs comme Richard Branson, des personnalités publiques comme le prince Harry et Meghan Markle, des artistes comme le chanteur will.i.am, ou encore l’acteur Joseph Gordon-Levitt.

Des responsables politiques et des voix morales se joignent également au mouvement. Par exemple, l’ancienne présidente irlandaise Mary Robinson. Ou un conseiller du pape spécialisé dans l’éthique de l’IA. Le message ne vient plus seulement de laboratoires spécialisés. Il touche la société civile, la culture, la politique, la religion.

Pourtant, dans les salles de marché et les conseils d’administration, l’écho reste faible. Les investisseurs regardent d’abord la croissance potentielle, les nouveaux produits, les gains de productivité. Tant que les profits augmentent, la tentation est forte de remettre la réflexion éthique à plus tard.

Et vous, où vous situez-vous dans ce débat ?

Ce débat peut paraître abstrait, lointain. Pourtant, il concerne votre vie quotidienne. Vos données. Votre travail. Vos droits. Votre accès à l’information. Si une superintelligence voyait le jour sans garde-fous solides, ses choix pourraient façonner le monde dans lequel vos enfants grandiront.

Alors, que faire en tant que citoyen ou citoyenne ? D’abord, s’informer. Comprendre ce que ces pionniers disent vraiment. Ni minimiser les risques, ni céder à la panique. Ensuite, demander des règles claires : à vos élus, aux institutions, aux entreprises. Exiger de la transparence sur l’usage de l’IA dans les services publics, les écoles, les hôpitaux, les entreprises qui vous touchent.

Les pionniers de l’IA ont lancé leur alerte. La question est maintenant entre nos mains collectives : voulons-nous une course sans limite vers la superintelligence, ou un progrès encadré, discuté, assumé ? Il ne s’agit pas d’être pour ou contre la technologie. Il s’agit de décider, ensemble, quelle place nous laissons à l’humain dans ce futur qui arrive très vite.