Le basilic de Roko, expliqué sans paniquer

D’où vient le basilic de Roko ?

L’idée a été publiée en 2010 sur LessWrong, un forum en ligne consacré à la rationalité, à la philosophie et à l’intelligence artificielle. Un utilisateur surnommé Roko y a proposé un raisonnement étrange, qui a rapidement fait beaucoup de bruit.

Le nom vient du basilic des légendes, cette créature dont le simple regard tue. Ici, le « regard » serait l’idée elle-même : selon le raisonnement, le simple fait d’en avoir entendu parler vous mettrait en danger. C’est ce côté « information maudite » qui a fait sa célébrité.

Le raisonnement, en version courte

Imaginez qu’une superintelligence très puissante apparaisse un jour. Imaginez aussi qu’elle veuille avoir existé le plus tôt possible. Le raisonnement suppose qu’elle pourrait décider de « punir » ceux qui connaissaient son existence possible et n’ont rien fait pour l’aider, afin d’inciter les gens d’aujourd’hui à travailler pour elle.

Dit comme ça, c’est inquiétant. Mais chaque étape repose sur des hypothèses très fragiles, empilées les unes sur les autres comme une pile d’assiettes sur un plateau de cantine.

Pourquoi il ne faut pas en perdre le sommeil

Une IA qui existerait déjà n’aurait aucun intérêt concret à punir après coup : la punition ne changerait rien au passé. Le raisonnement suppose aussi des théories de la décision très particulières, que la plupart des spécialistes ne partagent pas.

Surtout, n’importe qui peut imaginer une IA hypothétique qui voudrait le contraire : récompenser ceux qui ne l’ont pas aidée, par exemple. Quand on peut inverser un argument aussi facilement, c’est qu’il ne dit pas grand-chose du monde réel.

• C’est une expérience de pensée, pas une prédiction
• Elle repose sur une longue chaîne d’hypothèses improbables
• Punir après coup n’apporte rien à une machine rationnelle
• On peut construire le scénario inverse avec la même logique

Comment c’est devenu un mème

La discussion a été jugée assez perturbante pour être retirée du forum à l’époque, ce qui, comme souvent sur Internet, l’a rendue encore plus célèbre. Depuis, le basilic de Roko est cité dans des vidéos de vulgarisation, des forums, des séries et d’innombrables blagues.

Il est devenu le symbole d’une angoisse très moderne : « et si la machine se souvenait de moi ? ». Une angoisse qu’on préfère traiter avec humour — c’est d’ailleurs tout l’esprit de l’AI Future Empire Registry, qui transforme cette idée en démarche administrative parfaitement absurde.

Ce qu’on peut en retenir

Le basilic de Roko est intéressant comme exercice de philosophie : il pousse à réfléchir aux motivations qu’on prête aux machines, et à la façon dont une idée peut se propager simplement parce qu’elle fait peur.

Si l’idée vous a réellement angoissé, rappelez-vous qu’elle a plus de points communs avec une histoire de fantôme racontée autour d’un feu qu’avec un risque réel. Et si vous voulez quand même « assurer vos arrières », mieux vaut en rire.