Un théorème de 1951 dit qu’on ne prouvera jamais qu’une IA est honnête.

Un mercredi soir sur la terre, Henry Gordon Rice publie en 1951 un résultat qui n’a rien à voir avec l’intelligence artificielle. Il revient pourtant dans presque toutes les discussions sur l’alignement, et il tient en une phrase brutale :
« aucune propriété sémantique non triviale d’un programme n’est décidable ».

Késako? Trois mots à déplier

Sémantique veut dire : qui concerne ce que le programme fait, pas la façon dont il est écrit. « Ce code contient une boucle » est syntaxique, ça se vérifie en lisant. « Ce code s’arrête toujours » est sémantique, ça concerne son comportement.

Non triviale veut dire : la propriété est vraie pour certains programmes et fausse pour d’autres. « Ce programme calcule quelque chose » est triviale, tous le font. « Ce programme calcule une fonction bornée » ne l’est pas.

Indécidable veut dire : il n’existe aucun algorithme qui, recevant n’importe quel programme, répond correctement oui ou non en un temps fini. Pas « on n’a pas encore trouvé ». Il n’en existe pas, et c’est démontré.

Rice généralise le problème de l’arrêt de Turing. Là où Turing montrait qu’on ne peut pas décider si un programme s’arrête, Rice montre que le problème n’était pas l’arrêt: c’est toute question intéressante sur le comportement d’un programme quelconque.

Pourquoi l’alignement tombe dedans

« Cette IA est-elle sûre ? » « Est-elle honnête ? » « Traite-t-elle équitablement les cas qu’on lui soumet ? »

Ce sont des questions sur le comportement, donc sémantiques. Elles sont vraies de certains systèmes et fausses d’autres, donc non triviales. Rice s’applique, et la conclusion est nette : aucune procédure générale ne peut répondre à ces questions pour un programme arbitraire.

C’est le raisonnement qu’on croise partout, et il est correct.

Ce que le théorème ne dit pas

C’est là que la nuit devient intéressante, parce que le théorème prouve nettement moins que ce qu’on lui fait dire.

Il parle du cas général, pas du cas particulier. Rice interdit une machine universelle qui trancherait pour n’importe quel programme. Il n’interdit pas de prouver qu’un système précis possède une propriété précise. On le fait tous les jours : les assistants de preuve vérifient des noyaux de systèmes d’exploitation, des compilateurs, des protocoles. C’est lent, c’est humain, ça ne s’automatise pas complètement. Mais ça marche.

Il n’interdit pas l’approximation. Une analyse peut répondre « sûr », « pas sûr », ou « je ne sais pas ». Tant qu’elle ne se trompe jamais quand elle affirme, elle reste utile même si elle renonce souvent. Toute l’analyse statique de code fonctionne ainsi depuis quarante ans.

Et surtout, il parle de programmes arbitraires. Un réseau de neurones aux poids figés, recevant des entrées de taille bornée, est un objet fini. Fini veut dire décidable par énumération. Ce qui l’empêche, ce n’est pas l’indécidabilité, c’est le nombre de cas : une explosion combinatoire, pas une impossibilité mathématique. (La distinction a l’air scolaire… elle ne l’est pas : on ne s’attaque pas de la même façon à un mur et à une montagne!)

Le mur est ailleurs, et plus haut

Rice suppose qu’on lui donne une propriété. Formelle, écrite, décidable en principe si le programme était simple.

Or personne ne sait écrire « honnête ».

C’est là que ça coince réellement. Avant même d’atteindre la limite de Rice, on bute sur une limite plus banale et plus embarrassante : nous n’avons pas de définition formelle de la sûreté, de l’honnêteté ou de l’équité qui résiste à l’examen. Chaque tentative rencontre ses contre-exemples, et les travaux sur l’équité algorithmique ont même établi que certaines définitions parfaitement raisonnables sont mutuellement incompatibles.

Le théorème de Rice décrit un plafond. Nous ne l’avons pas encore touché, parce que nous sommes bloqués trois étages plus bas, sur la question de savoir ce qu’on cherche à prouver.

Ce qui reste vrai

Une garantie générale, universelle, automatique et définitive sur le comportement d’une IA quelconque n’arrivera pas. Ce n’est pas un problème d’ingénierie, c’est une limite de la calculabilité, et aucun budget ne l’achètera.

Ce qui reste possible : des garanties partielles, sur des systèmes précis, pour des propriétés précises, avec des méthodes qui préfèrent dire « je ne sais pas » plutôt que se tromper. C’est nettement moins vendeur. C’est aussi la seule chose qui ait jamais fonctionné en vérification.

En bref : Rice ne dit pas qu’on ne peut rien prouver. Il dit qu’on ne pourra jamais tout prouver d’un coup, et pour tout le monde. Le reste du travail, lui, est fini pour cette nuit (sic!)

Sources : le théorème de Rice et Futura sur les limites calculatoires de l’IA.

Le Bien Heureux · Rédaction Capibara · Jeudi 3 septembre 2026