Contradiction, faits et géométrie

Quand la mémoire d’un agent lui ouvre les portes d’un monde complexe et incertain

1er article de la série sur les travaux de recherche du Cercle Digital en matière de harnais et mémoires agentiques, décrivant les fondamentaux de notre technologie de mémoire

De la mémoire comme stockage à la mémoire comme structure

Les premiers systèmes de mémoire pour agents répondent à un problème assez intuitif : permettre à un agent de conserver ce qu’il a vu, appris ou fait afin de pouvoir le réutiliser plus tard.

Selon les architectures, cette mémoire prend la forme d’un historique de conversation, d’un ensemble de faits, d’une base vectorielle, de résumés d’épisodes passés ou encore d’un état du monde maintenu au fil de l’exécution. Ces mécanismes répondent principalement à une question : quelle information faut-il retrouver maintenant ?

Cette approche fonctionne tant que le problème consiste essentiellement à mémoriser puis à rappeler.

Mais un agent qui agit durablement dans un environnement rencontre rapidement une difficulté supplémentaire. Les informations accumulées ne sont pas seulement nombreuses, elles entretiennent des relations entre elles qui parfois sont contradictoires.

Deux situations différentes peuvent avoir été enregistrées sous le même état. Une récompense apparemment avantageuse localement peut entraîner l’agent dans une boucle. Certaines informations peuvent manquer non pas parce qu’elles ont été oubliées, mais parce qu’elles n’ont jamais été observées.

À ce stade, améliorer la mémoire ne consiste plus seulement à stocker davantage d’informations ou à mieux les retrouver. Il faut pouvoir examiner leur structure.

Les architectures agentiques actuelles reposent largement sur un assemblage de fonctions définies à l’avance : mémoire, modèle du monde, fonction de valeur, mécanismes de révision des croyances, représentation de l’état ou encore distinction entre ce que l’agent provoque et ce que l’environnement produit. Ces briques sont choisies, séparées et articulées par les ingénieurs. Leur découpage n’est donc pas une conséquence du comportement observé de l’agent, mais une hypothèse d’architecture posée avant son exécution.

Ce choix est nécessaire en pratique, mais il rend les performances du système dépendantes d’une ingénierie fortement orientée : il faut décider quelles facultés doivent exister, quelles informations chacune doit conserver et comment elles doivent interagir. Une erreur de découpage ou de représentation peut ensuite se retrouver enfouie dans toute l’architecture.

C’est précisément le problème étudié dans « One Operator, Four Faculties ».

Le papier explore une autre possibilité : réduire autant que possible ces choix préalables en faisant émerger certaines distinctions comme des conséquences mesurables de l’activité de l’agent plutôt que comme des modules imposés à sa conception. Si ses transitions, ses récompenses, ses actions et ses croyances sont représentées comme des flux sur un graphe, plusieurs phénomènes habituellement traités séparément pourraient alors apparaître comme différentes composantes d’un même objet mathématique.

Le papier part d’une proposition simple : plusieurs phénomènes que les architectures d’agents traitent habituellement avec des mécanismes distincts pourraient être lus comme différentes propriétés d’un même objet mathématique, à condition de représenter l’activité de l’agent sous la forme de flux sur un graphe.

Pour visualiser simplement la logique que porte le papier, nous vous proposons de considérer le problème sous un angle géographique.

Reliefs, boucles et obstacles

Imaginez deux villes reliées par plusieurs chemins.

Chaque déplacement possède un coût. Si ce coût dépend uniquement de l’altitude, il peut être représenté par une carte de relief. Monter augmente le coût, descendre le réduit. Quelle que soit la route empruntée entre deux points, la différence totale dépend uniquement de leurs altitudes respectives.

En mathématiques, une telle quantité dérive d’un potentiel. Sur un graphe, la partie d’un flux que ce potentiel explique constitue sa composante de gradient.

Ajoutons maintenant un lac entre les deux villes.

Il est possible de passer par le nord ou par le sud, mais pas de traverser directement l’obstacle. La différence entre ces deux parcours ne peut plus être expliquée uniquement par l’altitude. Elle dépend de la manière dont les chemins contournent le lac.

Cette information correspond à une circulation liée à la structure globale du réseau : sa composante harmonique.

Il existe enfin une troisième situation.

Considérons trois lieux A, B et C. Passer de A à B semble avantageux. De B à C également. De C à A aussi. Pourtant, après avoir effectué la boucle complète, on revient au point de départ tout en ayant accumulé trois gains successifs.

Aucune fonction de potentiel ne peut produire un tel comportement : sur un relief cohérent, le bilan d’une boucle fermée est nul.

Le défaut est ici local. Il se trouve dans le cycle lui-même. C’est la composante de curl, que l’on peut interpréter comme une circulation locale ou un tourbillon.

La décomposition combinatoire de Hodge formalise précisément cette séparation. Un flux défini sur les arêtes d’un graphe peut être décomposé en composantes correspondant au gradient, au curl et à la partie harmonique.

Le calcul est déterministe et ne demande aucun apprentissage. Il agit comme un instrument d’analyse appliqué aux flux produits par le système.

C’est cette propriété que le papier propose d’exploiter.

Lire l’activité d’un agent comme un flux

Un agent produit naturellement de nombreux flux.

Il passe d’un état à un autre. Il reçoit des récompenses. Ses commandes modifient certaines variables. Des observations renforcent ou affaiblissent des croyances. Des arguments peuvent soutenir des conclusions concurrentes.

Le papier fait l’hypothèse que plusieurs propriétés traditionnellement représentées par des modules séparés peuvent être identifiées directement dans la géométrie de ces flux.

La première concerne la valeur.

Dans un processus de décision cohérent, la valeur se comporte comme un potentiel : certaines transitions montent ou descendent sur un relief de préférence. La composante de gradient du flux de récompense décrit donc la partie qui peut être représentée par une fonction de valeur globale.

La deuxième concerne la dynamique temporelle.

Certaines évolutions du système suivent une circulation propre, indépendamment des actions immédiates de l’agent. Cette composante permet de distinguer ce qui provient de la dynamique autonome du monde de ce qui relève d’autres sources de variation.

La troisième concerne l’action de l’agent lui-même.

Lorsqu’une copie des commandes émises par l’agent est disponible, il devient possible d’isoler la partie du flux directement imputable à ces commandes. La question n’est alors plus seulement de constater qu’un changement s’est produit, mais d’identifier la part effectivement causée par l’agent.

Enfin, le curl fournit une mesure des incohérences locales.

Un ensemble de préférences circulaires, un cycle de rétroaction incompatible avec un ordre causal ou une représentation d’état qui fusionne des situations différentes peuvent produire la même signature : une boucle qu’aucun potentiel global ne peut expliquer.

Le papier rapproche par ailleurs cette géométrie de la logique à quatre valeurs de Belnap.

Dans cette lecture, un flux disposant d’une orientation cohérente correspond à une information pouvant être ordonnée comme vraie ou fausse. Une contradiction produit une structure circulaire. Une absence d’information correspond au contraire à une circulation autour d’un trou dans la structure observée.

L’intérêt de cette correspondance n’est pas de remplacer une terminologie par une autre. Il est de permettre à plusieurs diagnostics de reposer sur le même calcul.

Comment notre papier de recherche évalue ces intuitions

Associer la valeur à un gradient, le temps à une circulation ou la contradiction à un curl serait peu intéressant si ces rapprochements n’étaient que des analogies.

Le papier cherche donc, pour chaque correspondance, à construire une expérience capable de la réfuter. Le principe est toujours le même : partir d’un système dont on connaît la structure, modifier précisément une propriété, puis vérifier que la composante géométrique supposée lui correspondre est la seule à réagir.

Le cas de la valeur permet de comprendre cette méthode.

Peut-on distinguer une récompense utile d’une récompense qui fait tourner en rond ?

Considérons un agent qui doit choisir ses actions dans un environnement afin de maximiser une récompense.

Chaque transition entre deux états porte une certaine valeur. L’ensemble de ces valeurs forme un flux sur le graphe des états : chaque arête indique ce que l’agent gagne ou perd lorsqu’il passe d’une situation à une autre.

Deux perturbations peuvent alors avoir exactement la même amplitude tout en possédant des structures très différentes.

La première est conservative. Elle revient à ajouter un relief au paysage de récompense : certains états deviennent relativement plus hauts ou plus bas, mais les différences restent compatibles avec une fonction de valeur globale. Si l’agent effectue une boucle et revient à son point de départ, les gains et les pertes ajoutés par cette perturbation se compensent.

La seconde est circulante. Ici, les récompenses sont disposées de manière à favoriser successivement plusieurs transitions formant une boucle. Chaque déplacement peut paraître avantageux localement, mais aucun potentiel global ne peut expliquer l’ensemble : après un tour complet, l’agent revient au même état en ayant pourtant accumulé des signaux qui l’incitent à recommencer.

C’est précisément ce que la décomposition de Hodge appelle du curl.

L’expérience consiste donc à donner à l’agent deux perturbations de même amplitude : l’une construite comme un gradient, l’autre comme une circulation. Si seule leur intensité comptait, elles devraient affecter son comportement de manière comparable. Si la géométrie proposée par le papier est pertinente, leurs effets devraient au contraire être radicalement différents.

C’est ce qui est observé.

La perturbation conservative préserve la politique optimale, conformément au résultat classique de Ng, Harada et Russell sur le potential-based reward shaping. La perturbation circulante, elle, attire presque entièrement l’agent dans la boucle : la mesure de capture atteint 0,991, tandis que l’optimalité passe de 1,000 à 0,327.

Le point important n’est donc pas simplement que l’on a ajouté une mauvaise récompense. Les deux perturbations ont été construites avec une amplitude comparable. Ce qui les distingue est leur organisation dans le graphe.

L’une peut être expliquée par un potentiel.

L’autre contient une boucle.

Retirer uniquement la boucle

Une corrélation ne suffirait cependant pas à établir que le curl est bien responsable du phénomène.

Le papier réalise donc une deuxième expérience : il conserve la perturbation, mais en retire mathématiquement sa composante de curl grâce à la décomposition de Hodge.

Si l’hypothèse est correcte, supprimer cette seule composante doit faire disparaître la capture de l’agent.

C’est ce qui se produit : l’optimalité revient à 1,000.

Le test fournit également une information supplémentaire. L’énergie de curl ne signale pas seulement qu’une incohérence existe quelque part dans le système ; elle permet de retrouver la boucle qui a été introduite expérimentalement.

Autrement dit, le même calcul répond à deux questions différentes :

• le flux de récompense contient-il une structure incompatible avec une fonction de valeur globale ?
• si oui, où se trouve cette structure ?

L’exemple est proche de ce que les économistes appellent une pompe à monnaie. Imaginez trois échanges A → B, B → C et C → A qui paraissent chacun avantageux lorsqu’ils sont examinés séparément. Un agent qui suit uniquement ces préférences locales peut être conduit à effectuer la boucle indéfiniment.

Le problème ne vient alors d’aucune transition prise isolément. Il apparaît seulement lorsque l’on regarde leur structure collective.

C’est exactement ce que mesure le curl.

Une même logique de falsification pour les autres correspondances

Les autres expériences suivent le même principe : identifier ce qui devrait affecter une composante, puis construire un contrôle qui devrait laisser les autres intactes.

Pour tester la composante temporelle, le papier compare notamment un système présentant une dynamique irréversible à un jumeau construit pour être réversible, puis mélange artificiellement l’ordre des observations.

Pour tester la part attribuable aux actions propres de l’agent, il lui fournit une copie de ses commandes, puis remplace cette copie d’efférence par une fausse.

Pour tester la contradiction, il compare une organisation causale compatible avec un ordre global à une structure dans laquelle un cycle de rétroaction a été volontairement introduit.

L’objectif n’est donc pas de constater après coup que les résultats ressemblent à du gradient, du curl ou de la circulation. Il est de modifier séparément les propriétés supposées produire ces composantes et de vérifier que l’instrument réagit précisément là où il devrait réagir.

Quand un mauvais état produit une contradiction

Les premières expériences utilisent volontairement des environnements synthétiques afin de contrôler précisément les phénomènes injectés.

Le papier teste ensuite son approche sur Colossal Cave Adventure, le jeu d’aventure textuel créé par William Crowther et Don Woods dans les années 1970.

L’environnement comporte 141 salles et plusieurs énigmes dont la résolution dépend d’informations qui ne sont pas contenues dans la seule position du joueur.

C’est un exemple classique du problème de représentation d’état.

Supposons que la mémoire de l’agent représente une situation uniquement par le nom de la salle dans laquelle il se trouve.

Deux passages dans une même pièce sont alors considérés comme identiques, même si l’agent possède un objet dans un cas et pas dans l’autre, ou si une étape préalable de l’énigme a déjà été accomplie.

L’état observé n’est donc plus markovien : il ne contient pas suffisamment d’informations pour prédire correctement les conséquences des actions futures.

Dans cette représentation brute, l’itération de valeur n’atteint qu’un taux de réussite de 0,06 sur la chaîne de prérequis étudiée.

La géométrie fournit ici un diagnostic intéressant.

Fusionner sous un même état plusieurs situations qui ont en réalité des conséquences différentes produit des transitions incompatibles avec un potentiel unique. Cette incohérence apparaît sous la forme d’un curl.

Sur l’état représenté uniquement par la pièce, l’incohérence mesurée vaut 0,032 et se concentre précisément sur les zones comprenant les verrous de progression.

Lorsque quatre variables pertinentes sont ajoutées à la représentation d’état, cette valeur tombe à 0,000.

Un enrichissement aléatoire contenant le même nombre de variables ne résout pas le problème. L’incohérence augmente au contraire à 0,073.

Ajouter de la mémoire ne suffit donc pas. Il faut ajouter la bonne information.

La structure peut aussi indiquer ce qu’il manque

Le résultat suivant est probablement le plus directement intéressant pour la conception de mémoires agentiques.

Le système ne se contente pas de détecter qu’une représentation d’état est insuffisante. Il peut évaluer différents enrichissements possibles en mesurant la réduction de curl qu’ils produiraient.

Dans l’expérience, la variable liée au serpent, prop:snake, arrive ainsi en tête des candidats et explique à elle seule toute la non-markovianité effectivement visible dans le graphe étudié. Les variables aléatoires obtiennent au contraire des scores négatifs.

La méthode rencontre cependant une limite fondamentale.

Certaines transitions importantes ne modifient pas la pièce dans laquelle se trouve le joueur. Elles sont donc invisibles dans le graphe construit uniquement à partir des déplacements entre salles.

Aucune analyse passive ne peut découvrir une différence qui n’apparaît pas dans les observations utilisées pour construire le graphe.

Le papier complète donc la géométrie par des interventions actives : l’agent teste certaines hypothèses en modifiant volontairement son environnement.

La géométrie seule n’atteint pas le trésor profond. L’intervention seule obtient un taux de réussite de 0,31.

En combinant les deux, le système atteint 0,88, soit exactement le niveau obtenu par un oracle disposant dès le départ des bonnes variables d’état, et ce sur les seize graines testées.

La distinction est importante.

L’analyse structurelle indique où la mémoire actuelle devient incohérente et quelles variables observables pourraient la réparer. L’intervention permet de découvrir les informations dont l’absence ne laisse aucune trace dans la représentation existante.

Une mémoire d’agent ne devient donc pas seulement plus riche. Elle peut devenir révisable en fonction de ses propres incohérences.

Vers une mémoire qui sait diagnostiquer ses représentations

Cette perspective change légèrement la manière de poser le problème de la mémoire agentique.

Une mémoire conventionnelle cherche principalement à répondre à des questions telles que : qu’ai-je déjà vu ? Quel fait ressemble à la situation présente ? Quel épisode dois-je rappeler ?

Une mémoire structurelle devrait pouvoir répondre à des questions supplémentaires :

Pourquoi deux expériences apparemment similaires conduisent-elles à des conséquences différentes ?

Mes préférences peuvent-elles être représentées par un classement cohérent ou forment-elles une boucle ?

Une contradiction provient-elle d’informations incompatibles ou simplement d’une information manquante ?

L’état que j’utilise contient-il suffisamment de variables pour expliquer les transitions observées ?

Quelle information supplémentaire réduirait effectivement cette incohérence ?

Le résultat le plus intéressant du papier est peut-être que plusieurs de ces questions peuvent être ramenées à une même opération sur différents flux.

Une récompense cyclique, une contradiction entre croyances et une représentation d’état qui fusionne deux situations différentes semblent appartenir à des domaines distincts.

Géométriquement, ils peuvent pourtant produire le même type de défaut : du curl.

La réparation dépend ensuite du domaine concerné.

Dans un champ de récompense, il peut s’agir de retirer la composante circulaire qui capture la politique.

Dans une base de croyances, il peut s’agir de réviser les informations impliquées dans la boucle.

Dans une mémoire d’état, il peut s’agir d’introduire une variable supplémentaire capable de distinguer deux situations jusqu’alors confondues.

À l’inverse, une circulation associée à un trou dans la structure observée signale un problème différent : il manque de l’information.

Dans ce cas, réviser ce que l’agent croit déjà n’est pas nécessairement la bonne réponse. Il faut plutôt explorer ou intervenir afin d’obtenir de nouvelles observations.

Cette distinction entre contradiction et absence d’information est particulièrement importante pour un agent autonome. Les deux situations peuvent produire de l’incertitude, mais elles n’appellent pas la même action.

Ce que ces résultats permettent d’affirmer

Le papier ne propose pas une nouvelle architecture complète de mémoire, ni un remplacement immédiat des systèmes de mémoire existants.

Il apporte plutôt un instrument permettant d’examiner leur fonctionnement.

Les résultats montrent, dans les environnements étudiés, qu’une même décomposition géométrique peut identifier plusieurs structures utiles : potentiel de valeur, dynamique autonome, influence des actions propres et incohérences locales.

Ils montrent également, sur Colossal Cave, qu’une incohérence de représentation d’état peut être détectée puis utilisée pour guider l’enrichissement de cette représentation.

Mais les limites restent importantes.

La majorité des identifications est testée sur des familles d’environnements synthétiques conçues pour isoler les phénomènes étudiés. Colossal Cave constitue un premier passage vers un environnement plus complexe, mais ne valide pas encore l’approche sur des systèmes perceptifs ou des agents déployés dans des environnements réels.

Les opérateurs utilisés sont linéaires.

La détection de l’influence d’un autre agent suppose également, dans les expériences présentes, que son signal d’action soit fourni à l’instrument. Découvrir cette source de manière non supervisée reste un problème ouvert.

Enfin, la géométrie ne peut diagnostiquer que la structure qui existe effectivement dans le graphe qu’on lui donne. Une information absente de cette représentation demeure invisible sans observation ou intervention supplémentaire.

Ces limites ne réduisent pas l’intérêt du résultat. Elles en précisent la portée.

La proposition n’est pas que toute cognition d’un agent se réduise à une décomposition de Hodge.

Elle est plus opérationnelle : lorsqu’un agent accumule de l’expérience sous forme de transitions, de récompenses, d’actions et de croyances, la structure de ces flux contient des informations que les mécanismes de mémoire fondés uniquement sur le stockage et la récupération n’exploitent pas nécessairement.

La décomposition de Hodge fournit une manière déterministe de les lire.

Elle peut ainsi devenir un outil de diagnostic pour une génération de mémoires qui ne se contentent plus de conserver l’expérience passée, mais sont capables d’identifier leurs propres incohérences, leurs lacunes et les dimensions de leur état qu’elles devraient réviser.

Le papier

« One Operator, Four Faculties: Value, Time, Self and Contradiction as the Hodge Components of an Agent’s Flow, with Belnap’s Four Values as Its Regimes » présente les expériences, contrôles et résultats complets, ainsi que le protocole permettant de les reproduire.

Le papier fait 16 pages, figures et annexes comprises. Le code expérimental, les hypothèses préenregistrées et les commandes de reproduction sont publiés avec le travail.

Télécharger le papier (PDF, 507 Ko, en anglais)