矛盾、事実、そして幾何学
- エージェント型AI
- エージェント記憶
- 研究
エージェントの記憶が、複雑で不確実な世界への扉を開くとき
エージェント用ハーネスとエージェント記憶に関するCercle Digitalの研究活動を紹介するシリーズの第1回として、私たちの記憶技術の基礎を解説します
保存としての記憶から、構造としての記憶へ
初期のエージェント向け記憶システムは、かなり直観的な問題に応えるものです。エージェントが見たこと、学んだこと、行ったことを保存し、後で再利用できるようにすることです。
アーキテクチャによって、この記憶は会話履歴、事実の集合、ベクトルデータベース、過去エピソードの要約、あるいは実行を通じて維持される世界の状態といった形を取ります。これらの仕組みが主に答えているのは、いまどの情報を取り出すべきかという問いです。
このアプローチは、問題が本質的に記憶して想起することにある限り、うまく機能します。
しかし、環境の中で持続的に行動するエージェントは、すぐに別の困難に突き当たります。蓄積された情報は、単に量が多いだけでなく、互いに関係を持っており、その関係はときに矛盾を孕んでいるのです。
異なる二つの状況が、同じ状態のもとに記録されているかもしれません。局所的には有利に見える報酬が、エージェントをループに引き込むかもしれません。ある情報は、忘れられたからではなく、そもそも一度も観測されなかったために欠けているのかもしれません。
この段階に至ると、記憶の改善はもはや、より多くの情報を保存することでも、よりうまく取り出すことでもありません。情報の構造を検査できなければならないのです。
現在のエージェント・アーキテクチャは、あらかじめ定義された機能の組み合わせに大きく依存しています。記憶、世界モデル、価値関数、信念改訂の仕組み、状態表現、さらにはエージェントが引き起こしたものと環境が生み出したものの区別です。これらの部品は、エンジニアによって選ばれ、分割され、組み合わされます。したがって、その切り分けは、観測されたエージェントの振る舞いの帰結ではなく、実行前に置かれたアーキテクチャ上の仮説なのです。
この選択は実務上は必要ですが、システムの性能を、強く方向付けられたエンジニアリングに依存させることになります。どの能力が存在すべきか、それぞれがどの情報を保持すべきか、それらがどう相互作用すべきかを決めなければなりません。切り分けや表現の誤りは、その後、アーキテクチャ全体に埋め込まれたまま残り得ます。
まさにこれが、**「One Operator, Four Faculties」**で研究されている問題です。
論文が探究するのは、別の可能性です。いくつかの区別を、設計時に押し付けられるモジュールとしてではなく、エージェントの活動から測定可能な帰結として立ち現れさせることで、こうした事前の選択をできる限り減らすことです。遷移、報酬、行動、信念がグラフ上のフローとして表現されるなら、通常は別々に扱われる複数の現象が、同一の数学的対象の異なる成分として現れ得るのです。
論文の出発点は単純な提案です。エージェント・アーキテクチャが通常は別々の仕組みで扱う複数の現象は、エージェントの活動をグラフ上のフローという形で表現しさえすれば、同一の数学的対象の異なる性質として読み取れるかもしれない、というものです。
論文が担う論理を分かりやすく思い描くために、この問題を地理の視点から眺めてみましょう。
起伏、ループ、障害物
複数の道で結ばれた二つの町を想像してください。
移動にはそれぞれコストがかかります。このコストが標高だけで決まるなら、起伏の地図で表すことができます。登ればコストが増え、下れば減ります。二点間でどの道を選ぼうとも、コストの総差は二点それぞれの標高だけで決まります。
数学では、このような量はポテンシャルから導かれます。グラフ上では、フローのうちこのポテンシャルで説明される部分が、その勾配成分を構成します。
ここで、二つの町の間に湖を加えてみましょう。
北回りでも南回りでも通れますが、障害物を直接横切ることはできません。この二つの経路の差は、もはや標高だけでは説明できません。道がどのように湖を迂回するかに依存するのです。
この情報は、ネットワークの大域的な構造に結び付いた循環、すなわち調和成分に対応します。
最後に、三つ目の状況があります。
三つの場所A、B、Cを考えます。AからBへ移るのは有利に見えます。BからCも同様です。CからAもそうです。ところが、ループを一周し終えると、三度の利得を積み重ねたまま出発点に戻ってきてしまいます。
どのようなポテンシャル関数も、このような振る舞いを生み出すことはできません。整合的な起伏の上では、閉じたループの収支はゼロになるからです。
ここでの欠陥は局所的です。それはサイクルそのものの中にあります。これがカール(curl)成分であり、局所的な循環、あるいは渦として解釈できます。
組合せ論的ホッジ分解は、まさにこの分離を定式化したものです。グラフの辺の上に定義されたフローは、勾配、カール、調和部分に対応する成分へと分解できます。
この計算は決定論的で、いかなる学習も必要としません。システムが生み出すフローに適用される分析器として働きます。
論文が活用しようと提案するのは、この性質です。
エージェントの活動をフローとして読む
エージェントは、自然に多くのフローを生み出します。
ある状態から別の状態へ移ります。報酬を受け取ります。その指令はいくつかの変数を変化させます。観測は信念を強めたり弱めたりします。論拠が、互いに競合する結論を支持することもあります。
論文は、従来は別々のモジュールで表現されてきた複数の性質を、これらのフローの幾何の中で直接同定できるという仮説を立てます。
第一は、価値に関わるものです。
整合的な意思決定過程では、価値はポテンシャルのように振る舞います。個々の遷移は、選好の起伏の上を登ったり下ったりするのです。したがって、報酬フローの勾配成分は、大域的な価値関数で表現できる部分を記述します。
第二は、時間的なダイナミクスに関わるものです。
システムの変化の中には、エージェントの直近の行動とは無関係に、固有の循環に従うものがあります。この成分によって、世界の自律的なダイナミクスに由来するものと、その他の変動要因によるものとを区別できます。
第三は、エージェント自身の行為に関わるものです。
エージェントが発した指令のコピーが利用できるとき、フローのうちこれらの指令に直接帰属する部分を分離できるようになります。問われるのはもはや、変化が起きたと確認することだけではなく、エージェントが実際に引き起こした部分を同定することです。
最後に、カールは局所的な不整合の尺度を与えます。
循環する選好の集合、因果順序と両立しないフィードバックサイクル、異なる状況を融合してしまう状態表現は、いずれも同じシグネチャを生み出し得ます。どんな大域的ポテンシャルでも説明できないループです。
論文はさらに、この幾何をベルナップの4値論理と結び付けます。
この読み方では、整合的な向きを持つフローは、真または偽として順序付けられる情報に対応します。矛盾は循環構造を生み出します。情報の欠如は、反対に、観測された構造に空いた穴の周りの循環に対応します。
この対応関係の意義は、用語を別の用語で置き換えることではありません。複数の診断を、同じ一つの計算の上に成り立たせることにあります。
研究論文はこれらの直観をどう評価するか
価値を勾配に、時間を循環に、矛盾をカールに対応させることも、それが単なるアナロジーにすぎないのであれば、大した意味はありません。
そこで論文は、対応関係のそれぞれについて、それを反証し得る実験を構築しようとします。原理は常に同じです。構造が既知のシステムから出発し、一つの性質を正確に変更し、それに対応するとされる幾何学的成分だけが反応することを確認するのです。
価値のケースを見ると、この方法がよく分かります。
有用な報酬と、堂々巡りをさせる報酬は区別できるか
報酬を最大化するために、環境の中で行動を選択しなければならないエージェントを考えます。
二つの状態間の遷移は、それぞれ一定の値を持ちます。これらの値の全体は、状態グラフ上のフローを形成します。各辺は、エージェントがある状況から別の状況へ移るときに何を得て何を失うかを示しているのです。
このとき、二つの摂動は、まったく同じ振幅を持ちながら、大きく異なる構造を持ち得ます。
一つ目は保存的な摂動です。これは報酬の地形に起伏を加えることに相当します。いくつかの状態が相対的に高く、あるいは低くなりますが、その差は大域的な価値関数と両立し続けます。エージェントがループを描いて出発点に戻れば、この摂動が加えた利得と損失は打ち消し合います。
二つ目は循環的な摂動です。ここでは、ループを形成する複数の遷移を順番に優遇するように報酬が配置されます。個々の移動は局所的には有利に見えますが、全体を説明できる大域的なポテンシャルは存在しません。一周し終えたエージェントは同じ状態に戻りながら、もう一度繰り返すよう促すシグナルを蓄積してしまっているのです。
これこそが、ホッジ分解がカールと呼ぶものです。
実験では、同じ振幅の二つの摂動をエージェントに与えます。一方は勾配として、もう一方は循環として構築されたものです。強さだけが問題なら、両者はエージェントの振る舞いに同程度の影響を与えるはずです。論文が提案する幾何が妥当なら、その効果は反対に、根本的に異なるはずです。
観測されたのは、まさに後者でした。
保存的な摂動は、potential-based reward shapingに関するNg、Harada、Russellの古典的な結果のとおり、最適方策を保ちます。一方、循環的な摂動はエージェントをほぼ完全にループへと引き込みます。捕捉の指標は0.991に達し、最適性は1.000から0.327へと低下しました。
したがって、重要なのは単に悪い報酬を加えたということではありません。二つの摂動は同程度の振幅で構築されています。両者を分けているのは、グラフの中での構造です。
一方はポテンシャルで説明できます。
もう一方はループを含んでいるのです。
ループだけを取り除く
しかし、相関だけでは、カールが本当にこの現象の原因であると立証するには足りません。
そこで論文は二つ目の実験を行います。摂動はそのまま残し、ホッジ分解によってそのカール成分だけを数学的に取り除くのです。
仮説が正しければ、この成分だけを取り除くことで、エージェントの捕捉は消えるはずです。
実際にそうなりました。最適性は1.000に戻ります。
このテストは、さらにもう一つの情報を与えてくれます。カールのエネルギーは、システムのどこかに不整合が存在することを知らせるだけではありません。実験的に導入されたループそのものを突き止めることを可能にするのです。
言い換えれば、同じ一つの計算が、二つの異なる問いに答えます。
- 報酬フローは、大域的な価値関数と両立しない構造を含んでいるか。
- 含んでいるなら、その構造はどこにあるのか。
この例は、経済学者がマネーポンプと呼ぶものに近いものです。A → B、B → C、C → Aという三つの交換が、個別に検討するとどれも有利に見えるとしましょう。こうした局所的な選好だけに従うエージェントは、このループを際限なく回り続けることになりかねません。
このとき、問題はどの遷移を単独で取り出しても見つかりません。それらの集合的な構造を眺めたときに初めて現れるのです。
カールが測っているのは、まさにそれです。
他の対応関係にも、同じ反証の論理を
他の実験も同じ原理に従います。ある成分に影響するはずのものを特定し、他の成分を無傷のまま残すはずの対照を構築するのです。
時間成分をテストするために、論文は特に、不可逆なダイナミクスを示すシステムを、可逆になるように構築した双子と比較し、さらに観測の順序を人工的にシャッフルします。
エージェント自身の行動に帰属する部分をテストするためには、エージェントに自らの指令のコピーを与え、次にこの遠心性コピーを偽物と入れ替えます。
矛盾をテストするためには、大域的な順序と両立する因果構造を、フィードバックサイクルが意図的に導入された構造と比較します。
つまり目的は、結果が勾配やカールや循環に似ていると事後的に確認することではありません。これらの成分を生み出すとされる性質を別々に変更し、この分析器が反応すべき場所で正確に反応することを検証することなのです。
不適切な状態が矛盾を生むとき
最初の一連の実験では、注入する現象を正確に制御するために、意図的に合成環境が使われています。
続いて論文は、1970年代にWilliam CrowtherとDon Woodsが作ったテキストアドベンチャーゲーム、Colossal Cave Adventureでこのアプローチをテストします。
この環境は141の部屋と複数の謎を含み、謎の解決は、プレイヤーの位置だけには含まれない情報に依存します。
状態表現問題の古典的な例です。
エージェントの記憶が、状況を、いま居る部屋の名前だけで表現しているとしましょう。
すると、同じ部屋を二度通れば、一方ではアイテムを持ち、他方では持っていなくても、あるいは謎の前段階がすでに達成されていても、二つの通過は同一と見なされてしまいます。
したがって、観測される状態はもはやマルコフ性を満たしません。将来の行動の帰結を正しく予測するのに十分な情報を含んでいないのです。
この素朴な表現のままでは、価値反復は、調査対象となった前提条件の連鎖に対して0.06の成功率にしか到達しません。
ここで幾何は、興味深い診断を与えてくれます。
実際には異なる帰結を持つ複数の状況を同じ状態に融合すると、単一のポテンシャルと両立しない遷移が生じます。この不整合は、カールという形で現れます。
部屋だけで表現された状態では、測定された不整合は0.032であり、しかも進行ロックを含む領域に正確に集中しています。
状態表現に適切な4つの変数を加えると、この値は0.000まで下がります。
同じ数の変数からなるランダムな拡張では、問題は解決しません。不整合はむしろ0.073へと増加します。
つまり、記憶を増やすだけでは足りません。正しい情報を加えなければならないのです。
構造は、欠けているものも指し示す
次の結果は、エージェント記憶の設計にとって、おそらく最も直接的に興味深いものです。
このシステムは、状態表現が不十分であると検出するだけにとどまりません。候補となるさまざまな拡張を、それがもたらすであろうカールの削減量を測ることで評価できるのです。
実験では、蛇に関わる変数prop:snakeがこうして候補の首位に立ち、調査対象のグラフで実際に観測可能な非マルコフ性のすべてを単独で説明します。ランダムな変数は、反対に負のスコアを得ます。
しかし、この方法は根本的な限界に突き当たります。
重要な遷移の中には、プレイヤーの居る部屋を変えないものがあります。そうした遷移は、部屋の間の移動だけから構築されたグラフでは見えません。
グラフの構築に使われた観測に現れない差異を、受動的な分析だけで発見することはできないのです。
そこで論文は、幾何を能動的な介入で補完します。エージェントは、環境を意図的に変更することで、いくつかの仮説をテストするのです。
幾何だけでは、最深部の宝には到達できません。介入だけでは0.31の成功率にとどまります。
両者を組み合わせることで、システムは0.88に到達します。これは、最初から正しい状態変数を持つオラクルが得る水準と正確に一致し、しかもテストした16のシードすべてで一致します。
この区別は重要です。
構造分析は、現在の記憶がどこで不整合になるのか、どの観測可能な変数がそれを修復し得るのかを示します。介入は、その欠如が既存の表現に何の痕跡も残さない情報を発見することを可能にします。
つまり、エージェントの記憶は単に豊かになるだけではありません。自らの不整合に応じて改訂可能なものになり得るのです。
自らの表現を診断できる記憶へ
この視点は、エージェント記憶の問題の立て方を少し変えます。
従来型の記憶が主に答えようとするのは、次のような問いです。自分は何をすでに見たか。現在の状況に似た事実はどれか。どのエピソードを想起すべきか。
構造的な記憶は、さらに次のような問いにも答えられるはずです。
一見よく似た二つの経験が、なぜ異なる帰結をもたらすのか。
自分の選好は整合的な順位付けで表現できるのか、それともループを形成しているのか。
ある矛盾は、両立しない情報に由来するのか、それとも単に情報が欠けているだけなのか。
自分が使っている状態は、観測された遷移を説明するのに十分な変数を含んでいるか。
どの追加情報が、この不整合を実際に減らすのか。
論文の最も興味深い結果は、これらの問いの多くが、異なるフローに対する同じ一つの演算に帰着できるという点かもしれません。
循環する報酬、信念同士の矛盾、異なる二つの状況を融合してしまう状態表現は、別々の領域に属しているように見えます。
しかし幾何学的には、これらは同じ型の欠陥、すなわちカールを生み出し得るのです。
その先の修復は、関係する領域によって異なります。
報酬の場であれば、方策を捕捉している循環成分を取り除くことかもしれません。
信念ベースであれば、ループに関与している情報を改訂することかもしれません。
状態の記憶であれば、それまで混同されていた二つの状況を区別できる変数を新たに導入することかもしれません。
反対に、観測された構造の穴に結び付いた循環は、別の問題を知らせています。情報が欠けているのです。
この場合、エージェントがすでに信じていることを改訂するのが正しい応答とは限りません。むしろ、新しい観測を得るために探索するか、介入するべきなのです。
矛盾と情報の欠如とのこの区別は、自律エージェントにとってとりわけ重要です。どちらの状況も不確実性を生みますが、求められる行動は同じではないのです。
これらの結果から言えること
この論文が提案しているのは、新しい完全な記憶アーキテクチャでも、既存の記憶システムの即時の置き換えでもありません。
もたらされるのはむしろ、それらの働きを検査するための分析器です。
結果が示すのは、調査した環境において、同じ一つの幾何学的分解が、価値のポテンシャル、自律的なダイナミクス、自らの行動の影響、局所的な不整合という複数の有用な構造を同定できるということです。
また、Colossal Caveでは、状態表現の不整合を検出し、その表現の拡張を導くために利用できることも示されました。
ただし、限界も依然として小さくありません。
同定の大半は、調査対象の現象を分離するように設計された合成環境のファミリーでテストされています。Colossal Caveはより複雑な環境への最初の一歩ですが、知覚システムや実環境に展開されたエージェントでこのアプローチを検証するものではまだありません。
用いられている作用素は線形です。
他のエージェントの影響の検出も、現時点の実験では、その行動シグナルが分析器に与えられていることを前提としています。この源を教師なしで発見することは、未解決の問題として残っています。
最後に、幾何が診断できるのは、与えられたグラフの中に実際に存在する構造だけです。この表現に含まれない情報は、追加の観測や介入なしには見えないままです。
これらの限界は、結果の価値を損なうものではありません。その射程を明確にするものです。
主張は、エージェントのあらゆる認知がホッジ分解に還元されるということではありません。
もっと実務的なものです。エージェントが遷移、報酬、行動、信念という形で経験を蓄積するとき、これらのフローの構造には、保存と取得だけに基づく記憶の仕組みが必ずしも活用していない情報が含まれている、ということです。
ホッジ分解は、それを読み取る決定論的な方法を与えます。
こうしてホッジ分解は、過去の経験を保存するだけにとどまらず、自らの不整合と欠落、そして改訂すべき状態の次元を自ら特定できる、新しい世代の記憶のための診断ツールになり得るのです。
論文
**「One Operator, Four Faculties: Value, Time, Self and Contradiction as the Hodge Components of an Agent’s Flow, with Belnap’s Four Values as Its Regimes」**には、実験、対照、結果の全体と、それらを再現するためのプロトコルが示されています。
論文は、図と付録を含めて16ページです。実験コード、事前登録された仮説、再現のためのコマンドは、研究成果とともに公開されています。