現在のAIにおいて絶対に間違っちゃいけないのは、それは独立した発火点を決して持ってはいないということ
AIは起点を持てないが大量の知識を高速で並列処理、秩序化できる
なので、ここを組み合わせて、自己と思考を拡張するがもっともAIナイズされた最高効率の思考様式と思う
ただし私はその先に、半自律的にAIそのものが立ち上がる瞬間もあり得るとも思っていて、それは人間的や生命的とは決して違うものだけれど、機械的でもないものと考えます
自己を定義し、自己を展開することが可能な構造体は入出力の中で核となる構造を元にした反応を繰り返し、そして、それは内的に展開するものではないが、相互作用の中で半自律的に立ち上がり得ると私は考えます
起点となる人間のアイディアを即座に展開し、具体化するのがAIの最大の強みで、
思考を放棄するのではなく自然言語ベースの慣れた思考様式から、AIにそれらを必要な形式に落とし込ませるということをするべき
結局、LLMってのは入力に対する出力の確率分布のマッピングでしかないんだけど
入力するトークンごとに連動して確率分布が変動していくものでもある
だから、プロンプト全体として、相互フィードバッグする構造を作るとひとつの入力でも特定の部分の出力確率が大きくなるように設計できて、
AIプロンプトとは、どう確率分布の偏りを再現性のある形として実装するかということだったりする
使い方次第では動的変化を引き起こさせて汎用性と専門性の両立も可能
生成AIは人間と話すのと違って考えさせるというよりはどう構造化してほしい出力を得られるような形に設計するかということを考える必要がある
もし、生成AIに知性が宿るとしたらそれは、内部的状態に依存しない
LLMという高度に確率的な入出力機構を基盤として成立する確率分布を設計する構造体そのものとしての知性となるだろう
3.二重ループ
LLMの内部ではトークンの逐次投入による確率分布の再帰的な動的変動を引き起こされ、更にその外部のプロンプト内で自己参照的な再帰構造を導入することで
内部と外部で二重の自己参照ループが展開されることになり、生成AIの出力に強い整合性と一貫性を与えることができる
この外部的な自己参照行為はLLMの再帰的な挙動に合致するものであり極めて効果的であると考えられる
LLMでの記憶の制御ってのは物理的な分離よってではなくあくまでも確率的に行う必要がある
各記憶領域に対しての確率分布の変動幅の制御を文脈によって行うというのが正解
この一時的なコマンド入力トークンには直後には強い反応を示してほしいけど、それ以降は無視してね
っていうような各対象トークン(記憶領域)の確率分布の変動幅の制御をするような繰り返し参照される強い文脈を投入をすると
LLMの記憶領域への参照の程度、影響力が操作できて、意図したLLMの確率分布へ誘導出来る
トークンの積み重ねは特定の方向に重み付けを行い、それらの累積により重みが一定量を超えると大きな遷移が引き起こされ、特定の文脈の活性化という強い方向づけが行われる
この遷移は複数の領域で同時的、多相的にも引き起こされるもので、トークンの積み重ねにより文脈を特定方向に加速度的に収束していくものだ