アトラクターネットワーク: 計算神経科学の基礎と応用

By Fouad Sabry

アトラクター ネットワークとは

アトラクター ネットワークとして知られる一種の反復動的ネットワークは、時間の経過とともに徐々に一貫したパターンに落ち着くネットワークです。 アトラクター ネットワークを構成するノードは、固定点、周期的、カオス的、ランダム (確率的) のいずれかのパターンの方向に徐々に移動します。 計算神経科学の分野では、アトラクター ネットワークは、連想記憶や運動行動などの神経プロセスを模倣するために広く利用されてきました。 さらに、これらのネットワークは、生物学にヒントを得た機械学習技術でも利用されています。 アトラクター ネットワークは、n 個のノードの集合で構成されており、各ノードは d 次元の空間内のベクトルとして解釈できます (n は d より大きくなります)。 時間の経過とともに、ネットワークの状態は最終的に、d 多様体上にある一連の事前に決定された状態の 1 つに引き寄せられます。 これらの状態はアトラクターとして知られています。

どのようなメリットがあるか

(I) 次のトピックに関する洞察と検証:

第 1 章: アトラクター ネットワーク

第 2 章: 人工ニューラル ネットワーク

第 3 章: ヘビアン理論

第 4 章: ホップフィールド ネットワーク

第 5 章: リカレント ニューラル ネットワーク

第 6 章: 自己連想記憶

第 7 章: 双方向連想記憶

第 8 章: 競争学習

第 9 章: 人工ニューラル ネットワークの種類

第 10 章: 動的神経科学

(II) アトラクター ネットワークに関する一般のよくある質問に答える。

(III) 多くの分野でのアトラクター ネットワークの使用例。

この本の対象者

専門家、学部生、大学院生、愛好家、愛好家、あらゆる種類の基本的な知識や情報を超えたい人 アトラクター ネットワークの。

人工知能とは何かシリーズ

人工知能の書籍シリーズでは、200 を超えるトピックを包括的にカバーしています。 各電子ブックでは、特定の人工知能のトピックを詳しく取り上げており、その分野の専門家によって書かれています。 このシリーズは、読者に人工知能の概念、技術、歴史、応用について徹底的に理解してもらうことを目的としています。 取り上げられるトピックには、機械学習、深層学習、ニューラル ネットワーク、コンピューター ビジョン、自然言語処理、ロボット工学、倫理などが含まれます。 電子ブックは、専門家、学生、およびこの急速に進歩する分野の最新の開発について学ぶことに興味があるすべての人を対象に書かれています。
人工知能の書籍シリーズは、基本的な概念から最先端の研究まで、詳細でありながら親しみやすい探求を提供します。 200 冊を超える書籍により、読者は人工知能のあらゆる側面について徹底的な基礎を身につけることができます。 電子ブックは体系的に知識を構築できるように設計されており、後の巻は以前の巻で築いた基礎の上に構築されます。 この包括的なシリーズは、人工知能の専門知識を開発しようとする人にとって不可欠なリソースです。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 20, 2023

Book preview

第1章 アトラクタネットワーク

アトラクタネットワークとして知られる一種のリカレント動的ネットワークは、時間の経過とともに徐々に一貫したパターンに落ち着くものです。アトラクタネットワーク内のノードは、固定小数点(単一の状態で構成される)、循環的(予測可能なシーケンスで発生する状態で構成される)、カオス的(局所的に不安定であるがグローバルではない)、またはランダム(確率的)のいずれかのパターンに収束する傾向があります。機械学習のための生物学的に影響を受けた技術の開発に加えて、運動行動。アトラクタネットワークはn個のノードの集まりで構成され、各ノードはd次元の空間内のベクトルとして解釈され、nはdより大きい。時間の経過とともに、ネットワークの状態は、d-多様体上に位置する一連の所定の状態の1つに向かって収束する傾向があります。これらの状態はアトラクターと呼ばれます。

アトラクタは、魅力的な集合とも呼ばれ、アトラクタ ネットワークで時間とともにノード システムが進むにつれて進む状態 A の閉じた部分集合です。ネットワークのグローバルダイナミクスを安定させる状態または状態のグループは、定常アトラクタと呼ばれます。サイクリックアトラクタは、連続的に移動するリミットサイクル内に含まれる所定の状態セットに向けてネットワークを操縦します。連続的にトラバースされる非反復有界アトラクタは、カオスアトラクタと呼ばれます。

実現可能なすべてのノード状態のコレクションは、ネットワーク状態空間と呼ばれます。アトラクタを構成するノードの集合は、アトラクタ空間と呼ばれます。アトラクタネットワークの初期化は、入力パターンを使用して行われます。入力パターンの次元がネットワークノードの次元と同じにならない可能性があります。ネットワークがアトラクタ状態にどんどん近づくにつれて進化ルートに沿って発生する一連の状態は、ネットワークの軌道として理解されることを意図したものです。引力の盆地とは、特定のアトラクターの方向に運動を引き起こす状態の集まりを指します。

多種多様なアトラクタを用いて、様々なネットワークダイナミクスを表現することができます。固定小数点アトラクタネットワークの起源であるホップフィールドネットワークは最も一般的な種類のネットワークですが、他のタイプのネットワークも研究しています。

ホップフィールドネットワークからの論理的な進行に続いて、固定小数点アトラクタがあります。このパラダイムの標準的な定式化では、固定点はエンコードされたメモリを表します。連想記憶、パターン補完、および分類の説明はすべて、これらの理論から導き出されています。ホップフィールドネットワークは、ネットワークが漸近的に定常状態に近づくことを可能にする基礎となるエネルギー関数を有する。これにより、ネットワークをより効率的にすることができます。初期入力の削除に続いて、ポイントアトラクタネットワークの1つのクラスは、安定した状態にどんどん近づいています。このプロセスは、ネットワークが定常状態に達するまで繰り返されます。追加の種類のアトラクタネットワークは、様々な種類の入力によってプローブされる所定の重みを有するものである。この安定した状態は、入力中および入力後の両方で変化する場合、連想記憶のモデルとして役立つ可能性があります。一方、ネットワークは、入力中および入力後の状態が変化しない場合、パターン補完に利用され得る。

眼球運動制御研究の分野では、ラインアトラクタとプレーンアトラクタの両方が研究ツールとして使用されます。ラインアトラクタとしても知られるこれらの神経積分器は、入力に応答して目の位置を表すために使用されます。リングアトラクターを使用して、げっ歯類の頭が向くべき方向をモデル化します。

サイクリックアトラクターは、咀嚼、歩行、呼吸などの振動行動の調節に関与する動物のニューロンである中央パターンジェネレーターのモデリングにおける重要な要素です。

奇数アトラクターとしても知られるカオスアトラクターは、匂い知覚のパターンの反射を表すと考えられていると仮定されています。カオスアトラクターには限界サイクルに迅速に落ち着くという利点がありますが、この考えを裏付ける実験からの証拠はまだありません。

連続アトラクタの近傍安定状態(固定点とも呼ばれる)は、連続アトラクタニューラルネットワークとも呼ばれ、空間内の実際の位置や頭の方位など、連続変数の隣接値をコード化します。

ニューロンの特定のトポロジー(1次元およびトーラスの場合はリング、2次元ネットワークの場合はねじれたトーラス)によって特徴付けられる連続アトラクターのサブカテゴリ。グリッド細胞の観察された活性は、内側嗅内皮質にリングアトラクターが存在すると仮定することによって十分に説明できることが示されています。

アトラクタネットワークの実装の大部分は、固定小数点アトラクタを使用したメモリモデルの形式をとっています。しかし、アトラクタランドスケープとネットワーク配線の構築における課題により、計算アプリケーションにはほとんど実行不可能であることが証明されており、誤ったアトラクタと不十分な条件の引力盆地につながっています。これらの問題により、採用が困難になっています。さらに、アトラクタネットワークでのトレーニングは、特にk最近傍分類器などの代替アプローチと対比する場合、コンピュータリソースの点で非常にコストがかかることがよくあります。しかし、それらが運動機能、記憶、意思決定など、さまざまな異なる生物学的活動の幅広い知識において役割を果たすという事実は、生物学的に現実的なモデルとしてより望ましいものになります。

連想メモリを有するアトラクタネットワークの最初の実装の1つは、ホップフィールドアトラクタネットワークと呼ばれる。

入力は、これらのリカレントネットワークでサイクルを開始するのに役立ち、固定位置でアトラクタに近づく傾向があります。

離散時間での更新関数は であり、 x(t+1)=f(Wx(t)) x はネットワーク内のノードのベクトルであり、 は W それらの接続性を記述する対称行列である。

連続時間の更新は {\frac {dx}{dt}}=-\lambda x+f(Wx) です。

ホップフィールド ネットワークは双方向ネットワーク トポロジに相当しますが、行列がブロック行列であるという特殊なケース W があります。

Zemel and Mozer(2001)は、ネットワーク内の各リンクによるいくつかのアトラクタのエンコードから生じる偽アトラクタの量を減らす方法を考え出しました。この目標を達成するために彼らのアプローチが提案されました。ローカリストアトラクタネットワークは、ネットワーク内の自由エネルギーの量を減らし、最も重要なアトラクタにのみ収束するために、アトラクタを表すガウスの混合に対する期待値最大化法を使用して情報をローカルに保存します。この結果、次の更新式が生成されます。

アトラクターの活動を決定します。

{\displaystyle q_{i}(t)={\frac {\pi _{i}g(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}}

ネットワークの次の状態を判断します。

y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!

ネットワークを介したアトラクタ幅を決定します。

\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}

( \pi _{i} は盆地の強さを示し、盆地 w_{i} の中心を示す。

\xi はネットへの入力を表し g 、 は を中心とする正規化されていないガウス分布 y であり、 は に等しく、 \sigma は に等しい。

その後、ネットワークをもう一度確認し、コンバージェンスに達するまで同じ方法で続行します。

さらに、このモデルには、生理学的に重要な2つの概念が組み込まれています。

モデル \alpha の変化は、最近訪問されたアトラクターへのより迅速な収束を可能にすることによってプライミングを刺激します。

さらに、アトラクターの集約された活動はギャング効果を可能にし、2つの隣接するアトラクターが他方の流域を相互に強化します。

Siegelmann(2008)は、ローカリストアトラクタネットワークモデルの範囲を拡大し、アトラクタ自体のチューニングを含めました。

このアルゴリズムは、前述のEMアプローチを利用し、次の調整を行います:(1)アトラクタの活動が最も分散している場合の手順の早期終了、または、高いエントロピー値が追加のメモリの必要性を示している場合、および(2)アトラクタ自体を更新する機能:

w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!

ここで、 v はの変更のステップサイズパラメータです w_{i} 。

このアプローチは、動物がどのように記憶を再統合するかを反映しています, これは、記憶の研究で見られたのと同じ動的プロセスのいくつかを示しています.

近年、カーネルベースのアトラクタネットワークなどのアトラクタネットワークのさらなる進歩により、学習アルゴリズムとしてのアトラクタネットワークの計算実現可能性が向上しています。同時に、アトラクタネットワークは、複雑な組成構造に対してパターン補完を実行するための高レベルの柔軟性を維持しています。

{第 1 章終了}

第2章 人工ニューラルネットワーク

動物の脳を構成する生物学的ニューラルネットワークをモデルにしたコンピューティングシステムは、人工ニューラルネットワーク、または略してANNとして知られています。これらのネットワークは、ニューラルネットワーク、または単にNNと呼ばれることがよくあります。

ANNは、人工ニューロンと呼ばれる相互接続されたユニットまたはノードのネットワーク上に構築されます。これらのニューロンは、生物学的脳に見られるニューロンを大まかに模倣することを目的としています。実際の脳に見られるシナプスと同様に、各接続には他のニューロンに信号を送信する機能があります。人工ニューロンは、最初に信号を受信し、次にそれらの信号を分析し、次にそれがリンクされている他のニューロンにメッセージを送信するニューロンです。接続時の「信号」は実数であり、各ニューロンの出力は、その入力の合計の非線形関数によって計算されます。接続時の「信号」は、接続時の「信号」と呼ばれます。エッジは、接続の別名です。ニューロンの樹状突起とエッジ接続の重みは、継続的な学習の関数として変化することがよくあります。接続時の信号の強度は、重量に応じて増減できます。ニューロンには閾値があり、合計信号がその閾値を超えた場合にのみニューロンが信号を送信する可能性があります。ほとんどの場合、ニューロンのグループは層に編成されています。各レイヤーは、受信するデータに独自の変更を加えることができます。信号は、おそらくレイヤーを複数回通過した後、入力層と呼ばれる最初の層から出力層と呼ばれる最後の層に移動します。

それぞれが既知の「入力」と「出力」を持つ処理インスタンスにより、ニューラルネットワークは、2つの間に確率重み付けされた接続を作成することで学習(またはトレーニング)し、ネット自体のデータ構造内に格納できます。これがニューラルネットワークが学習する方法です。既存の例を使用してニューラル ネットワークをトレーニングするプロセスでは、多くの場合、ネットワークの処理済み出力