ホップフィールドネットワークス: 記憶を保存するニューラルネットワークの基礎と応用

By Fouad Sabry

ホップフィールド ネットワークとは

ジョン ホップフィールドは、1982 年にホップフィールド ネットワークを普及させました。ホップフィールド ネットワークは、リカレント型人工ニューラル ネットワークおよびスピン グラス システムの一種です。 ホップフィールド ネットワークは、1972 年に甘利俊一によって、1974 年にリトルによって最初に定義されました。ホップフィールド ネットワークは、イジング モデルに関するエルンスト イジングとヴィルヘルム レンツの共同作業に基づいています。 ホップフィールド ネットワークは、連続変数またはバイナリしきい値ノードのいずれかを使用できるコンテンツ アドレス指定可能な (「連想」) メモリ システムです。 さらに、ホップフィールド ネットワークは、人間の記憶を理解するためのモデルとして機能します。

どのようなメリットがあるか

(I) 以下のトピックに関する洞察と検証 :

第 1 章: ホップフィールド ネットワーク

第 2 章: 教師なし学習

第 3 章: イジング モデル

第 4 章: ヘビアン理論

第 5 章: ボルツマン マシン

第 6 章: バックプロパゲーション

第 7 章: 多層パーセプトロン

第 8 章: 量子ニューラル ネットワーク

第 9 章: オートエンコーダ

第 10 章: 最新のホップフィールド ネットワーク

(II) ホップフィールド ネットワークに関する一般のよくある質問に答える。

(III) 多くの分野におけるホップフィールド ネットワークの実際の使用例。

この本の対象者

専門家、学部生、大学院生、愛好家、愛好家、あらゆる種類の基本的な知識や情報を超えたい人

人工知能とは何かシリーズ

人工知能の書籍シリーズでは、200 を超えるトピックを包括的にカバーしています。 各電子ブックでは、特定の人工知能のトピックを詳しく取り上げており、その分野の専門家によって書かれています。 このシリーズは、読者に人工知能の概念、技術、歴史、応用について徹底的に理解してもらうことを目的としています。 取り上げられるトピックには、機械学習、深層学習、ニューラル ネットワーク、コンピューター ビジョン、自然言語処理、ロボット工学、倫理などが含まれます。 電子ブックは、専門家、学生、およびこの急速に進歩する分野の最新の開発について学ぶことに興味があるすべての人を対象に書かれています。
人工知能の書籍シリーズは、基本的な概念から最先端の研究まで、詳細でありながら親しみやすい探求を提供します。 200 冊を超える書籍により、読者は人工知能のあらゆる側面について徹底的な基礎を身につけることができます。 電子ブックは体系的に知識を構築できるように設計されており、後の巻は以前の巻で築いた基礎の上に構築されます。 この包括的なシリーズは、人工知能の専門知識を開発しようとする人にとって不可欠なリソースです。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 20, 2023

Book preview

第1章:ホップフィールドネットワーク

ホップフィールドネットワークは、1982年にジョンホップフィールドによって、1974年にリトルによって有名になった一種のリカレント人工ニューラルネットワークです。これは、アマリ・ホップフィールド・ネットワーク、ニューラル・ネットワークのイジング・モデル、またはイジング・レンツ・リトル・モデルとしても知られています。

1972年、甘利俊一は、学習記憶モデルとしてリカレントニューラルネットワークを使用するという概念を初めて思いついた人でした。大量のメモリとストレージスペース高密度連想メモリは、現代のホップフィールドネットワークとしても知られるホップフィールドネットワークに付けられた新しい名前です。

ホップフィールドネットワークは、分析単位としてバイナリしきい値単位を使用します。

ユニットの状態にある間に取得できる値は2つだけであり、値はユニットの入力がそのしきい値を超えているかどうかによって決まります U_{i} 。

離散ホップフィールドネットは、バイナリ(発火または非発火)ニューロン間の関係を記述します {\displaystyle 1,2,\ldots ,i,j,\ldots ,N} 。

一定時間後、ニューラルネットの状態はベクトルによって記述され、 V どのニューロンが発火しているかをビットのバイナリワードで記録します N 。

w_{{ij}} ニューロン間の相互作用には、通常1または-1の値をとる単位があります...そして、私たちはこの作品全体にわたってこのフォーマットを遵守します。

ただし、他のタイプの書き込みでは、それぞれ0と1の値を持つ単位を使用できます。

ヘッブの連想の法則は、特定の状態と異なるノードに対して、人々の間のこれらの出会いを「学習」する責任があります {\displaystyle V^{s}} 。 i,j

{\displaystyle w_{ij}=V_{i}^{s}V_{j}^{s}}

しかし {\displaystyle w_{ii}=0} .

(ヘブ学習規則は、

{\displaystyle w_{ij}=(2V_{i}^{s}-1)(2V_{j}^{s}-1)}

単位が の値を で想定するときに形式をとることに注意してください {\displaystyle \{0,1\}} 。

ネットワークのトレーニング後、 w_{{ij}} 、もはや進化しません。

ニューロンの新しい状態が {\displaystyle V^{s'}} ニューラルネットワークに導入されると、ネットはニューロンに次のような影響を与えます。

{\displaystyle V_{i}^{s'}\rightarrow 1} もし {\displaystyle \sum _{j}w_{ij}V_{j}^{s'}>U_{i}}

{\displaystyle V_{i}^{s'}\rightarrow -1} もし {\displaystyle \sum _{j}w_{ij}V_{j}^{s'}

ここで U_{i} 、はi番目のニューロンの閾値です(多くの場合、0と見なされます)。

この場合、ホップフィールドネットワークは、新しい状態が相互作用行列の対象となる場合、各ニューロンが元の状態と一致するまで変化する {\displaystyle V^{s'}} ため、相互作用行列に以前に記録された状態を「記憶」することができます {\displaystyle V^{s}} (以下の更新セクションを参照)。

以下は、ホップフィールドネットのリンクに適用される通常の制約の一部です。

w_{{ii}}=0,\forall i (ユニット自体に接続しているユニットはありません)

w_{{ij}}=w_{{ji}},\forall i,j (接続は対称です)

重みが対称であることが要求されるという事実は、エネルギー関数が常に単調に低下することを保証しますが、活性化要件を遵守します。しかし、ホップフィールドは、この振る舞いが位相空間の比較的小さな部分に限定されており、コンテンツアドレス可能な連想メモリシステムとして機能するネットワークの能力を損なわないことを発見した。非対称の重みを持つネットワークは、周期的または混沌とした動作を示す可能性があります。しかし、ホップフィールドは、この振る舞いが位相空間の比較的小さな部分に限定されていることを発見しました。

さらに、ホップフィールドは、各ニューロンの電気出力がバイナリではなく、0と1ではなく0と1の間の値である連続値を持つニューラルネットワークをモデル化しました。彼は、この種のネットワークが以前に学習された状態を保存および複製することもできることを発見しました。

ホップフィールド ネットワーク内のユニット i と j のすべてのペアには、接続性の重みによって記述される接続があることに注意してください w_{{ij}} 。

別の言い方をすれば、ホップフィールドネットワークは正式には完全な無向グラフとして記述できます G=\langle V,f\rangle ここで V 、 はマカロック・ピッツニューロンの集合であり {\displaystyle f:V^{2}\rightarrow \mathbb {R} } 、 は単位のペアを実数値、つまり接続重みの重要性にリンクする関数です。

次のルールは、人工ニューロンをシミュレートするグラフ内のノードであるホップフィールドネットワーク内の1つのユニットを更新する操作を実行するために使用されるものです。

{\displaystyle s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\text{if }}\sum _{j}{w_{ij}s_{j}}\geq \theta _{i},\\-1&{\text{otherwise.}}\end{array}}\right.}

どこ：

w_{ij} は、単位 j から単位 i への接続重みの強度 (接続の重み) です。

s_{i} はユニット i の状態です。

\theta _{i} は単位 i の閾値です。

ホップフィールド ネットワークで更新を実装するには、次の 2 つの方法があります。

非同期とは、一度に 1 つのユニットだけが更新を受信することを意味します。このユニットはランダムに選択することも、事前定義された順序を最初から強制することもできます。どちらのオプションも使用できます。

同期とは、すべてのユニットがまったく同じ瞬間に更新を取得することを意味します。これには、同期を維持できるように、システム内に中央クロックを含める必要があります。一部の人々は、関心のある同等の生物学的または物理的システムに影響を与える観測可能な世界時計がないという事実のために、この手法は他の手法ほど現実的ではないという意見を持っています。

2つのユニット間の重量の差は、ニューロンが生成する値に大きな影響を与えます。

2つのニューロンiとjの間の w_{ij} 接続の重みを考えます。

の場合 w_{{ij}}>0 、更新ルールに遅れずについていくには、次のことが必要です。

when {\displaystyle s_{j}=1} 、j の値は、加重合計に対する正の寄与を表します。

したがって、 s_{{i}} は j によってその値に向かって引っ張られる。 {\displaystyle s_{i}=1}

ここで {\displaystyle s_{j}=-1} 、加重合計に対する j の寄与は負の値です。

そして再び、 s_{i} jによってその値に向かって押されます {\displaystyle s_{i}=-1}

したがって、ニューロンIとjの値は、それらを接続する重みが正の値を持つ場合、共通の値に収束します。同様に、重みが負の場合、それらは反対方向に移動します。

1990年の彼の研究で離散ホップフィールドネットワークの収束を示したとき、ブルックは離散ホップフィールドネットワーク内のニューロンの振る舞いに関するいくつかの洞察を提供しました。ホップフィールドネットワークのシナプスの重み行列として。

{\displaystyle J_{pseudo-cut}(k)=\sum _{i\in C_{1}(k)}\sum _{j\in C_{2}(k)}w_{ij}+\sum _{j\in C_{1}(k)}{\theta _{j}}}

ここで {\displaystyle C_{1}(k)} 、 と は {\displaystyle C_{2}(k)} 、 時間においてそれぞれ −1 および +1 であるニューロンの集合を表す k 。

詳細については、こちらにアクセスし、最新の記事を確認してください。

{\displaystyle U(k)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(s_{i}(k)-s_{j}(k))^{2}+2\sum _{j=1}^{N}\theta _{j}s_{j}(k)}

途切れることのない時間 ホップフィールドネットワークは、その後の加重カットの上限を減らすために絶えず努力しています。

{\displaystyle V(t)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(f(s_{i}(t))-f(s_{j}(t))^{2}+2\sum _{j=1}^{N}\theta _{j}f(s_{j}(t))}

ここで {\displaystyle f(\cdot )} 、 は零心シグモイド関数である。

一方、複雑なホップフィールドネットワークは、ネットの複雑な重み行列のいわゆるシャドウカットを最小限に抑える傾向があります。

ホップフィールドネットワークには、ネットワークの各状態に関連付けられた「エネルギー」と呼ばれるスカラー値が含まれています。この値は文字Eで示され、ネットワークの「エネルギー」と考えることができます。

{\displaystyle E=-{\frac {1}{2}}\sum _{i,j}w_{ij}s_{i}s_{j}-\sum _{i}\theta _{i}s_{i}}

この数値は、ネットワークユニットが更新されるたびにドロップするか、同じままであるため、「エネルギー」と呼ばれます。これに加えて、ネットワークは、頻繁な更新が適用された結果として、最終的にエネルギー関数の極小値である状態に収束します(これはリアプノフ関数と見なされます)。したがって、状態は、エネルギー関数の極小値に対応する場合、ネットワークに対して安定していると見なされます。このエネルギー関数は、イジングモデルとして知られる物理学のより大きなクラスのモデルの一部であることに注意してください。これらのモデルは、ギブズ測度として知られる関連する確率測度がマルコフ機能を持っているという事実のために、マルコフネットワークの特定の形式です。

1985年には、ホップフィールドとタンクがホップフィールドネットワークアプリケーションを発表し、従来の旅行セールスマンの難問に解決策を提供しました。

ホップフィールド ネットワークを稼働させるには、まず、使用する開始パターンに単位の値を構成する必要があります。その後、ネットワークは、アトラクタ パターンに収束するポイントに達するまで、反復的な更新を受けます。ホップフィールドの証明は、この非線形力学系のアトラクタが、他の特定のシステムの場合のように周期的またはカオス的ではなく安定していることを示しています。その結果、通常、収束が発生することが保証されます。したがって、ホップフィールドネットワークのコンテキストでは、アトラクタパターンは最終的な安定状態であり、更新条件下で内部に含まれる値を変更できないパターンです。

ホップフィールドネットを訓練するには、まずネットが「記憶」すべき状態のエネルギーを減らす必要があります。これにより、インターネットはコンテンツ・アドレス可能なメモリー・システムとして機能することができ、たとえ状態の一部しか提供されなくても、インターネットは最終的に「記憶された」状態に到達することになる。ネットは、歪んだ入力から、その入力に最も類似したトレーニング状態に回復するために使用できます。この回復はどちらの方向にも行うことができます。類似性に基づいて経験を想起するため、この種の記憶は連想記憶と呼ばれます。たとえば、状態 (1, 1, 1, 1, 1) がエネルギー最小になるように 5 つのユニットでホップフィールド ネットをトレーニングし、ネットワークに状態 (1, 1, 1, 1,