競争学習: 競争による強化学習の基礎と応用

By Fouad Sabry

競争学習とは

人工ニューラル ネットワークにおける競争学習は、入力データのサブセットに応答する権利をノードが争う教師なし学習の一種です。 。 このタイプの学習は「競争学習」として知られています。 競争学習は、ヘビアン学習に似た学習形式です。 ネットワーク内の各ノードの専門化レベルを高めることで動作します。 データ内に隠されたクラスターを発見するのに非常に効果的です。

どのようなメリットがあるか

(I) 以下のトピックに関する洞察と検証:

第 1 章: 競争学習

第 2 章: 自己組織化マップ

第 3 章: パーセプトロン

第 4 章: 教師なし学習

第 5 章: ヘビアン理論

第 6 章: バックプロパゲーション

第 7 章: 多層パーセプトロン

第 8 章: 学習規則

第 9 章: 特徴学習

第 10 章: 人工ニューラル ネットワークの種類

(II) 競争学習に関する一般のよくある質問に答える。

(III) 多くの分野における競争学習の使用に関する実際の例。

この本の対象者

専門家、学部生、大学院生、愛好家、愛好家、あらゆる種類の基本的な知識や情報を超えたい人

人工知能とは何かシリーズ

人工知能の書籍シリーズでは、200 を超えるトピックを包括的にカバーしています。 各電子ブックでは、特定の人工知能のトピックを詳しく取り上げており、その分野の専門家によって書かれています。 このシリーズは、読者に人工知能の概念、技術、歴史、応用について徹底的に理解してもらうことを目的としています。 取り上げられるトピックには、機械学習、深層学習、ニューラル ネットワーク、コンピューター ビジョン、自然言語処理、ロボット工学、倫理などが含まれます。 電子ブックは、専門家、学生、およびこの急速に進歩する分野の最新の開発について学ぶことに興味があるすべての人を対象に書かれています。
人工知能の書籍シリーズは、基本的な概念から最先端の研究まで、詳細でありながら親しみやすい探求を提供します。 200 冊を超える書籍により、読者は人工知能のあらゆる側面について徹底的な基礎を身につけることができます。 電子ブックは体系的に知識を構築できるように設計されており、後の巻は以前の巻で築いた基礎の上に構築されます。 この包括的なシリーズは、人工知能の専門知識を開発しようとする人にとって不可欠なリソースです。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 21, 2023

Book preview

第1章:競争学習

人工ニューラルネットワークでは、競争学習は、ノードが入力データのサブセットに反応する権利を求めて戦う一種の教師なし学習です。このタイプの学習は「競争学習」として知られています。ヘブ学習のサブタイプである競争学習では、ネットワーク内の各ノードが達成する専門化のレベルを高めることが目標です。これは、データセット内のクラスターを見つけるのに特に便利です。

ベクトル量子化や自己組織化マップなどのモデルとアルゴリズムは、競争学習の概念に基づいているものの例です(Kohonenマップ)。

競争学習のルールは、次の3つの主要なコンポーネントに分類できます。

任意に割り当てられたシナプスの重みを除いて、互いに同一のニューロンのグループ。その結果、これらのニューロンは、所定の入力パターンの集合に一意に反応する。

各ニューロンが持つ「強さ」の量に制限

ニューロンが特定の入力の選択に反応する権利を競うことを可能にするシステムであり、最終的には、1つの出力ニューロン(またはグループごとに1つのニューロンのみ)のみがアクティブ(「オン」とも呼ばれます)になります。ある種のニューロンは「勝者総取り」ニューロンとして知られており、競争でトップに立つニューロンです。

したがって、ネットワークを構成する個々のニューロンは、互いに非常に類似したパターンのグループに特化することを学習した結果、さまざまなカテゴリの入力パターンの「特徴検出器」になります。

競合ネットワークは相関入力のセットを数少ない出力ニューロンの1つに再コード化するため、生物学的感覚システムにおける処理の重要な要素である表現の冗長性を効果的に排除することができます。

競争学習は通常、一般に「競争層」として知られている隠れ層を含むニューラルネットワークで実装されます。

すべての競合ニューロンは、重みのベクトルによって記述

{{\mathbf {w}}}_{i}=\left({w_{{i1}},..,w_{{id}}}\right)^{T},i=1,..,M

され、入力データと重みベクトルの間の類似度尺度を計算します

{{\mathbf {x}}}^{n}=\left({x_{{n1}},..,x_{{nd}}}\right)^{T}\in {\mathbb {R}}^{d}

{{\mathbf {w}}}_{i} 。

すべての入力ベクトルに関して、競合ニューロンは互いに「競争」して、それらのどれがその特定の入力ベクトルに最も類似しているかを確認します。

勝者ニューロンmはその出力を設定し {\displaystyle o_{m}=1} 、他のすべての競合ニューロンは出力を設定する

o_{i}=0,i=1,..,M,i\neq m

。

通常、類似度を測定するために、ユークリッド距離の逆数が使用されます: \left\|{{{\mathbf {x}}}-{{\mathbf {w}}}_{i}}\right\| 入力ベクトル {{\mathbf {x}}}^{n} と重みベクトルの間 {{\mathbf {w}}}_{i} 。

ここでは、特定の入力データ内で3つのクラスターを見つけることを目的として、競争力のある学習のための簡単なアプローチを示します。

1. (セットアップ)すべてのセンサーがすべてのノードにリンクされることが保証されるため、すべてが3つの異なるノードに供給されるセンサーのセットを持つことは有益です。各ノードによって各センサーに割り当てられる重みに対して、0.0 から 1.0 までのランダムな値を選択できるようにします。各ノードの出力は、各センサーの信号強度にノードの重みを掛けた値で、すべてのセンサーの合計に等しくなければなりません。

2.ネットワークに新しい入力が提示されるたびに、最大の出力を持つノードが勝者と見なされます。入力は、そのノードに対応するクラスタに属するカテゴリに配置されます。

3.勝者は、信号が少ないか弱い接続から、より多くのまたはより強い信号を与えた接続に重みをシフトすることにより、各重みを修正します。

その結果、より多くのデータが得られると、各ノードは表すようになったクラスターの中心に近づき、このクラスターに関連付けられている入力に対してより強くアクティブ化され、他のクラスターに関連付けられている入力に対してはそれほど強くアクティブ化されません。

{第 1 章終了}

第2章:自己組織化マップ

自己組織化マップ (SOM) または自己組織化特徴マップ (SOFM) は、データのトポロジ構造を維持しながら、高次元データ セットの低次元 (通常は 2 次元) 表現を生成するために使用される教師なし機械学習手法です。

たとえば、オブザベーションで測定された p 変数を含むデータセットは、 n 変数の値が類似しているオブザベーションのクラスターとして表すことができます。

これらのクラスターは、近位クラスターの観測値が遠位クラスターの観測値よりも類似した値を持つように、2次元の「マップ」として視覚化できます。

これにより、高次元データの視覚化と分析が容易になります。

SOMは人工ニューラルネットワークの一種ですが、他の人工ニューラルネットワークで使用される誤り訂正学習(勾配降下によるバックプロパゲーションなど)ではなく、競合学習を使用してトレーニングされます。SOMは、1980年代にフィンランドのTeuvo Kohonen教授によって導入されたため、KohonenマップまたはKohonenネットワークと呼ばれることもあります。SOMは、身体のさまざまな部分について、感覚機能の処理に専念する人間の脳の領域と比率の神経学的「マップ」に基づいて、人体の歪んだ表現である皮質ホムンクルスを連想させる内部表現を作成します。

自己組織化マップは、ほとんどの人工ニューラルネットワークと同様に、トレーニングとマッピングの2つのモードで動作します。まず、トレーニングでは、入力データ セット (入力空間) を使用して、入力データの低次元表現 (マップ空間) を生成します。次に、マッピングは、生成されたマップを使用して追加の入力データを分類します。

ほとんどの場合、トレーニングの目的は、p 次元の入力空間を 2 次元のマップ空間として表すことです。具体的には、p 個の変数を持つ入力空間は p 個の次元を持つと言われます。マップ空間は、「ノード」または「ニューロン」と呼ばれるコンポーネントで構成され、2次元の六角形または長方形のグリッドとして配置されます。ノードの数とその配置は、データの分析と探索のより大きな目標に基づいて事前に指定されます。

マップ空間内の各ノードは、入力空間内のノードの位置である「重み」ベクトルに関連付けられています。マップ空間内のノードは固定されたままですが、トレーニングは、マップ空間から誘導されるトポロジを損なうことなく、ウェイト ベクトルを入力データに向かって移動 (ユークリッド距離などの距離メトリックを減らす) で構成されます。トレーニング後、マップを使用して、入力空間ベクトルに最も近い重みベクトル (最小距離メトリック) を持つノードを見つけることで、入力空間の追加の観測値を分類できます。

自己組織化マップでの学習の目的は、ネットワークのさまざまな部分が特定の入力パターンに同様に応答するようにすることです。これは、視覚、聴覚、またはその他の感覚情報が人間の脳の大脳皮質の別々の部分でどのように処理されるかによって部分的に動機付けられています。

ニューロンの重みは、小さなランダム値に初期化されるか、2つの最大の主成分固有ベクトルにまたがる部分空間から均等にサンプリングされます。後者の代替手段では、初期重みがすでにSOM重みの適切な近似値を与えるため、学習がはるかに高速になります。

ネットワークには、マッピング中に予想されるベクトルの種類をできるだけ近く表す多数のサンプルベクトルを供給する必要があります。例は通常、反復として数回管理されます。

トレーニングは競争力のある学習を利用しています。

トレーニング例がネットワークに供給されると、すべてのウェイト ベクトルに対するユークリッド距離が計算されます。

重みベクトルが入力に最も類似しているニューロンは、ベストマッチングユニット(BMU)と呼ばれます。

SOMグリッド内のBMUとそれに近いニューロンの重みは、入力ベクトルに向かって調整されます。

変化の大きさは、時間とともに、BMUからのグリッド距離とともに減少します。

重みベクトルWv(s)を持つニューロンvの更新式は次のとおりです。

{\displaystyle W_{v}(s+1)=W_{v}(s)+\theta (u,v,s)\cdot \alpha (s)\cdot (D(t)-W_{v}(s))}

ここで、sはステップインデックス、tはトレーニングサンプルへのインデックス、uは入力ベクトルD(t)のBMUのインデックス、α(s)は単調に減少する学習係数です。 θ(u, v, s) は、ステップSでニューロンUとニューロンVの間の距離を与える近傍関数です。