パーセプトロン: 神経ビルディングブロックの基礎と応用

By Fouad Sabry

パーセプトロンとは

パーセプトロンは、機械学習の分野で使用されるバイナリ分類器の教師あり学習の手法です。 バイナリ分類子として知られる関数は、入力 (多くの場合、数値のベクトルで表されます) が特定のカテゴリのメンバーであるかどうかを判断できる関数です。 これは線形分類器の一種であり、一連の重みを特徴ベクトルと組み合わせることにより、線形予測関数に基づいて予測を形成する分類方法であることを意味します。 言い換えれば、線形予測関数に基づいて予測を作成します。

どのようなメリットがあるか

(I) 以下に関する洞察と検証 トピック:

第 1 章: パーセプトロン

第 2 章: 教師あり学習

第 3 章: サポート ベクター マシン

第 4 章: 線形分類器

第 5 章: パターン認識

第 6 章: 人工ニューロン

第 7 章: ホップフィールド ネットワーク

第 8 章: バックプロパゲーション

第 9 章: フィードフォワード ニューラル ネットワーク

第 10 章: 多層パーセプトロン

(II) パーセプトロンに関する一般のよくある質問に答えます。

(III) 多くの分野でパーセプトロンを使用する実際の例。

この本の対象者

専門家、学部生、大学院生、愛好家、愛好家、あらゆる種類のパーセプトロンに関する基本的な知識や情報を超えたい人 .

人工知能とは何かシリーズ

人工知能の 電子書籍 シリーズは、200 を超えるトピックを包括的にカバーしています。 各電子ブックでは、特定の人工知能のトピックを詳しく取り上げており、その分野の専門家によって書かれています。 このシリーズは、読者に人工知能の概念、技術、歴史、応用について徹底的に理解してもらうことを目的としています。 取り上げられるトピックには、機械学習、深層学習、ニューラル ネットワーク、コンピューター ビジョン、自然言語処理、ロボット工学、倫理などが含まれます。 電子ブックは、専門家、学生、およびこの急速に進歩する分野の最新の開発について学ぶことに興味があるすべての人を対象に書かれています。
Artificial Intelligence eBook シリーズは、基本的な概念から最先端の研究まで、詳細でありながらアクセスしやすい探究を提供します。 200 冊を超える書籍により、読者は人工知能のあらゆる側面について徹底的な基礎を身につけることができます。 電子ブックは体系的に知識を構築できるように設計されており、後の巻は以前の巻で築いた基礎の上に構築されます。 この包括的なシリーズは、人工知能の専門知識を開発しようとする人にとって不可欠なリソースです。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 25, 2023

Book preview

第1章:パーセプトロン

しばしばMcCulloch-Pittsニューロンとして知られているパーセプトロンは、機械学習の分野で使用されるバイナリ分類器の教師あり学習のための技術です。バイナリ分類器と呼ばれる関数は、多くの場合、数値のベクトルの形式である入力が特定のカテゴリに属しているかどうかを判断できる関数です。これは線形分類器の形式であり、一連の重みと特徴ベクトルを組み合わせることにより、線形予測関数に基づいて予測を生成する分類手法です。このタイプの線形分類器は、特徴ベクトルと重みを組み合わせたものです。

ウォーレン・マカロックとウォルター・ピッツは、1943年にパーセプトロンのアイデアを思いつきました。

パーセプトロンは、コンピュータプログラムではなく機械として設計されました。それにもかかわらず、その最初の実装はIBM 704用のソフトウェアで行われ、後に「マーク1パーセプトロン」として知られるカスタムビルドのハードウェアで行われました。このデバイスは、画像識別を目的として特別に開発されました。それは「ニューロン」にランダムにリンクされた400個の光細胞のアレイを持っていました。ポテンショメータは重量データを保存するために使用され、電気モーターは学習プロセスの一部として重量調整を行う責任がありました。

パーセプトロンが最初に何らかの可能性があると考えられていたという事実にもかかわらず、パーセプトロンは多くの異なるタイプのパターンを認識するように教えることができないことがすぐに示されました。その結果、ニューラルネットワーク研究の分野は、2つ以上の層からなるフィードフォワードニューラルネットワーク(多層パーセプトロンとも呼ばれます)が単層からなるパーセプトロン(単層パーセプトロンとも呼ばれます)よりも処理能力が高いことが判明するまで、何年も停滞していました。

単層パーセプトロンで学習できるパターンは、線形に分離できるパターンだけです。ステップアクティブ化関数を使用する分類ジョブでは、パターンを構成するデータ ポイントを分割する 1 本の線を持つ 1 つのノードが作成されます。ノードが多いほど、より多くの分割線が生成される可能性があります。ただし、より複雑な分類を提供するために、これらの行を何らかの方法でマージする必要があります。パーセプトロンの第2層、または単に線形ノードの追加は、他の方法では切り離せない多くの問題に対処するために必要なすべてです。

1969年、マーヴィン・ミンスキーとシーモア・パパートは「パーセプトロン」という名前の有名な本を出版し、これらのタイプのネットワークがXOR関数を学習することは不可能であることを実証しました。これはよくある誤解ですが、多層パーセプトロンネットワークを使用して同様の結果が得られるという仮説も立てていたため、正確ではありません。しかし、ミンスキーとパパートは、この声明が発表される前に、多層パーセプトロンがXOR関数を生成する能力を持っていることをすでに知っていたので、これは当てはまりません。(詳しくは、当サイトのパーセプトロン(書籍)のページをご覧ください。それにもかかわらず、しばしば誤って引用されるミンスキーとパパートのエッセイは、ニューラルネットワーク研究への関心と資金調達の劇的な低下の原因でした。ニューラルネットワーク研究への新たな関心の波は、さらに10年が経過した1980年代まで現れませんでした。この本は1987年に最初に出版されましたが、1987年に「パーセプトロン-拡張版」として再発行され、最初の印刷のいくつかの不正確さが強調され、対処されました。

2022年に発表された記事によると、マーク1パーセプトロンは「このアルゴリズムを写真通訳者にとって有用なツールに発展させるための1963年から1966年までの4年間の秘密のNPIC(米国国立写真通訳センター)の取り組みの一部」でした。この情報は1963年から1966年までのものです。

現代の文脈では、パーセプトロンは、しきい値関数と呼ばれるバイナリ分類器を学習するためのアルゴリズムです:その入力( \mathbf {x} 実数値ベクトル)を出力値( f(\mathbf {x} ) 単一のバイナリ値)にマップする関数。

{\displaystyle f(\mathbf {x} )={\begin{cases}1&{\text{if }}\ \mathbf {w} \cdot \mathbf {x} +b>0,\\0&{\text{otherwise}}\end{cases}}}

ここで、 は実数値の重みのベクトル \mathbf {w} 、 は内積 、 {\displaystyle \mathbf {w} \cdot \mathbf {x} } ここで {\displaystyle \sum _{i=1}^{m}w_{i}x_{i}} 、mはパーセプトロンに送られるデータポイントの総数を指し、バイアスはbで表されます。

バイアスは決定境界を原点から遠ざけ、どの入力値の影響も受けません。

値 f(\mathbf {x} ) (0 または 1) は \mathbf {x} 、二項分類の問題を扱っている場合に、正または負のインスタンスとして分類するために使用されます。

b が負の値を持つ場合、入力の重み付けされた組み合わせは、 |b| 分類子ニューロンを 0 しきい値以上にプッシュするために、より大きい正の値を生成する必要があります。

空間的には、バイアスは決定境界の位置をシフトしますが、その方向には影響しません。

学習セットを線形に分離できない場合、パーセプトロン学習手順は終了しません。

ベクトルを互いに線形に分離できない場合、すべてのベクトルが適切に分類されるところまで学習を進めることはできません。

ブール排他的論理和問題は、おそらく、別々のコンポーネントに線形分解できないベクトルを含む問題を解決するパーセプトロンの能力がないことの最もよく知られた例です。

リファレンスでは、すべてのバイナリ関数と学習動作の解空間と決定境界が調査されています。

パーセプトロンは、ヘビサイドステップ関数を活性化関数として使用する人工ニューロンです。これは、ニューラルネットワークのコンテキストで使用されます。より複雑なニューラルネットワークの誤称である多層パーセプトロンと区別するために、パーセプトロン法は単層パーセプトロンと呼ばれることもあります。これは、多層パーセプトロンが複数の層を含むためです。単層パーセプトロンは最も単純なフィードフォワードニューラルネットワークであり、データを線形に分類するために使用できます。

単層パーセプトロンの学習アルゴリズムの例を以下に示します。隠れ層が存在する可能性のある多層パーセプトロンでは、バックプロパゲーションなどのより複雑な方法が必要です。活性化関数またはパーセプトロンがモデル化している基礎となるプロセスが非線形である場合、活性化関数が微分可能である限り、デルタルールのような代替学習アルゴリズムを使用できます。たとえば、活性化関数が非線形である場合、パーセプトロンはプロセスをモデル化できます。それにもかかわらず、非線形活性化関数を持つ多層パーセプトロンであっても、次の段階で説明される学習プロセスはしばしば成功するでしょう。

人工ニューラルネットワーク内の各出力ニューロンは、他のすべてのニューロンとは独立して動作します。したがって、学習各出力は、複数のパーセプトロンが単一のネットワークにマージされるときに分離して扱われる可能性があります。

まず、いくつかの変数を定義します。

パーセプトロンの学習率は文字rで表されます。学習率の範囲は 0 から 1 です。重みの変動は、値が大きいほど明らかになります。

{\displaystyle y=f(\mathbf {z} )} は、入力ベクトルのパーセプトロンからの出力を示します \mathbf {z} 。

{\displaystyle D=\{(\mathbf {x} _{1},d_{1}),\dots ,(\mathbf {x} _{s},d_{s})\}}

はサンプルのトレーニング セット s です。

\mathbf {x} _{j} は n -次元の入力ベクトルです。

{\displaystyle d_{j}} は、その入力に対するパーセプトロンの望ましい出力値です。

特性の値は、次のように表示されます。

{\displaystyle x_{j,i}} は、 i th トレーニング j 入力ベクトルの th 特徴の値です。

{\displaystyle x_{j,0}=1} .

重みを示すには:

{\displaystyle w_{i}} は i 重みベクトルの th 値で、th 入力フィーチャ i の値を掛けます。

なぜなら {\displaystyle x_{j,0}=1} 、は {\displaystyle w_{0}} バイアス定数の代わりに使用するバイアスです b 。

の時間依存性を示すために \mathbf {w} 、以下を使用します。

{\displaystyle w_{i}(t)} は時間における重量です i t 。

重みの初期化を実行します。重みを数値0または小さなランダム値で初期化することができます。次の例では、数値 0 が使用されています。

トレーニングとして機能するDセット内のすべてのインスタンスjについて、入力 {\mathbf {x}}_{j} と目的の出力に対して次の手順を実行します {\displaystyle d_{j}} 。

正確な生産量を決定します。

{\displaystyle {\begin{aligned}y_{j}(t)&=f[\mathbf {w} (t)\cdot \mathbf {x} _{j}]\\&=f[w_{0}(t)x_{j,0}+w_{1}(t)x_{j,1}+w_{2}(t)x_{j,2}+\dotsb +w_{n}(t)x_{j,n}]\end{aligned}}}

重みを最新の状態にします。

{\displaystyle w_{i}(t+1)=w_{i}(t)\;{\boldsymbol {+}}\;r\cdot (d_{j}-y_{j}(t))x_{j,i}}

は、すべての特徴量について、 0\leq i\leq n r 学習率です。

コンピュータから離れて学習する場合、反復誤差が {\displaystyle {\frac {1}{s}}\sum _{j=1}^{s}|d_{j}-y_{j}(t)|} ユーザー指定のエラーしきい値より小さく \gamma なるか、反復回数について合意されたしきい値に達するまで、2番目のステップを繰り返すことができます(sは再びサンプルセットのサイズです)。

手順 2b では、アルゴリズムは、新しいトレーニング サンプルが検出されるたびに重みを変更します。

パーセプトロンは線形分類器であるため、トレーニングセットDが線形分離可能でない場合、すべての入力ベクトルが正しく分類された状態に到達することはありません。これは、正の例と負の例を超平面を使用して互いに区別できないことを意味します。このシナリオでは、一般的な学習アルゴリズムは「おおよその」答えにどんどん近づくことができません。むしろ、それは学習プロセスの完全な崩壊をもたらすでしょう。したがって、トレーニングセットの線形分離可能性が先験的にわからない場合は、次のトレーニングバリエーションのいずれかを使用することをお勧めします。

トレーニングセットを線形に異なる部分に分離できる場合、パーセプトロンは確実に収束します。さらに、訓練中にパーセプトロンが重みを再調整する回数には上限があります。

2つのクラスからの入力ベクトルが、マージンを持つ超平面、 \gamma すなわち

重みベクトル