フィードフォワード ニューラル ネットワーク: 思考機械とニューラルウェブのアーキテクチャの基礎と応用

By Fouad Sabry

フィードフォワード ニューラル ネットワークとは

FNN としてよく知られるフィードフォワード ニューラル ネットワークは、人工ニューラル ネットワークの一種であり、相互にサイクルを形成する接続を持たない そのノード。 したがって、リカレント ニューラル ネットワークとして知られる子孫とは異なります。

どのようなメリットがあるか

(I) 洞察と検証 次のトピック:

第 1 章: フィードフォワード ニューラル ネットワーク

第 2 章: 人工ニューラル ネットワーク

第 3 章: パーセプトロン

第 4 章 : 人工ニューロン

第 5 章: 多層パーセプトロン

第 6 章: デルタ則

第 7 章: バックプロパゲーション

第 8 章: の種類 人工ニューラル ネットワーク

第 9 章: 学習ルール

第 10 章: 人工ニューラル ネットワークの数学

(II) フィードフォワード ニューラル ネットワークに関する一般のよくある質問に答えます。

(III) 多くの分野におけるフィードフォワード ニューラル ネットワークの実際の使用例。

本書の対象者

専門家、学部生、大学院生、愛好家、愛好家、およびそれらの人々 あらゆる種類のフィードフォワード ニューラル ネットワークに関する基本的な知識や情報を超えたいと考えている人。

人工知能とは何かシリーズ

人工知能の 電子書籍 シリーズは、200 を超えるトピックを包括的にカバーしています。 各電子ブックでは、特定の人工知能のトピックを詳しく取り上げており、その分野の専門家によって書かれています。 このシリーズは、読者に人工知能の概念、技術、歴史、応用について徹底的に理解してもらうことを目的としています。 取り上げられるトピックには、機械学習、深層学習、ニューラル ネットワーク、コンピューター ビジョン、自然言語処理、ロボット工学、倫理などが含まれます。 電子ブックは、専門家、学生、およびこの急速に進歩する分野の最新の開発について学ぶことに興味があるすべての人を対象に書かれています。
Artificial Intelligence eBook シリーズは、基本的な概念から最先端の研究まで、詳細でありながらアクセスしやすい探究を提供します。 200 冊を超える書籍により、読者は人工知能のあらゆる側面について徹底的な基礎を身につけることができます。 電子ブックは体系的に知識を構築できるように設計されており、後の巻は以前の巻で築いた基礎の上に構築されます。 この包括的なシリーズは、人工知能の専門知識を開発しようとする人にとって不可欠なリソースです。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 24, 2023

Book preview

第1章 フィードフォワードニューラルネットワーク

フィードフォワードニューラルネットワークは、しばしばFNNと呼ばれ、ノード間にサイクルを作成する接続を含まない一種の人工ニューラルネットワークです。この結果、次の点でその子孫とは異なります:反復接続を持つニューラルネットワーク。

フィードフォワードニューラルネットワークは、これまでに開発された非常に初期で最も基本的な種類の人工ニューラルネットワークでした。

線形ニューラルネットワークは、最も単純な種類のフィードフォワードニューラルネットワークであり、出力ノードの単一層で構成されます。入力は、重みのシーケンスを介して出力に直接供給されます。各ノードは、重みと入力の積の合計を決定する計算を実行します。重みを調整することにより、これらの推定出力と所定のターゲット値のセットとの間で発生する平均二乗誤差を大幅に減らすことができます。線形回帰として知られる最小二乗法は、2世紀以上にわたって使用されており、この方法論に一般的に付けられた名前です。惑星の動きを予測する目的で、Legendre(1805)とGauss(1795)は、点のグループへのまともな近似線形フィットを得る方法としてそれを利用しました。

単層パーセプトロンは、閾値関数と線形ニューラルネットワークを組み合わせた一種のニューラルネットワークです。出力値が特定のしきい値(通常はゼロに設定)より大きい場合、ニューロンが発火し、アクティブ化された値(通常は1)を受け取ります。しきい値が満たされない場合、ニューロンは非アクティブ化された値を取りますが、これは多くの場合負の値です。この特定の種類の活性化関数を持つニューロンは、しばしば線形閾値単位と呼ばれます。科学文献では、「パーセプトロン」という言葉は、これらのユニットの単一のインスタンスのみを含むネットワークを指すためによく使用されます。1920年代にイジングモデルで働いていたエルンスト・イジングとヴィルヘルム・レンツ、そして1940年代に働いていたウォーレン・マカロックとウォルター・ピッツは、物理学における「ニューロン」が互いに非常に似ていると説明しました。

パーセプトロンのアクティブ状態と非アクティブ化状態は、しきい値が2つの中間にある限り、設計者が選択した任意の値を持つことができます。

デルタルールと呼ばれることが多い単純な学習手法を使用してパーセプトロンを訓練することが可能です。一種の勾配降下法を実行するために、最初に推定出力とサンプル出力データの間で発生するエラーを計算し、次にこの情報を使用して重みの調整を生成します。

単層パーセプトロンは、線形に分離可能なパターンしか学習できません。1969年、マーヴィン・ミンスキーとシーモア・パパートは、パーセプトロンというタイトルの古典的な本で、単層パーセプトロンネットワークがXOR関数を学習することは不可能であることを示しました。それにもかかわらず、MLPとしても知られる多層パーセプトロンは、存在する可能性のあるすべてのブール関数を構築できることが知られていました。たとえば、甘利俊一は1967年に最初の本を出版しました。

単一層のニューラルネットワークには、ステップ関数ではなく連続出力を計算する機能があります。いわゆるロジスティック関数は、よく選択されるオプションです。

{\displaystyle f(x)={\frac {1}{1+e^{-x}}}}

このオプションを使用すると、単一層ネットワークは、統計モデリングで広く利用されているロジスティック回帰モデルとまったく同じになります。シグモイド関数として知られる関数のファミリーの1つには、ロジスティック関数が含まれます。これは、それらのグラフがギリシャ文字シグマの小文字の最後の文字に似たSの形をとるという事実によるものです。それは連続的な誘導体を有するという事実のために、それはバックプロパゲーションの過程において使用され得る。さらに、この関数は、その導関数を計算するのが簡単であるため、好まれます。

{\displaystyle f'(x)=f(x)(1-f(x)).}

( f 上記の微分方程式を満たすという事実は、連鎖律を適用することで簡単に示すことができます。

単層ニューラルネットワークの活性化関数がモジュロ1の場合、このネットワークは単一のニューロンのみでXOR問題を解くことができます。

{\displaystyle {\begin{aligned}f(x)&=x\mod 1\\f'(x)&=1\end{aligned}}}

このカテゴリのネットワークは、コンピューティングユニットのいくつかの層で構成されており、多くの場合、フィードフォワード方式で相互にリンクされています。1つの層のすべてのニューロンは、有向接続を介して、その下の層のすべてのニューロンに接続されています。シグモイド関数は、さまざまなアプリケーションでこれらのネットワークを構成するユニットの活性化関数として使用されます。しかし、消失勾配問題を学習するため、シグモイド活性化関数はディープニューラルネットワークでは有効ではありません。これは、これらの関数が限られた範囲外の非常に小さな導関数値を持っているためです。

ニューラルネットワークの普遍的近似定理によれば、実数の区間を実数の出力区間に写像するすべての連続関数は、隠れ層が1つだけの多層パーセプトロンによって任意に近似できます。この定理はニューラルネットワーク用に開発されたもので、実数の間隔を実数の出力区間にマップする任意の関数に対して実行できると述べています。この発見は、シグモイド関数など、さまざまな活性化関数に有効です。

あらゆる種類の学習戦略は、多層ネットワークに実装されています。アレクセイ・グリゴレビッチ・イヴァフネンコとバレンティン・ラパは、1965年に最初のディープラーニングMLPを発表したとされています。これを行うために、ネットワークは、ネットワークの重みに関して誤差関数の導関数に対して微積分を実行します。次に、誤差が減少するように重みを調整します(したがって、誤差関数の表面で下り坂になります)。このため、バックプロパゲーションは、多くの異なるアクティベーション機能を持つシステムでのみ使用できます。

一般に、トレーニングサンプルとして使用されなかった例でもうまく機能するようにネットワークを教えるという課題は、追加の方法の使用を必要とする非常に微妙な課題です。これは、使用できるトレーニング サンプルの数が比較的少ない場合に最も重要です。リスクは、ネットワークがトレーニング データとあまりにも密接に一致させようとし、データを生成している実際の統計プロセスを正確にキャプチャできないことです。計算学習理論の焦点は、利用可能なデータのサブセットのみを使用して分類器をトレーニングする方法を開発することです。ニューラルネットワークを扱い、「早期停止」という名前で呼ばれる単純なヒューリスティックは、ネットワークがトレーニングセットの一部ではなかったデータで一般的に適切に機能することを保証するのに役立ちます。

バックプロパゲーション方式でよく発生するその他の問題は、収束率と、誤差関数のグローバル最小値よりも低い解に到達するリスクです。多層パーセプトロンのバックプロパゲーションは、それを可能にする実用的な技術が存在するため、現在、多くの機械学習問題に最適なツールです。

もう1つのオプションは、脳で発生するものに類似した動作である中間体によって制御される多数の個別のニューラルネットワークを利用することです。これらのニューロンは独立して実行することができ、かなりの量の作業を行うことができます。その後、出力をマージできます。

より広い意味では、フィードフォワードネットワークは、いくつかのノード(子または親を持たない)を入力として指定し、他のノード(親または子を持たない)を出力として指定することにより、任意の有向非巡回グラフから構築することができる。それらを1つの方法で考えると、特定のエッジがレイヤーをスキップし、レイヤーが出力から逆方向にカウントされるか、入力から順方向にカウントされる多層ネットワークと考えることができます。多種多様な活性化関数を利用することが可能であり、畳み込みニューラルネットワークに見られるように、重み間にリンクが存在する可能性もあります。

動径基底関数ネットワークは、フィードフォワードネットワークの一種です。これらのネットワークは、従来のフィードフォワードネットワークとは異なる活性化機能を利用する。

特定の文脈では、「多層パーセプトロン」という用語は、任意のフィードフォワードニューラルネットワークを指すために一般的な意味で使用されてもよいが、他の文脈では、その適用は特定のネットワーク(例えば、特定の活性化関数を有する、または全結合層を有する、またはパーセプトロンアルゴリズムによって訓練された)に限定される。

{第 1 章終了}

第2章 人工ニューラルネットワーク

動物の脳を構成する生物学的ニューラルネットワークをモデルにしたコンピューティングシステムは、人工ニューラルネットワーク、または略してANNとして知られています。これらのネットワークは、ニューラルネットワーク、または単にNNと呼ばれることがよくあります。

ANNは、人工ニューロンと呼ばれる相互接続されたユニットまたはノードのネットワーク上に構築されます。これらのニューロンは、生物学的脳に見られるニューロンを大まかに模倣することを目的としています。実際の脳に見られるシナプスと同様に、各接続には他のニューロンに信号を送信する機能があります。人工ニューロンは、最初に信号を受信し、次にそれらの信号を分析し、次にそれがリンクされている他のニューロンにメッセージを送信するニューロンです。接続時の「信号」は実数であり、各ニューロンの出力は、その入力の合計の非線形関数によって計算されます。接続時の「信号」は、接続時の「信号」と呼ばれます。エッジは、接続の別名です。ニューロンの樹状突起とエッジ接続の重みは、継続的な学習の関数として変化することがよくあります。接続時の信号の強度は、重量に応じて増減できます。ニューロンには閾値があり、合計信号がその閾値を超えた場合にのみニューロンが信号を送信する可能性があります。ほとんどの場合、ニューロンのグループは層に編成されています。各レイヤーは、受信するデータに独自の変更を加えることができます。信号は、おそらくレイヤーを複数回通過した後、入力層と呼ばれる最初の層から出力層と呼ばれる最後の層に移動します。

それぞれが既知の「入力」と「出力」を持つ処理インスタンスにより、ニューラルネットワークは、2つの間に確率重み付けされた接続を作成することで学習(またはトレーニング)し、ネット自体のデータ構造内に格納できます。これがニューラルネットワークが学習する方法です。既存の例を使用してニューラル ネットワークをトレーニングするプロセスでは、多くの場合、ネットワークの処理済み出力 (通常は予測) とターゲット出力の差を計算します。これは、ネットワークが例からどの程度学習したかを判断するために行われます。この区別は間違いがあるところです。その後、ネットワークは、学習ルールに従って、このエラー値を利用して、重み付けされた関連付けに必要な調整を行います。連続した変更の結果としてニューラル ネットワークによって生成される出力は、意図した出力と徐々に類似したものになります。これらの変更が十分に行われた後、終了後、指定された条件に応じてトレーニングを終了する場合があります。この種の学習は、教師あり学習と呼ばれます。

これらの種類のシステムは、ほとんどの場合、アクティビティ自体に関連するルールでプログラムされることなく、例について考えることによってタスクを実行することを「学習」します。たとえば、画像認識では、手動で「猫」または「猫なし」とラベル付けされたサンプル画像を分析して、その結果を使用して他の画像内の猫を認識することで、猫を含む画像を認識する方法を学習できます。このようにして、手動で「猫」または「猫なし」とラベル付けされた画像を分析することにより、猫を含む画像を識別することを学びます。彼らは、猫が猫に似た髪、尾、ひげ、顔を持っているという事実など、猫についての予備知識がないという事実にもかかわらずこれを達成します。代わりに、分析したインスタンスから完全に自動化された方法で識別特性を開発します。

ウォーレン・マカロックとウォルター・ピッツは、基本的なパーセプトロンは排他的論理和回路を処理できず、コンピューターには有用なニューラルネットワークを処理する能力がないことを発見しました。

1970年には、Seppo Linnainmaaによって開発された、ネストされた微分可能関数の離散リンクネットワークの自動微分(AD)のための一般的なアプローチが発表されました。交通標識の識別などの基準の観点から(IJCNN 2012)。

ANNは、従来のアルゴリズムアプローチでは解決が困難だった問題を解決するために、人間の脳の構造を模倣する取り組みとして最初に考案されました。彼らはすぐに経験的成果を高めることに焦点を移し、製品の生物学的起源に忠実であり続ける努力を大部分あきらめました。ニューロンはさまざまな異なる構成で互いにリンクされているため、一部のニューロンの出力が他のニューロンの入力になります。ネットワークは、方向付けおよび重み付けされたグラフの形をしています。

人工ニューラルネットワーク(ANN)は、本質的に生物学的ニューロンネットワークから引き出された人工ニューロンで構成されています。各人工ニューロンは入力を受け取り、いくつかの追加のニューロンに分配することができる単一の出力を生成します。写真や論文などの外部データのサンプルの特徴値が入力になる場合があります。あるいは、他のニューロンの出力はこの能力で奉仕することができる。画像内のアイテムを識別するなどのジョブは、ニューラルネットの最後の出力ニューロンの出力によって完了します。

ニューロンの出力が何であるかを決定するには、まずニューロンのすべての入力の加重合計を計算する必要があります。この合計は、入力からニューロンに向かう接続の重みを考慮しながら計算する必要があります。この合計にバイアス項を追加します。

深層学習では、この種の学習は複雑さを強調するため、ニューロンはしばしば多数の層に配置されます。1つの層のニューロンは、直前の層とその直後の層の他のニューロンとのみ接続できます。外部からデータを取り込むレイヤーを入力レイヤーと呼びます。出力層は、完成品全体を生成する層です。それらの間には少なくとも1つ、おそらくそれ以上の秘密の層があります。また、単一レイヤーのネットワークとレイヤーのないネットワークもあります。2 つのレベルの間には、多数の接続パターンが存在する可能性があります。それらは「完全にリンク」することができ、つまり、1つの層のすべてのニューロンがその上の層のすべてのニューロンに接続できることを意味します。それらはプーリングしている可能性があり、これは、ある層のニューロンのグループが次の層の単一のニューロンにリンクし、その層のニューロンの数を減らすことです。プーリングは、ニューロンが相互に通信できる方法の1つです。

ハイパーパラメータは一種の定数パラメータであり、その値は学習プロセスの開始前に決定されます。学習プロセスは、パラメータの値を取得するために使用されます。学習率、隠れ層の数、バッチサイズはすべてハイパーパラメータの例です。一部のハイパーパラメータの値は、他のハイパーパラメータの値に依存する可能性があります。たとえば、一部の層の厚さは、層の合計量に応じて変化する可能性があります。

学習は、サンプルの観測を考慮に入れることにより、ネットワークが仕事によりよく取り組むためにそれ自体を適応させるプロセスです。学習では、より正確な予測を得るために、ネットワークの重み(場合によってはしきい値)を調整する必要があります。これを達成するためには、観察された間違いを可能な限り減らす必要があります。さらなるデータを見ても意味のある方法でエラー率を下げるのに役立たない場合、学習は完了したと見なされます。教えられた後でも、間違い率は通常完全にゼロになるわけではありません。ほとんどの場合、学習後にエラー率が高すぎると判断された場合は、ネットワークを変更する必要があります。実際には、これは、システムが学習している間に定期的に評価されるコスト関数を作成することによって達成されます。システムの出力が低下し続ける限り、学習プロセスは進行します。コストは通常、正確に決定されるのではなく、推測することしかできない統計として特徴付けられます。出力は数値であるため、ほぼ確実に猫である出力と、同じく猫である正しい応答との間の誤差幅は、エラー率が低い場合、かなり小さくなります。学習の目的は、観測値間の不一致の総数をできるだけ減らすことです。学習モデルの大部分は、最適化理論と統計的推定の直接的な応用として理解することができます。

学習率は、各観測値の間違いを補正するためにモデルが実行する必要がある是正措置の大きさを決定する要因です。運動量の考え方は、重みの調整が少なくともある程度、前の変化に依存するように、勾配と前の変化との間の平衡を重み付けすることを可能にする。運動量がゼロに近い場合は勾配に重点が置かれ、1に近い場合は最新の変化に重点が置かれます。

必要に応じてコスト関数を定義することは可能ですが、コスト関数の選択は通常、関数の望ましいプロパティ(凸など)またはモデル自体から出現するという事実(たとえば、確率モデルでは、モデルの事後確率を逆コストとして使用できます)のいずれかによって導かれます。

バックプロパゲーションは、学習中に特定された各間違いを修正するために接続の重みを変更するために使用される方法です。バックプロパゲーションは手法です。間違いの全量は、すべての接続間で効率的に分散されます。Backpropは、技術的に言えば、重みに関連して特定の状態に関連付けられているコスト関数の勾配または導関数を計算する手法です。重みの更新は、確率的勾配降下法、またはエクストリームラーニングマシンや非コネクショニストニューラルネットワークなどの他のアプローチを使用して実行できます。他の方法は次のとおりです。

学習は、教師あり学習、教師なし学習、強化学習の3つの主要なカテゴリに分類できます。それらはそれぞれ異なる教育活動に関連付けられています。

教師あり学習では、入力と目的の出力のコレクションが結合されます。学習プロセスの目標は、各入力を対象とした出力を作成することです。この特定の例では、コスト関数は不正確な控除を削除するプロセスに関連しています。平均二乗誤差は、よく使用されるコストであり、その目標は、ネットワークの出力と必要な出力の間に存在する平均二乗誤差を減らすことです。パターン認識 (分類とも呼ばれます) と回帰はどちらも、教師あり学習 (関数近似とも呼ばれます) に最適なタスクです。教師あり学習の使用は、同様に、シーケンシャルデータに対して行われてもよい(例えば、手書き、音声およびジェスチャー認識のため)。これについて考える1つの方法は、これまでに生成されたソリューションの全体的な品質に関する継続的なフィードバックを提供する機能の形で、「教師」と一緒に学習することです。

教師なし学習とは、プロセスを指します, 入力データと一緒に, コスト関数が表示されます, データのいくつかの関数 \textstyle x とネットワークの出力.

コスト関数は、モデルドメインを表すタスクと、モデルの暗黙の特徴、そのパラメータ、および観察された変数を表す事前仮定に依存します。

小さな例として、 \textstyle f(x)=a \textstyle a が定数であり、 が コストであるモデルを考えます \textstyle C=E[(x-f(x))^{2}] 。

このコストを最小化すると、 \textstyle a データの平均に等しい値が生成されます。

コスト関数は、はるかに複雑なものになる可能性があります。

コンテキストはそれが取る形状を決定します:例として、圧縮では、 \textstyle x と \textstyle f(x) の間の相互情報に関連している可能性がありますが、統計モデリングは関係していますが、データが与えられたモデルの事後確率と関係がある可能性があります(これらの例の両方で、これらの量は最小化されるのではなく最大化されることに注意してください)。

推定の問題は、ほとんどの場合、教師なし学習の概念に含まれるタスクを完了するために必要です。クラスタリングは、統計分布とそのパラメータの計算、フィルタリングと圧縮を組み合わせた利用可能な用途の1つです。

俳優は、ビデオゲームをプレイしているときなど、さまざまな状況で一連のアクティビティを実行し、これらの各行為の後に予期しないことが多い環境からの反応を受け取ります。ゲームの目的は、可能な限り低い費用で最大数の好意的な返信を引き出すことによって勝利を達成することです。強化学習のプロセスでは、長期的に予測される累積コストが最も少ないアクションを実行するために、ネットワークに重みを付ける(ポリシーを考え出す)ことが目標です。各瞬間に、エージェントはアクションを実行し、環境は、その大部分は不明である特定のルールに従って、観測と瞬時コストを生成することによって応答します。ほとんどの場合、規制と長期的なコストは計算することしかできません。エージェントは、すべての時点で、それらの行為に関連するコストを確認するために潜在的な新しいアクションを調査するか、より迅速に前進するために以前に習得した知識を利用するかを選択する必要があります。

正式には、環境は状態とアクションを持つマルコフ決定プロセス(MDP)としてモデル化されます \textstyle {s_{1},...,s_{n}}\in S \textstyle {a_{1},...,a_{m}}\in A 。

状態遷移が未知であるという事実のために、確率分布が代わりに使用されます:瞬間コスト分布、観測分布、 \textstyle P(c_{t}|s_{t}) 遷移分布、 \textstyle P(x_{t}|s_{t}) ポリシーは観測値に応じたアクションの条件付き配分と考えることができます。 \textstyle P(s_{t+1}|s_{t},a_{t})