人工ニューラルネットワーク: 神経計算の謎を解読するための基礎と応用

By Fouad Sabry

人工ニューラル ネットワークとは

動物の脳を構成する生物学的ニューラル ネットワークにヒントを得たコンピューティング システムは、人工ニューラル ネットワーク (ANN) と呼ばれます。 これらのシステムは、一般的にニューラル ネットワーク (NN) またはニューラル ネットワークと呼ばれます。

メリット

(I) に関する洞察と検証 次のトピック:

第 1 章: 人工ニューラル ネットワーク

第 2 章: 人工ニューロン

第 3 章: 教師なし学習

第 4 章 : バックプロパゲーション

第 5 章: 人工ニューラル ネットワークの種類

第 6 章: 深層学習

第 7 章: 畳み込みニューラル ネットワーク

第 8 章: 長短期記憶

第 9 章: リカレント ニューラル ネットワーク

第 10 章: 人工ニューラル ネットワークの歴史

(II) 一般のよくある質問に答える 人工ニューラル ネットワークについて。

(III) 多くの分野における人工ニューラル ネットワークの使用例。

本書の対象者

専門家、大学生、大学院生、愛好家 、愛好家、およびあらゆる種類の人工ニューラル ネットワークに関する基本的な知識や情報を超えたいと考えている人。

人工知能とは何かシリーズ

人工知能の 電子書籍 シリーズは、200 を超えるトピックを包括的にカバーしています。 各電子ブックでは、特定の人工知能のトピックを詳しく取り上げており、その分野の専門家によって書かれています。 このシリーズは、読者に人工知能の概念、技術、歴史、応用について徹底的に理解してもらうことを目的としています。 取り上げられるトピックには、機械学習、深層学習、ニューラル ネットワーク、コンピューター ビジョン、自然言語処理、ロボット工学、倫理などが含まれます。 電子ブックは、専門家、学生、およびこの急速に進歩する分野の最新の開発について学ぶことに興味があるすべての人を対象に書かれています。
人工知能 電子書籍 シリーズは、基本的な概念から最先端の研究まで、詳細でありながらアクセスしやすい探究を提供します。 200 冊を超える書籍により、読者は人工知能のあらゆる側面について徹底的な基礎を身につけることができます。 電子ブックは体系的に知識を構築できるように設計されており、後の巻は以前の巻で築いた基礎の上に構築されます。 この包括的なシリーズは、人工知能の専門知識を開発しようとする人にとって不可欠なリソースです。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 22, 2023

Book preview

第1章 人工ニューラルネットワーク

動物の脳を構成する生物学的ニューラルネットワークをモデルにしたコンピューティングシステムは、人工ニューラルネットワーク、または略してANNとして知られています。これらのネットワークは、ニューラルネットワーク、または単にNNと呼ばれることがよくあります。

ANNは、人工ニューロンと呼ばれる相互接続されたユニットまたはノードのネットワーク上に構築されます。これらのニューロンは、生物学的脳に見られるニューロンを大まかに模倣することを目的としています。実際の脳に見られるシナプスと同様に、各接続には他のニューロンに信号を送信する機能があります。人工ニューロンは、最初に信号を受信し、次にそれらの信号を分析し、次にそれがリンクされている他のニューロンにメッセージを送信するニューロンです。接続時の「信号」は実数であり、各ニューロンの出力は、その入力の合計の非線形関数によって計算されます。接続時の「信号」は、接続時の「信号」と呼ばれます。エッジは、接続の別名です。ニューロンの樹状突起とエッジ接続の重みは、継続的な学習の関数として変化することがよくあります。接続時の信号の強度は、重量に応じて増減できます。ニューロンには閾値があり、合計信号がその閾値を超えた場合にのみニューロンが信号を送信する可能性があります。ほとんどの場合、ニューロンのグループは層に編成されています。各レイヤーは、受信するデータに独自の変更を加えることができます。信号は、おそらくレイヤーを複数回通過した後、入力層と呼ばれる最初の層から出力層と呼ばれる最後の層に移動します。

それぞれが既知の「入力」と「出力」を持つ処理インスタンスにより、ニューラルネットワークは、2つの間に確率重み付けされた接続を作成することで学習(またはトレーニング)し、ネット自体のデータ構造内に格納できます。これがニューラルネットワークが学習する方法です。既存の例を使用してニューラル ネットワークをトレーニングするプロセスでは、多くの場合、ネットワークの処理済み出力 (通常は予測) とターゲット出力の差を計算します。これは、ネットワークが例からどの程度学習したかを判断するために行われます。この区別は間違いがあるところです。その後、ネットワークは、学習ルールに従って、このエラー値を利用して、重み付けされた関連付けに必要な調整を行います。連続した変更の結果としてニューラル ネットワークによって生成される出力は、意図した出力と徐々に類似したものになります。これらの変更が十分に行われた後、終了後、指定された条件に応じてトレーニングを終了する場合があります。この種の学習は、教師あり学習と呼ばれます。

これらの種類のシステムは、ほとんどの場合、アクティビティ自体に関連するルールでプログラムされることなく、例について考えることによってタスクを実行することを「学習」します。たとえば、画像認識では、手動で「猫」または「猫なし」とラベル付けされたサンプル画像を分析して、その結果を使用して他の画像内の猫を認識することで、猫を含む画像を認識する方法を学習できます。このようにして、手動で「猫」または「猫なし」とラベル付けされた画像を分析することにより、猫を含む画像を識別することを学びます。彼らは、猫が猫に似た髪、尾、ひげ、顔を持っているという事実など、猫についての予備知識がないという事実にもかかわらずこれを達成します。代わりに、分析したインスタンスから完全に自動化された方法で識別特性を開発します。

ウォーレン・マカロックとウォルター・ピッツは、基本的なパーセプトロンは排他的論理和回路を処理できず、コンピューターには有用なニューラルネットワークを処理する能力がないことを発見しました。

1970年には、Seppo Linnainmaaによって開発された、ネストされた微分可能関数の離散リンクネットワークの自動微分(AD)のための一般的なアプローチが発表されました。交通標識の識別などの基準の観点から(IJCNN 2012)。

ANNは、従来のアルゴリズムアプローチでは解決が困難だった問題を解決するために、人間の脳の構造を模倣する取り組みとして最初に考案されました。彼らはすぐに経験的成果を高めることに焦点を移し、製品の生物学的起源に忠実であり続ける努力を大部分あきらめました。ニューロンはさまざまな異なる構成で互いにリンクされているため、一部のニューロンの出力が他のニューロンの入力になります。ネットワークは、方向付けおよび重み付けされたグラフの形をしています。

人工ニューラルネットワーク(ANN)は、本質的に生物学的ニューロンネットワークから引き出された人工ニューロンで構成されています。各人工ニューロンは入力を受け取り、いくつかの追加のニューロンに分配することができる単一の出力を生成します。写真や論文などの外部データのサンプルの特徴値が入力になる場合があります。あるいは、他のニューロンの出力はこの能力で奉仕することができる。画像内のアイテムを識別するなどのジョブは、ニューラルネットの最後の出力ニューロンの出力によって完了します。

ニューロンの出力が何であるかを決定するには、まずニューロンのすべての入力の加重合計を計算する必要があります。この合計は、入力からニューロンに向かう接続の重みを考慮しながら計算する必要があります。この合計にバイアス項を追加します。

深層学習では、この種の学習は複雑さを強調するため、ニューロンはしばしば多数の層に配置されます。1つの層のニューロンは、直前の層とその直後の層の他のニューロンとのみ接続できます。外部からデータを取り込むレイヤーを入力レイヤーと呼びます。出力層は、完成品全体を生成する層です。それらの間には少なくとも1つ、おそらくそれ以上の秘密の層があります。また、単一レイヤーのネットワークとレイヤーのないネットワークもあります。2 つのレベルの間には、多数の接続パターンが存在する可能性があります。それらは「完全にリンク」することができ、つまり、1つの層のすべてのニューロンがその上の層のすべてのニューロンに接続できることを意味します。それらはプーリングしている可能性があり、これは、ある層のニューロンのグループが次の層の単一のニューロンにリンクし、その層のニューロンの数を減らすことです。プーリングは、ニューロンが相互に通信できる方法の1つです。

ハイパーパラメータは一種の定数パラメータであり、その値は学習プロセスの開始前に決定されます。学習プロセスは、パラメータの値を取得するために使用されます。学習率、隠れ層の数、バッチサイズはすべてハイパーパラメータの例です。一部のハイパーパラメータの値は、他のハイパーパラメータの値に依存する可能性があります。たとえば、一部の層の厚さは、層の合計量に応じて変化する可能性があります。

学習は、サンプルの観測を考慮に入れることにより、ネットワークが仕事によりよく取り組むためにそれ自体を適応させるプロセスです。学習では、より正確な予測を得るために、ネットワークの重み(場合によってはしきい値)を調整する必要があります。これを達成するためには、観察された間違いを可能な限り減らす必要があります。さらなるデータを見ても意味のある方法でエラー率を下げるのに役立たない場合、学習は完了したと見なされます。教えられた後でも、間違い率は通常完全にゼロになるわけではありません。ほとんどの場合、学習後にエラー率が高すぎると判断された場合は、ネットワークを変更する必要があります。実際には、これは、システムが学習している間に定期的に評価されるコスト関数を作成することによって達成されます。システムの出力が低下し続ける限り、学習プロセスは進行します。コストは通常、正確に決定されるのではなく、推測することしかできない統計として特徴付けられます。出力は数値であるため、ほぼ確実に猫である出力と、同じく猫である正しい応答との間の誤差幅は、エラー率が低い場合、かなり小さくなります。学習の目的は、観測値間の不一致の総数をできるだけ減らすことです。学習モデルの大部分は、最適化理論と統計的推定の直接的な応用として理解することができます。

学習率は、各観測値の間違いを補正するためにモデルが実行する必要がある是正措置の大きさを決定する要因です。運動量の考え方は、重みの調整が少なくともある程度、前の変化に依存するように、勾配と前の変化との間の平衡を重み付けすることを可能にする。運動量がゼロに近い場合は勾配に重点が置かれ、1に近い場合は最新の変化に重点が置かれます。

必要に応じてコスト関数を定義することは可能ですが、コスト関数の選択は通常、関数の望ましいプロパティ(凸など)またはモデル自体から出現するという事実(たとえば、確率モデルでは、モデルの事後確率を逆コストとして使用できます)のいずれかによって導かれます。

バックプロパゲーションは、学習中に特定された各間違いを修正するために接続の重みを変更するために使用される方法です。バックプロパゲーションは手法です。間違いの全量は、すべての接続間で効率的に分散されます。Backpropは、技術的に言えば、重みに関連して特定の状態に関連付けられているコスト関数の勾配または導関数を計算する手法です。重みの更新は、確率的勾配降下法、またはエクストリームラーニングマシンや非コネクショニストニューラルネットワークなどの他のアプローチを使用して実行できます。他の方法は次のとおりです。

学習は、教師あり学習、教師なし学習、強化学習の3つの主要なカテゴリに分類できます。それらはそれぞれ異なる教育活動に関連付けられています。

教師あり学習では、入力と目的の出力のコレクションが結合されます。学習プロセスの目標は、各入力を対象とした出力を作成することです。この特定の例では、コスト関数は不正確な控除を削除するプロセスに関連しています。平均二乗誤差は、よく使用されるコストであり、その目標は、ネットワークの出力と必要な出力の間に存在する平均二乗誤差を減らすことです。パターン認識 (分類とも呼ばれます) と回帰はどちらも、教師あり学習 (関数近似とも呼ばれます) に最適なタスクです。教師あり学習の使用は、同様に、シーケンシャルデータに対して行われてもよい(例えば、手書き、音声およびジェスチャー認識のため)。これについて考える1つの方法は、これまでに生成されたソリューションの全体的な品質に関する継続的なフィードバックを提供する機能の形で、「教師」と一緒に学習することです。

教師なし学習とは、プロセスを指します, 入力データと一緒に, コスト関数が表示されます, データのいくつかの関数 \textstyle x とネットワークの出力.

コスト関数は、モデルドメインを表すタスクと、モデルの暗黙の特徴、そのパラメータ、および観察された変数を表す事前仮定に依存します。

小さな例として、 \textstyle f(x)=a \textstyle a が定数であり、 が コストであるモデルを考えます \textstyle C=E[(x-f(x))^{2}] 。

このコストを最小化すると、 \textstyle a データの平均に等しい値が生成されます。

コスト関数は、はるかに複雑なものになる可能性があります。

コンテキストはそれが取る形状を決定します:例として、圧縮では、 \textstyle x と \textstyle f(x) の間の相互情報に関連している可能性がありますが、統計モデリングは関係していますが、データが与えられたモデルの事後確率と関係がある可能性があります(これらの例の両方で、これらの量は最小化されるのではなく最大化されることに注意してください)。

推定の問題は、ほとんどの場合、教師なし学習の概念に含まれるタスクを完了するために必要です。クラスタリングは、統計分布とそのパラメータの計算、フィルタリングと圧縮を組み合わせた利用可能な用途の1つです。

俳優は、ビデオゲームをプレイしているときなど、さまざまな状況で一連のアクティビティを実行し、これらの各行為の後に予期しないことが多い環境からの反応を受け取ります。ゲームの目的は、可能な限り低い費用で最大数の好意的な返信を引き出すことによって勝利を達成することです。強化学習のプロセスでは、長期的に予測される累積コストが最も少ないアクションを実行するために、ネットワークに重みを付ける(ポリシーを考え出す)ことが目標です。各瞬間に、エージェントはアクションを実行し、環境は、その大部分は不明である特定のルールに従って、観測と瞬時コストを生成することによって応答します。ほとんどの場合、規制と長期的なコストは計算することしかできません。エージェントは、すべての時点で、それらの行為に関連するコストを確認するために潜在的な新しいアクションを調査するか、より迅速に前進するために以前に習得した知識を利用するかを選択する必要があります。

正式には、環境は状態とアクションを持つマルコフ決定プロセス(MDP)としてモデル化されます \textstyle {s_{1},...,s_{n}}\in S \textstyle {a_{1},...,a_{m}}\in A 。

状態遷移が未知であるという事実のために、確率分布が代わりに使用されます:瞬間コスト分布、観測分布、 \textstyle P(c_{t}|s_{t}) 遷移分布、 \textstyle P(x_{t}|s_{t}) ポリシーは観測値に応じたアクションの条件付き配分と考えることができます。 \textstyle P(s_{t+1}|s_{t},a_{t})

まとめると、マルコフ連鎖はこれら2つの要素(MC)によって定義できます。

目標は、コストが最も低いMCを見つけることです。

この種のアプリケーションでは、ANNを使用して学習コンポーネントを実装します。ANNには、離散化グリッド密度が低下しても失われる精度の量を減らす能力があり、問題を制御するためのソリューションを数値的に近似するのに役立ちます。制御の問題、ゲーム、およびその他のいくつかの連続した意思決定タスクは、強化学習のパラダイムに適合する種類の活動の例です。

ニューラルネットワークにおける自己学習の概念は、プロセス(CAA)に従事することができるクロスバーアダプティブアレイと呼ばれるニューラルネットワークとともに、1982年に最初に発表されました。クロスバー自己学習アルゴリズムの各反復において、メモリ行列W = ||w(a,s)||出発点として:

状況sでは、アクションaを実行します。 結果状況s'を受け取ります。 結果状況にあるという感情を計算しますv(s'); クロスバー メモリ w'(a,s) = w(a,s) + v(s') を更新します。

結果のシナリオに対する感覚は、二次強化としても知られるバックプロパゲーション値です。CAAは2つの環境に存在します:1つは行動する行動環境であり、もう1つは行動環境で遭遇する状況について最初に一度だけ最初の感情を受け取る遺伝的環境です。行動環境は、CAAが行動することが観察される環境です。CAAは、遺伝的環境からゲノムベクター(種ベクター)を取得し、好ましい状況と否定的な状況の両方を含む行動環境から目標を求める行動を獲得します。

進化的コンピューティングを使用することで、神経進化はニューラルネットワークのトポロジと重みを生成できます。より複雑な勾配降下法と効果的に競合できます。神経進化が「行き止まり」に陥る可能性が低い可能性は、それを研究することの利点の1つです。

確率ニューラルネットワークは、シェリントン-カークパトリックモデルから派生した人工ニューラルネットワークの一種です。それらは、ネットワークにランダムなバリエーションを導入することによって構築され、ネットワークの人工ニューロンに確率的伝達関数を提供するか、確率的重みを提供するかの2つの方法のいずれかで達成できます。このため、最適化の問題は、ランダムな変動がネットワークがローカル最小値の状態に到達するのを回避するのに役立つため、ツールとして使用することで恩恵を受ける可能性があります。

ベイジアンフレームワーク内では、可能な限り低いコストを達成するために、許可されたモデルの中から分布を選択することが目標です。進化に基づく方法、利用可能な学習には、バッチと確率論の2つの異なるアプローチがあります。新しい入力ごとに、確率的学習のフレームワーク内で重みが変更されます。バッチ学習では、入力のバッチに応じて重みが更新されるため、バッチの過程でミスが蓄積されます。単一のデータポイントから生成されるローカル勾配を使用することにより、確率的学習はプロセスに「ノイズ」を組み込みます。その結果、ネットワークが極小値に陥る可能性が大幅に減少します。一方、バッチ学習では、多くの場合、より迅速かつ一貫性のある最小値への落下が得られます。これは、各更新がバッチの平均誤差の方向に実行されるという事実によるものです。データセット全体から確率的に選択されたサンプルを含む小さなバッチである「ミニバッチ」の使用は、満足のいく妥協点に到達するための頻繁な方法です。

ANNは、さまざまな分野で最先端の進歩に貢献した多様な方法ファミリーに発展しました。最も基本的な種類は、ユニット数、レイヤー数、ユニット ウェイト、トポロジなど、1 つ以上の静的コンポーネントで構成されます。これらの 1 つ以上は、動的型を操作するときの学習によって変更される可能性があります。後者は学習がはるかに困難ですが、多くの場合、優れた結果とより短い学習時間を提供します。特定の品種は、学習プロセスがオペレーターによって「監視」されることを可能にするか、または必要とするが、他の品種はそれ自体で機能することができる。特定の種類はハードウェアを使用してのみ機能しますが、他の種類は完全にソフトウェアベースであり、汎用コンピューターで実行されます。

畳み込みニューラルネットワークは、視覚的およびその他の2次元データの処理に特に効果的であることが示されており、主要なブレークスルーの1つです。その他の重要な進歩は次のとおりです。人工ニューラルネットワーク(ANN)設計の自動化は、ニューラルアーキテクチャ検索(NAS)アルゴリズムの目標です。NASにはいくつかの異なる方法で、手作業で設計されたネットワークと競合するネットワークが構築されています。検索プロセスの基本的なステップは、候補モデルを提案することです。その後、モデルはデータセットと比較され、その結果はNASネットワークに指示するためのフィードバックとして使用されます。

設計上の考慮事項には、ネットワーク レイヤーの数、そのタイプ、相互にリンクされる度合い、各レイヤーのサイズ、およびネットワーク層間の接続の種類