放射状基底ネットワーク: 人工ニューラルネットワークの活性化機能の基礎と応用

By Fouad Sabry

放射基底関数ネットワークとは

放射基底関数ネットワークは、数学的モデリングの分野で使用される人工ニューラル ネットワークの一種です。 このタイプのネットワークは、活性化関数として動径基底関数を使用します。 ネットワークの出力は、ニューロン パラメーターとネットワークへの入力の動径基底関数の線形結合です。 放射基底関数ネットワークには幅広い用途があり、その中には関数の近似、時系列の予測、データの分類、システムの制御などがあります。 1988 年の研究では、ロイヤル シグナルズ アンド レーダー施設の研究者であるブルームヘッドとロウが最初にアイデアを策定しました。

どのようなメリットがあるか

(I) 次のトピックに関する洞察と検証:

第 1 章: 動径基底関数ネットワーク

第 2 章: 勾配

第 3 章: 放射基底関数

第 4 章: 放射基底関数カーネル

第 5 章: 関数導関数

第 6 章: ヤコビアン行列と行列式

第 7 章: ラプラス方程式

第 8 章: ラプラス演算子

第 9 章: 重積分

第 10 章: 多調和スプライン

(II) 放射基底ネットワークに関する一般のよくある質問に答える。

(III) 多くの分野における放射基底ネットワークの使用例の実例。

この本の対象者

専門家、大学生、大学院生、愛好家、趣味人、そしてあらゆる種類の放射状基底ネットワークに関する基本的な知識や情報を超えたいと考えている人。

人工知能とは何かシリーズ

人工知能の 電子書籍 シリーズは、200 を超えるトピックを包括的にカバーしています。 各電子ブックでは、特定の人工知能のトピックを詳しく取り上げており、その分野の専門家によって書かれています。 このシリーズは、読者に人工知能の概念、技術、歴史、応用について徹底的に理解してもらうことを目的としています。 取り上げられるトピックには、機械学習、深層学習、ニューラル ネットワーク、コンピューター ビジョン、自然言語処理、ロボット工学、倫理などが含まれます。 電子ブックは、専門家、学生、およびこの急速に進歩する分野の最新の開発について学ぶことに興味があるすべての人を対象に書かれています。
Artificial Intelligence eBook シリーズは、基本的な概念から最先端の研究まで、詳細でありながらアクセスしやすい探究を提供します。 200 冊を超える書籍により、読者は人工知能のあらゆる側面について徹底的な基礎を身につけることができます。 電子ブックは体系的に知識を構築できるように設計されており、後の巻は以前の巻で築いた基礎の上に構築されます。 この包括的なシリーズは、人工知能の専門知識を開発しようとする人にとって不可欠なリソースです。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 26, 2023

Book preview

第1章 動径基底関数ネットワーク

動径基底関数ネットワークは、数学的モデリングの分野で使用される一種の人工ニューラルネットワークです。このタイプのネットワークは、その活性化関数として動径基底関数を使用します。ネットワークの出力は、ニューロンパラメータとネットワークへの入力の動径基底関数の線形結合です。動径基底関数ネットワークには幅広い用途があり、その一部には、関数の近似、時系列の予測、データの分類、システムの管理などがあります。1988年からの彼らの仕事では、ロイヤルシグナルとレーダーエスタブリッシュメントの研究者であったブルームヘッドとロウが最初にそれらを考案した人でした。

RBFネットワークは、放射基底関数ネットワークとも呼ばれ、一般に、非線形RBF活性化関数を使用する隠れ層に加えて、入力の第1層、線形出力層の3つの層で構成されます。

入力は実数のベクトルとしてモデル化できます \mathbf {x} \in \mathbb {R} ^{n} 。

ネットワークの出力は、この時点での入力ベクトルのスカラー関数であり、 \varphi :{\mathbb {R}}^{n}\to {\mathbb {R}} に起因し得る。

\varphi ({\mathbf {x}})=\sum _{{i=1}}^{N}a_{i}\rho (||{\mathbf {x}}-{\mathbf {c}}_{i}||)

ここで N 、 は隠れ層のニューロン数、 はニューロン {\mathbf c}_{i} の中心ベクトル i 、 a_{i} は線形出力ニューロンにおけるニューロンの重み i である。

ベクトルの周囲で放射状に対称な関数には、その動作に影響を与える変数が1つだけあります。 中心ベクトルからの距離、 これが「動径基底関数」という用語の由来です。

最も基本的な形式では、すべての埋没ニューロンはすべての入力から情報を受け取ります。

マハラノビス距離はパターン認識でより優れたパフォーマンスを発揮しているように見えますが、ユークリッド距離が標準であると想定されることがよくあります。ガウスは、通常、動径基底関数に使用されると想定される動径基底関数です。

{\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta _{i}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]}

.

この意味で、ガウス基底関数は中心ベクトルに対して「局所的」であると考えることができます。

\lim _{{||x||\to \infty }}\rho (\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert )=0

つまり、単一のニューロンのパラメータを変更しても、ニューロンのコアからかなり離れた場所にある入力値への影響はごくわずかです。

活性化関数の形式に関する特定の良性要件が満たされる場合、 のコンパクトな部分集合上の RBF ネットワークは 上の普遍近似量である \mathbb {R} ^{n} 。

これは、十分な数の隠れニューロンを備えたRBFネットワークが、閉ドメイン上の任意の連続関数、有界であるが任意の精度を持つ可能性のあるコレクションに近似する可能性があることを示しています。

パラメータ、 a_{i} 、および {\mathbf {c}}_{i} は、 \beta _{i} データとデータ \varphi 間の適合を最適化する方法で決定されます。

正規化されていない上述のRBFネットワーク設計に加えて、正規化されたRBFネットワークも可能である。この特定のインスタンスでのマッピングは、

\varphi ({\mathbf {x}})\ {\stackrel {{\mathrm {def}}}{=}}\ {\frac {\sum _{{i=1}}^{N}a_{i}\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}}{\sum _{{i=1}}^{N}\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}}}=\sum _{{i=1}}^{N}a_{i}u{\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}

どこ

u{\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}\ {\stackrel {{\mathrm {def}}}{=}}\ {\frac {\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}}{\sum _{{j=1}}^{N}\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{j}\right\Vert {\big )}}}

正規化された動径基底関数は、この種の関数に付けられた名前です。

確率的データフローのコンテキストでは、この設計には理論的な観点からある程度の概念的妥当性があります。代わりに、結合確率密度の確率カーネルに基づく推定値を検討してください。

P\left({\mathbf {x}}\land y\right)={1 \over N}\sum _{{i=1}}^{N}\,\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}\,\sigma {\big (}\left\vert y-e_{i}\right\vert {\big )}

ここで、重み {\mathbf {c}}_{i} と e_i はデータからの模範であり、カーネルを正規化する必要があります

\int \rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}\,d^{n}{\mathbf {x}}=1

そして

\int \sigma {\big (}\left\vert y-e_{i}\right\vert {\big )}\,dy=1 .

入力スペースと出力スペースの両方の確率密度は、次のとおりです。

P\left({\mathbf {x}}\right)=\int P\left({\mathbf {x}}\land y\right)\,dy={1 \over N}\sum _{{i=1}}^{N}\,\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}

そして

入力が与えられたyの期待 {\mathbf {x}} 値は

\varphi \left({\mathbf {x}}\right)\ {\stackrel {{\mathrm {def}}}{=}}\ E\left(y\mid {\mathbf {x}}\right)=\int y\,P\left(y\mid {\mathbf {x}}\right)dy

どこ

P\left(y\mid {\mathbf {x}}\right)

は与えられたyの条件付き確率である {\mathbf {x}} 。

ベイズ定理は、条件付き確率と結合確率の関係を示しています。

P\left(y\mid {\mathbf {x}}\right)={\frac {P\left({\mathbf {x}}\land y\right)}{P\left({\mathbf {x}}\right)}}

これは、

\varphi \left({\mathbf {x}}\right)=\int y\,{\frac {P\left({\mathbf {x}}\land y\right)}{P\left({\mathbf {x}}\right)}}\,dy

.

これは

\varphi \left({\mathbf {x}}\right)={\frac {\sum _{{i=1}}^{N}e_{i}\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}}{\sum _{{i=1}}^{N}\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}}}=\sum _{{i=1}}^{N}e_{i}u{\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}

統合自体が実行されるとき。

ローカル線形モデルも組み込まれるように計画を拡張すると、特定の状況で役立つ場合があります。このようなシナリオでは、アーキテクチャは一次に発展し、

\varphi \left({\mathbf {x}}\right)=\sum _{{i=1}}^{N}\left(a_{i}+{\mathbf {b}}_{i}\cdot \left({\mathbf {x}}-{\mathbf {c}}_{i}\right)\right)\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}

そして

\varphi \left({\mathbf {x}}\right)=\sum _{{i=1}}^{N}\left(a_{i}+{\mathbf {b}}_{i}\cdot \left({\mathbf {x}}-{\mathbf {c}}_{i}\right)\right)u{\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}

データが標準化されていない場合と標準化されている場合の両方。

決定 {\mathbf {b}}_{i} する重みは次のとおりです。

高次の線形項の可能性もあります。

この結論は書面で述べることができます。

\varphi \left({\mathbf {x}}\right)=\sum _{{i=1}}^{{2N}}\sum _{{j=1}}^{n}e_{{ij}}v_{{ij}}{\big (}{\mathbf {x}}-{\mathbf {c}}_{i}{\big )}

どこ

e_{{ij}}={\begin{cases}a_{i},&{\mbox{if }}i\in [1,N]\\b_{{ij}},&{\mbox{if }}i\in [N+1,2N]\end{cases}}

そして

v_{{ij}}{\big (}{\mathbf {x}}-{\mathbf {c}}_{i}{\big )}\ {\stackrel {{\mathrm {def}}}{=}}\ {\begin{cases}\delta _{{ij}}\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )},&{\mbox{if }}i\in [1,N]\\\left(x_{{ij}}-c_{{ij}}\right)\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )},&{\mbox{if }}i\in [N+1,2N]\end{cases}}

正規化がない場合のシナリオでは、

v_{{ij}}{\big (}{\mathbf {x}}-{\mathbf {c}}_{i}{\big )}\ {\stackrel {{\mathrm {def}}}{=}}\ {\begin{cases}\delta _{{ij}}u{\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )},&{\mbox{if }}i\in [1,N]\\\left(x_{{ij}}-c_{{ij}}\right)u{\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )},&{\mbox{if }}i\in [N+1,2N]\end{cases}}

正規化のコンテキスト内。

これは \delta _{ij} 、次のように定義されたクロネッカーデルタ関数です。

\delta _{{ij}}={\begin{cases}1,&{\mbox{if }}i=j\\0,&{\mbox{if }}i\neq j\end{cases}} .

RBFネットワークは通常、 {\displaystyle \mathbf {x} (t),y(t)} 2段階アルゴリズムによって {\displaystyle t=1,\dots ,T} 、入力値とターゲット値のペアからトレーニングされます。

この最初の段階では、 {\mathbf c}_{i} 隠れ層のRBF関数の中心ベクトルが選択されます。

このフェーズは、いくつかの異なる方法で実行され得る。中心は、いくつかのより大きなサンプルのコレクションからランダムに選択することができますが、あるいは、K-meansクラスタリング法を使用しているものを見つけることもできます。

このフェーズには監視がないことに注意してください。

2番目のステップは、係数を持つ線形モデルを、 w_{i} ある目的関数に関して隠れ層の出力に単純に適合させます。

目的関数の典型的な例は、少なくとも関数と回帰の推定に関して、平方数が最も少ない関数です。

{\displaystyle K(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}K_{t}(\mathbf {w} )}

どこ

K_{t}({\mathbf {w}})\ {\stackrel {{\mathrm {def}}}{=}}\ {\big [}y(t)-\varphi {\big (}{\mathbf {x}}(t),{\mathbf {w}}{\big )}{\big ]}^{2}

.

重みへの依存関係を明示的にモデルの一部にしました。適合の精度は、最適な重みの選択によって最小二乗法の目的関数を最小化することによって最大化され得る。

1つだけでなく、精度に加えて滑らかさなど、さまざまな目標を最大化する必要がある場合があります。このようなシナリオでは、次のような正規化された目的関数を最適化することが有益です。

{\displaystyle H(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ K(\mathbf {w} )+\lambda S(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}H_{t}(\mathbf {w} )}

どこ

{\displaystyle S(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}S_{t}(\mathbf {w} )}

そして

H_{t}({\mathbf {w}})\ {\stackrel {{\mathrm {def}}}{=}}\ K_{t}({\mathbf {w}})+\lambda S_{t}({\mathbf {w}})

ここで、S の最適化は滑らかさを最大化し、 \lambda 正則化パラメータとして知られています。

RBFネットワークのパラメータを微調整するために、完全にオプションである第3のバックプロパゲーションステージを実行できます。

RBFネットワークは、関数の値が有限個の点でわかっている場合に y:{\mathbb {R}}^{n}\to {\mathbb {R}} y({\mathbf x}_{i})=b_{i},i=1,\ldots ,N 、その関数を補間するために使用できます。

既知の点 {\mathbf x}_{i} を動径基底関数の中心とし、同じ点で基底関数の値を評価すると g_{{ij}}=\rho (||{\mathbf x}_{j}-{\mathbf x}_{i}||) 、重みは方程式から解くことができます。

\left[{\begin{matrix}g_{{11}}&g_{{12}}&\cdots &g_{{1N}}\\g_{{21}}&g_{{22}}&\cdots &g_{{2N}}\\\vdots &&\ddots &\vdots \\g_{{N1}}&g_{{N2}}&\cdots &g_{{NN}}\end{matrix}}\right]\left[{\begin{matrix}w_{1}\\w_{2}\\\vdots \\w_{N}\end{matrix}}\right]=\left[{\begin{matrix}b_{1}\\b_{2}\\\vdots \\b_{N}\end{matrix}}\right]

前述の方程式で使用される補間行列の非特異点は、点が異なっているため、 {\mathbf x}_{i} 重みが w 単純な線形代数で解けることを実証できます。

{\mathbf {w}}={\mathbf {G}}^{{-1}}{\mathbf {b}}

ここで {\displaystyle G=(g_{ij})} 。

最適化の目的が厳密な補間を行うことではなく、より一般的な関数の近似または分類を実行することである場合、中心の明らかな代替手段がないため、最適化はかなり複雑になります。トレーニングはしばしば2つの部分に分かれています:最初に、トレーナーは幅と中心の調整に集中し、次にウェイトに移ります。非線形の隠れニューロンと線形の出力ニューロンのこの区別は、この現象を説明し正当化するのに役立つ可能性があります。

基底関数の中心は、入力例の中からランダムに選択するか、直交最小二乗学習アルゴリズムを使用して生成するか、サンプルをクラスタリングしてクラスターの平均を基底関数の中心として選択することによって発見することができます。

RBF の幅は通常、すべて同じ値に設定され、これは選択された中心間の可能な最大距離に比例します。

中心が c_{i} 固定された後、線形擬似逆解を使用して、出力での不正確さが最も少なくなる重みを決定できます。

{\mathbf {w}}={\mathbf {G}}^{+}{\mathbf {b}} ここで、G のエントリ は、点 : で評価される動径基底関数の値です x_{i} g_{{ji}}=\rho (||x_{j}-c_{i}||) 。

この線形解が利用できるため、RBFネットワークは、多層パーセプトロン(MLP)ネットワークとは対照的に、明示的な最小化器を持っています(中心が固定されている場合)。

勾配降下法は、追加の代替トレーニング アルゴリズムです。勾配降下トレーニングでは、重みは、目的関数の勾配とは反対の方向に移動することによって各時間ステップで変更されます(したがって、目的関数の最小値を決定することができます)(したがって、目的関数の最小値を見つけることができます)。

{\mathbf {w}}(t+1)={\mathbf {w}}(t)-\nu {\frac {d}{d{\mathbf {w}}}}H_{t}({\mathbf {w}})

ここで \nu 、は「学習パラメータ」です。

線形重みを訓練する状況では、 a_i アルゴリズムは次のようになります。

a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}{\mathbf {x}}(t),{\mathbf {w}}{\big )}{\big ]}\rho {\big (}\left\Vert {\mathbf {x}}(t)-{\mathbf {c}}_{i}\right\Vert {\big )}

正規化がない場合のシナリオでは、

a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}{\mathbf {x}}(t),{\mathbf {w}}{\big )}{\big ]}u{\big (}\left\Vert {\mathbf {x}}(t)-{\mathbf {c}}_{i}\right\Vert {\big )}

正規化のコンテキスト内。

勾配降下トレーニング法は、局所線形計画に使用されます。

e_{{ij}}(t+1)=e_{{ij}}(t)+\nu {\big [}y(t)-\varphi {\big (}{\mathbf {x}}(t),{\mathbf {w}}{\big )}{\big ]}v_{{ij}}{\big (}{\mathbf {x}}(t)-{\mathbf {c}}_{i}{\big )}

たとえば、線形の重みで運動 a_i e_{{ij}} する場合、 と 、アルゴリズムは次のようになります。

a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}{\mathbf {x}}(t),{\mathbf {w}}{\big )}{\big ]}{\frac {\rho {\big (}\left\Vert {\mathbf {x}}(t)-{\mathbf {c}}_{i}\right\Vert {\big )}}{\sum _{{i=1}}^{N}\rho ^{2}{\big (}\left\Vert {\mathbf {x}}(t)-{\mathbf {c}}_{i}\right\Vert {\big )}}}

正規化がない場合のシナリオでは、

a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}{\mathbf {x}}(t),{\mathbf {w}}{\big )}{\big ]}{\frac {u{\big (}\left\Vert {\mathbf {x}}(t)-{\mathbf {c}}_{i}\right\Vert {\big )}}{\sum _{{i=1}}^{N}u^{2}{\big (}\left\Vert {\mathbf {x}}(t)-{\mathbf {c}}_{i}\right\Vert {\big )}}}

正規化されたケースだけを考慮しながら、

e_{{ij}}(t+1)=e_{{ij}}(t)+\nu {\big [}y(t)-\varphi {\big (}{\mathbf {x}}(t),{\mathbf {w}}{\big )}{\big ]}{\frac {v_{{ij}}{\big (}{\mathbf {x}}(t)-{\mathbf {c}}_{i}{\big )}}{\sum _{{i=1}}^{N}\sum _{{j=1}}^{n}v_{{ij}}^{2}{\big (}{\mathbf {x}}(t)-{\mathbf {c}}_{i}{\big )}}}

ローカル線形モデルの場合。

射影演算子のトレーニングは、基底関数の1つに対するニュートンのアプローチに要約できます。

単位間隔をそれ自体に写像するロジスティック写像として知られる単純な数学的写像は、動径基底関数の基本的な特性を示すために使用することができる。実用的なプロトタイプデータストリームを構築するためにそれを利用することが可能です。関数近似の探索、時系列の予測、および制御理論はすべて、ロジスティックマップの可能なアプリケーションです。人口動態の研究は、マップ作成のインスピレーションとなり、それは混沌とした時系列のモデルになりました。この完全に無秩序なシステムの中で、マップはによって提供されます

x(t+1)\ {\stackrel {{\mathrm {def}}}{=}}\ f\left[x(t)\right]=4x(t)\left[1-x(t)\right]

ここで、tは時間のインデックスです。時刻tにおけるxの値の放物線関数は、時刻t+1におけるxの値を生成します。この方程式は、ロジスティック マップによって生成されるカオス時系列の基礎となる基本的なジオメトリを表します。

時系列は、「フォワードイシュー」であるこの方程式を使用して生成できます。これらの例は、時系列の模範に基づくロジスティックマップの基本方程式または基礎となるダイナミクスの特定である逆の問題を強調しています。目的は、大まかな見積もりに到達することです。

x(t+1)=f\left[x(t)\right]\approx \varphi (t)=\varphi \left[x(t)\right]

fの場合。

アーキテクチャは

\varphi ({\mathbf {x}})\ {\stackrel {{\mathrm {def}}}{=}}\ \sum _{{i=1}}^{N}a_{i}\rho {\big (}\left\Vert {\mathbf {x}}-{\mathbf {c}}_{i}\right\Vert {\big )}

どこ

{\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta _{i}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]=\exp \left[-\beta _{i}\left(x(t)-c_{i}\right)^{2}\right]}

.

入力はベクトルではなくスカラーであるため、出力はスカラーになり、入力の次元を表します。

基底関数の数としてN = 5を使用することを決定し、トレーニングセットを100の模範にします。これらの例は、カオス時系列によって作成されます。

重みは \beta