制限付きボルツマンマシン: 人工知能の隠れた層を解明するための基礎と応用

By Fouad Sabry

制限付きボルツマン マシンとは

RBM としてよく知られる制限付きボルツマン マシンは、確率的かつ生成的な人工ニューラル ネットワークの一例であり、次のような機能を備えています。 独自の入力セットに対する確率分布を作成します。

メリット

(I) 次のトピックに関する洞察と検証:

第 1 章: 制限付きボルツマン マシン

第 2 章: ボルツマン分布

第 3 章: エントロピー (情報理論)

第 4 章: 教師なし 学習

第 5 章: 相互情報

第 6 章: ボルツマン マシン

第 7 章: クロス エントロピー

第 8 章: ソフトマックス関数

第 9 章: オートエンコーダー

第 10 章: ディープ ビリーフ ネットワーク

(II) 制限付きボルツマン マシンに関する一般のよくある質問に答えます。

(III) 多くの分野で制限付きボルツマン マシンを使用する実際の例。

本書の対象者

専門家、大学生、大学院生、愛好家、趣味人、基礎知識を超えたい人 または、あらゆる種類の制限されたボルツマン マシンに関する情報。

人工知能とは何かシリーズ

人工知能の 電子書籍シリーズは、200 を超えるトピックを包括的にカバーしています。 各電子ブックでは、特定の人工知能のトピックを詳しく取り上げており、その分野の専門家によって書かれています。 このシリーズは、読者に人工知能の概念、技術、歴史、応用について徹底的に理解してもらうことを目的としています。 取り上げられるトピックには、機械学習、深層学習、ニューラル ネットワーク、コンピューター ビジョン、自然言語処理、ロボット工学、倫理などが含まれます。 電子ブックは、専門家、学生、およびこの急速に進歩する分野の最新の開発について学ぶことに興味があるすべての人を対象に書かれています。
Artificial Intelligence eBook シリーズは、基本的な概念から最先端の研究まで、詳細でありながらアクセスしやすい探究を提供します。 200 冊を超える書籍により、読者は人工知能のあらゆる側面について徹底的な基礎を身につけることができます。 電子ブックは体系的に知識を構築できるように設計されており、後の巻は以前の巻で築いた基礎の上に構築されます。 この包括的なシリーズは、人工知能の専門知識を開発しようとする人にとって不可欠なリソースです。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 23, 2023

Book preview

第1章:制限付きボルツマンマシン

RBMとしても知られる制限付きボルツマンマシンは、確率的で生成的な人工ニューラルネットワークの一種であり、独自の入力セットに対する確率分布を学習することができます。

RBMは、1986年にポール・スモレンスキーによってHarmoniumという名前で最初に発明され、2000年半ばにジェフリー・ヒントンと共同研究者が高速学習アルゴリズムを発明した後、目立つようになりました。RBMは、次元削減や多体量子力学でも、いくつかのアプリケーションを挙げるために使用されてきました。タスクに応じて、教師ありまたは教師なしのいずれかの方法でトレーニングできます。

その名前が示すように、RBMはボルツマンマシンの変種であり、ニューロンが二部グラフを形成しなければならないという制限があります:ユニットの2つのグループのそれぞれからのノードのペア(一般にそれぞれ「可視」ユニットと「非表示」ユニットと呼ばれます)は、それらの間に対称的な接続を持つことができます。また、グループ内のノード間に接続はありません。対照的に、「無制限の」ボルツマンマシンは、隠れたユニット間の接続を持っている可能性があります。この制限により、ボルツマンマシンの一般的なクラス、特に勾配ベースのコントラスティブ発散アルゴリズムで利用できるよりも効率的なトレーニングアルゴリズムが可能になります。

RBMの一般的な実装では、バイナリ値を持つブール値の非表示ユニットと可視ユニットを使用し、サイズの重みの行列で構成されます W m\times n 。

行列の各重み要素は {\displaystyle (w_{i,j})} 、可視(入力)単位と隠れ単位の間の接続に関連付けられています v_{i} h_{j} 。

a_{i} さらに、 v_{i} と の b_{j} バイアス重み (オフセット) があります h_{j} 。

さまざまな重みとバイアスを考慮して、配置(ブールベクトルのペア)のエネルギー(v,h)は次のように定義されます。

E(v,h) = -\sum_i a_i v_i - \sum_j b_j h_j -\sum_i \sum_j v_i w_{i,j} h_j

または、行列表記では、

{\displaystyle E(v,h)=-a^{\mathrm {T} }v-b^{\mathrm {T} }h-v^{\mathrm {T} }Wh.}

ホップフィールドネットワークのエネルギー関数は、このネットワークのアナログと考えることができます。一般的なボルツマン機械と同様に、可視ベクトルと隠れベクトルの結合確率分布は、エネルギー関数で次のように定義されます。 P(v,h) = \frac{1}{Z} e^{-E(v,h)}

ここで Z 、 は、可能なすべての構成の合計として定義されたパーティション関数 e^{-E(v,h)} であり、 これは、確率の合計が 1 になることを保証するための正規化定数と見なすことができます。

可視ベクトルの周辺確率は、 {\displaystyle P(v,h)} 考えられるすべての隠れ層構成の合計であり、 {\displaystyle P(v)={\frac {1}{Z}}\sum _{\{h\}}e^{-E(v,h)}} その逆も同様です。目に見えるユニットの活性化を考えると、RBMの基礎となるグラフ構造は二部であり、グラフ自体のレイヤー間に接続がないことを意味します。したがって、隠れユニットのアクティブ化は、見かけのユニットのアクティブ化とは相互に独立しています。逆に、可視ユニットのアクティブ化は、隠れユニットのアクティブ化が与えられた場合、相互に独立しています。すなわち、m個の可視単位とn個の隠れ単位について、可視単位vの配置の条件付き確率は、隠れ単位hの構成が与えられたとき、

P(v|h) = \prod_{i=1}^m P(v_i|h) .

逆に、v が与えられた h の条件付き確率は

P(h|v) = \prod_{j=1}^n P(h_j|v) .

個々の活性化確率は、次の式を使用して求めることができます。

{\displaystyle P(h_{j}=1|v)=\sigma \left(b_{j}+\sum _{i=1}^{m}w_{i,j}v_{i}\right)}

そして

\,P(v_i=1|h) = \sigma \left(a_i + \sum_{j=1}^n w_{i,j} h_j \right)

ここで \sigma 、はロジスティックシグモイドを示します。

制限付きボルツマンマシンは、見かけの単位に多項式を使用する場合がありますが、ベルヌーイ単位は常に舞台裏で動作しています。この特定の例では、softmax 関数は、可視単位のロジスティック関数の役割を果たします。

{\displaystyle P(v_{i}^{k}=1|h)={\frac {\exp(a_{i}^{k}+\Sigma _{j}W_{ij}^{k}h_{j})}{\Sigma _{k'=1}^{K}\exp(a_{i}^{k'}+\Sigma _{j}W_{ij}^{k'}h_{j})}}}

ここで、K は表示可能な値に存在する不連続値の総数です。それらはトピックモデリングのプロセスでの使用を見つけます、制限付きマルコフランダムフィールドはボルツマンマシンの特別な場合です。ボルツマンマシンもマルコフランダム場の一種です。モデルのグラフィカル表現は、因子分析のそれと同じです。

制限付きボルツマンマシンは、あるトレーニングセット V (各行が可視ベクトルとして扱われる行列)に割り当てられた確率の積を最大化するようにトレーニングされます v 。 \arg\max_W \prod_{v \in V} P(v)

または同等に、以下からランダムに選択された v トレーニングサンプルの期待対数確率を最大化します V 。

{\displaystyle \arg \max _{W}\mathbb {E} \left[\log P(v)\right]}

RBMのトレーニング、つまり重み行列を最適化するために最も一般的に使用される方法は、 W もともとPoE(専門家の製品)モデルをトレーニングするために開発されたコントラスティブダイバージェンス(CD)アルゴリズムの開発を担当していますか?

このアルゴリズムはギブスサンプリングを実行し、重みの更新を計算するために勾配降下プロシージャ内で使用されます(フィードフォワードニューラルネットをトレーニングするときにこのようなプロシージャ内でバックプロパゲーションが使用される方法に似ています)。

単一サンプルの基本的なワンステップコントラメンティブダイバージェンス(CD-1)プロセスは、次のように説明できます。

まず、トレーニングサンプルvを取得し、次に隠れユニットの確率を計算し、最後に、この確率分布から隠れ活性化ベクトルhをサンプリングします。

vとhの外側の積を計算し、これを正の勾配と呼びます。

まず、値 v' を使用して可視単位の再構成をサンプリングし、次にこの値を使用して、値 h' を使用して非表示のアクティブ化を再サンプリングします。(ギブスサンプリング工程)

負の勾配を決定するには、v' と h' の外側積を計算し、その結果を参照します。

重み行列の更新を W 、正の勾配から負の勾配を引いたものに、学習率を掛けたものとします。 {\displaystyle \Delta W=\epsilon (vh^{\mathsf {T}}-v'h'^{\mathsf {T}})}

バイアス a と b を同様に更新します: {\displaystyle \Delta a=\epsilon (v-v')} , {\displaystyle \Delta b=\epsilon (h-h')} .

彼のウェブサイトに、ヒントンは彼が書いたガイドを投稿しました RBMをトレーニングするための実用的なガイド.

スタック制限ボルツマンマシンとRBMの違いは、RBMには、分析を扱いやすくするために禁止されているレイヤー内に横方向の接続があることです。一方、Stacked Boltzmannは、対称的な重みを持つ教師なし3層ネットワークと、3つのクラスを認識するための教師あり微調整された最上層の組み合わせで構成されています。

スタックボルツマンの使用法は、自然言語の理解、ドキュメントの取得、画像の生成、および分類です。これらの機能は、教師なし事前トレーニングおよび/または教師あり微調整を介して学習されます。無向対称最上層とは対照的に、RBMの接続層は、どちらの方向にも移動できる非対称層です。制限されたボルツマンの接続は、非対称の重みを持つ3層であり、2つのネットワークが1つに結合されています。

RBMとスタックボルツマンの間にはいくつかの類似点があり、スタックボルツマンのニューロンは確率的バイナリホップフィールドニューロンであり、制限付きボルツマンマシンと同義です。

制限付きボルツマンとRBMの両方からのエネルギーは、ギブの確率測度によって与えられます。

E=-{\frac 12}\sum _{{i,j}}{w_{{ij}}{s_{i}}{s_{j}}}+\sum _{i}{\theta _{i}}{s_{i}}

制限付きボルツマンのトレーニングプロセスはRBMに似ています。

制限付きボルツマンは一度に1層ずつ訓練し、3セグメントパスで平衡状態を近似し、バックプロパゲーションを実行しません。

制限付きボルツマンは、分類と認識のための事前トレーニングのために、異なるRBMで教師ありと教師なしの両方を使用します。

トレーニングでは、ギブスサンプリングによるコントラスティブ発散を使用します: Δw ij = e*(p ij - p'ij)

制限されたボルツマンの強みは、非線形変換を実行するため、展開が容易であり、機能の階層レイヤーを提供できることです。弱点は、整数ニューロンと実数値ニューロンの計算が複雑になることです。どの関数の勾配にも従わないため、コントラスティブ発散の最尤度への近似は即興で行われます。

フィッシャー、アーシャ;Igel, Christian (2012),  An Introduction to Restricted Boltzmann Machines, Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications, Lecture Notes in Computer Science, Berlin, Heidelberg: Springer Berlin Heidelberg, vol. 7441, pp. 14–36, doi:10.1007/978-3-642-33275-3_2, ISBN 978-3-642-33274-6, 2021-09-19閲覧

{第 1 章終了}

第2章