サポートベクターマシン: 基礎と応用

By Fouad Sabry

サポート ベクター マシンとは

機械学習の分野では、サポート ベクター マシンは、分類と回帰分析のためにデータを検査する教師あり学習モデルです。 これらのモデルには、関連する学習アルゴリズムが付属しています。 AT&T Bell Laboratories の Vladimir Vapnik と彼の同僚がその作成を担当しました。 サポート ベクター マシン (SVM) は、Vapnik と Chervonenkis (1974 年) によって開発された統計学習フレームワークまたは VC 理論に基づいているため、最も正確な予測システムの 1 つです。 非確率的バイナリ線形分類器は、SVM トレーニング アルゴリズムに一連のトレーニング サンプルが与えられ、それぞれが 2 つのカテゴリのいずれかに属するものとしてマークされた場合に得られるものです。 次に、アルゴリズムは、後続の例を 2 つのカテゴリのいずれかに割り当てるか、どちらにも割り当てないモデルを開発します。 サポート ベクター マシン (SVM) は、2 つのカテゴリ間のサイズの差を最大化するような方法で、トレーニング サンプルを空間内の点に割り当てます。 その後、新しいサンプルが同じ空間にマッピングされ、ギャップのどちら側に該当するかに応じて、それらがどのカテゴリに属するかが予測されます。

どのようなメリットがあるか

(I) 次のトピックに関する洞察と検証:

第 1 章: サポート ベクター マシン

第 2 章: 線形分類器

第 3 章: パーセプトロン

第 4 章: 射影 (線形代数)

第 5 章: 線形分離性

第 6 章: カーネル法

第 7 章: 逐次最小最適化

第 8 章: 最小二乗サポート ベクター マシン

第 9 章: ヒンジ損失

第 10 章: 多項式 カーネル

(II) サポート ベクター マシンに関する一般のよくある質問に答える。

(III) 多くの分野でのサポート ベクター マシンの使用例の実例。

(IV) サポート ベクター マシンのテクノロジを 360 度完全に理解できるように、各業界の 266 の新興テクノロジを簡潔に説明する 17 の付録。

本書の対象者

専門家、学部生および大学院生、愛好家、愛好家、およびあらゆる種類のサポート ベクター マシンに関する基本的な知識や情報を超えたいと考えている人。

 

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: Jun 23, 2023

Book preview

第1章:サポートベクターマシン

サポートベクターネットワークと呼ばれるサポートベクターマシンは、機械学習アルゴリズムの一種です。SVMは、Vapnik(1982、1995)とChervonenkis (1977)によって導入された統計的学習フレームワークまたはVC理論に基づいているため、最も正確な予測アプローチの1つです。, 1997) (1974).非確率的バイナリ線形分類器は、サポートベクターマシン(SVM)トレーニングアルゴリズムに一連のトレーニング例が与えられ、それぞれが2つのカテゴリのいずれかに属するものとしてラベル付けされたときに生じるものです。SVM トレーニングアルゴリズムが作成するモデルは、2 つのカテゴリのいずれかに新しい例を割り当てます (ただし、確率的分類設定で SVM を使用するための Platt スケーリングなどのメソッドは存在します)。サポートベクターマシン(SVM)は、2つのカテゴリ間のサイズの差を最大化するような方法で、空間内のポイントにトレーニング例を割り当てます。その後、新しいインスタンスが同じスペースにマッピングされ、ギャップのどちら側にあるかに応じて、どのカテゴリに属するべきかが予測されます。

線形分類を行うことに加えて、サポートベクターマシン(SVM)は、入力を暗黙的に高次元特徴空間にマッピングするカーネルトリックと呼ばれる手法を使用して、効果的な方法で非線形分類を実行することもできます。

ラベルのないデータを分類するために、Hava SiegelmannとVladimir Vapnikは、サポートベクタークラスタリングとして知られるアルゴリズムを考案しました。この方法は、サポートベクターマシン技術で最初に確立されたサポートベクターの統計を利用します。これらのデータセットには教師なし学習アルゴリズムが必要であり、データの自然なグループ化をグループに検索し、これらのクラスターに従って新しいデータをマッピングします。これらのクラスターは、新しいデータのマッピングをガイドするために使用されます。

機械学習では、最も頻繁に使用されるタスクの 1 つがデータ分類です。

特定のデータポイントがあり、それぞれが2つのカテゴリのいずれかに属しているとします。 ここでの目的は、新しいデータ項目がどのカテゴリに分類されるかを決定することです。

サポートベクターマシンの使用に関しては、データポイントは-次元 p ベクトル(数値のリスト)と見なされ、そのようなポイントを p -次元超平面 (p-1) で分離できるかどうかを知りたいと考えています。

これを線形分類器と呼ぶことができます。

データの分類に使用される可能性のある超平面は多数あります。

使用すべき超平面の実現可能なオプションの1つは、2つの異なる種類の人々の間で最大の分離またはマージンを提供するオプションです。

したがって、超平面から両側に最も近いデータポイントまでの距離ができるだけ大きくなるように超平面を選択します。

そのような超平面が存在する場合、それが指定する超平面は最大マージン超平面と呼ばれ、それが生成する線形分類器は最大マージン分類器と呼ばれます。または同等に、理想的な安定性を最もよく表すパーセプトロン。

より技術的な意味では、サポートベクターマシンは、高次元または無限次元の空間に超平面または一連の超平面を構築します。これらの超平面は、分類、回帰、または外れ値の識別を含む他のタスクに使用できます。

最初の問題が限られた次元の空間で提示された可能性はありますが、 検討中の空間で集合が線形に分離できないと判別されることは非常に一般的です。

このため、 限られた次元を持っていた最初の空間は、はるかに大きな次元の空間に移されるべきであることが示唆されました、 これにより、その領域での分離がより簡単になる可能性があります。

管理可能なレベルの計算負荷を維持するために、SVM技術によって採用されているマッピングは、入力データベクトルのペアのドット積が、問題に合うように選択されたカーネル関数に関して定義することによって、元の空間に存在していた変数に関して単純に計算され得ることを保証することを意図している {\displaystyle k(x,y)} 。

より高い次元の空間の超平面は、ベクトルとの内積が一定である空間内の点の集合として定義され、そのようなベクトルの集合は直交し、したがって超平面を形成するベクトルの最小集合を構成する。

超平面を定義するベクトルは、データベース内で発生する \alpha _{i} 特徴ベクトルの画像の x_{i} パラメータとの線形結合として選択することができる。

ここで選択された x 超平面のために、超平面にマッピングされる特徴空間内の点は、 から

{\displaystyle \textstyle \sum _{i}\alpha _{i}k(x_{i},x)={\text{constant}}.}

離れ {\displaystyle k(x,y)} るほど小さくなる y 場合は x 、 の合計の各項は、対応するデータベース点に対するテスト点の近さの程度を測定する x x_{i} 。

この場合、カーネルの合計を使用して、各テストポイントが、互いに区別する必要がある2つのセットのいずれかで発生したデータポイントにどれだけ近いかを判断することができます。

結果として、任意の超平面にマッピングされた点の集合が非常に複雑になる可能性があり、初期空間内でまったく凸ではない集合間のはるかに微妙な区別を可能にする x ことに注意してください。

SVM は、現実の世界で発生するさまざまな問題に対処するための便利なツールです。

SVMは、従来の帰納的シナリオと変換的シナリオの両方でラベル付けされたトレーニングケースの要件を大幅に最小限に抑えることができるため、テキストとハイパーテキストの分類に効果的です。これは、SVM を使用する利点です。

サポートベクターマシン(SVM)を使用することは、画像分類の別のオプションです。多くの実験の結果によると、SVMは、関連するフィードバックのわずか3〜4ラウンドで、従来のクエリ絞り込みシステムよりもはるかに高い検索精度を達成できます。これは、Vapnikが提案しているように、特権メソッドを実装するSVMの修正バージョンを利用するものを含む、画像セグメンテーションシステムにも当てはまります。

教師あり支援ベクターマシンを使用して、SARデータなどの衛星データを分類します。

SVMを使用すると、手書きの文字を解読することができます。

SVM法は、さまざまな科学分野、特に生物学的分野で広く使用されています。それらはタンパク質の分類に使用されており、結果として分子の最大90%が正確に分類されています。SVMモデルを解釈するための潜在的な方法として、SVM基準に従って重み付けされた順列検定が提案されている。予測を生成するためにモデルが利用する特性を明らかにするためのサポートベクターマシンモデルの事後解釈は、比較的最近の研究トピックであり、その相対的な新規性のために生物科学において特に重要です。

ウラジミールN.ヴァプニクとアレクセイヤ。チェルボネンキスは、1964年にSVMアルゴリズムの最初の開発を行ったとされています。1992年、Bernhard Boser、Isabelle Guyon、Vladimir Vapnikは、カーネルトリックを最大マージン超平面に適用することによって非線形分類器を生成する方法を提案しました。これにより、線形ではない方法でデータを分類することができました。

次の形式のポイント n のトレーニングデータセットが与えられます

{\displaystyle (\mathbf {x} _{1},y_{1}),\ldots ,(\mathbf {x} _{n},y_{n}),}

ここで y_{i} 、 は 1 または −1 のいずれかで、それぞれがポイントが属するクラスを示します \mathbf {x} _{i} 。

それぞれ \mathbf {x} _{i} が p 次元実数ベクトルである。

超平面といずれかのグループから最も近い点との間の距離が最大になるように定義された、点の \mathbf {x} _{i} グループを点のグループから {\displaystyle y_{i}=1} 分割する「最大マージン超平面」を見つけたいと考えています {\displaystyle y_{i}=-1} \mathbf {x} _{i} 。

任意の超平面は、 を満たす点の集合として書くことができます \mathbf {x} 。

{\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} -b=0,}

ここで \mathbf {w} 、 は超平面に対する(必ずしも正規化されていない)法線ベクトルである。

これはヘッセの標準形と非常によく似ていますが、 \mathbf {w} 必ずしも単位ベクトルではありません。

パラメータは {\tfrac {b}{\|\mathbf {w} \|}} 、法線ベクトルに沿った原点からの超平面のオフセットを決定します \mathbf {w} 。

トレーニングデータを線形に分離できる2つのクラスに分割できる場合、2つのタイプのデータ間に可能な限り最大のギャップがあるように2つのタイプのデータを分割する2つの平行な超平面を選択できます。「マージン」という用語は、これら2つの超平面で区切られる領域を指し、それらのちょうど中間に位置する超平面は、最大マージン超平面と呼ばれます。これらの超平面は、正規化または標準化されたデータセットを操作するときに、方程式を使用して特徴付けることができます。

{\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} -b=1} (この境界上またはそれ以上のものはすべて、ラベル1とともに1つのクラスのものです)

そして

{\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} -b=-1} (この境界の上またはそれより下のものは、指定1の他のクラスのものです)。

幾何学的には、これら2つの超平面間の距離は {\tfrac {2}{\|\mathbf {w} \|}} なので、平面間の距離を最大化するには、最小化します \|\mathbf {w} \| 。

点から平面までの距離を求めるための方程式は、距離を決定するために使用されます。

さらに、データポイントがマージンに入るのを防ぐ責任があり、次の制約を追加します。 i

{\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b\geq 1\,,{\text{ if }}y_{i}=1,}

又は

{\displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} _{i}-b\leq -1\,,{\text{ if }}y_{i}=-1.}

これらの要件に従って、すべてのデータポイントはマージンの適切な側に配置する必要があります。

これを次のように言い換えることができます

このすべての情報をまとめると、最適化の問題が発生します。

{\displaystyle {\begin{aligned}&{\underset {\mathbf {w} ,\;b}{\operatorname {minimize} }}&&\|\mathbf {w} \|_{2}^{2}\\&{\text{subject to}}&&y_{i}(\mathbf {w} ^{\top }\mathbf {x} _{i}-b)\geq 1\quad \forall i\in \{1,\dots ,n\}\end{aligned}}}

この問題を解決するのは \mathbf {w}