エピポーラ幾何学: コンピュータービジョンにおける奥行き知覚のロックを解除する

By Fouad Sabry

エピポーラ幾何学とは

エピポーラ幾何学は立体視の幾何学です。 2 台のカメラが 2 つの異なる位置から 3 寸法 シーンを表示する場合、3 寸法 点と 2 寸法 画像へのその投影の間には、画像点間の制約につながる多くの幾何学的関係が存在します。 これらの関係は、カメラがピンホール カメラ モデルで近似できるという仮定に基づいて導出されます。

どのようなメリットがあるのか

(I) 以下のトピックに関する洞察と検証:

第 1 章: エピポーラ幾何学

第 2 章: 光学収差

第 3 章: 焦点距離

第 4 章: カメラレンズ

第 5 章: 3 寸法 プロジェクション

第 6 章: 消失点

第 7 章: ディストーション (光学)

第 8 章: 平行投影

第 9 章: 共線性

第 10 章: 基本マトリックス (コンピュータ ビジョン)

(II) エピポーラ幾何学に関する一般のよくある質問に答える。

(III) 多くの分野におけるエピポーラ幾何学の使用例の実例。

この本は誰に向けたものなのか

専門家、学部生、大学院生、愛好家、趣味人、そしてあらゆる種類のエピポーラ幾何学の基本的な知識や情報を超えて学びたい人。

• Language: 日本語
• Publisher: 10億人の知識があります [Japanese]
• Release date: May 14, 2024

Book preview

第1章:エピポーラ幾何学

エピポーラ幾何学は、3次元知覚の背後にある幾何学です。3D ポイントと 2D 画像への投影の間にはさまざまな幾何学的リンクがあり、2 台のカメラが 2 つの異なる場所から 3D シーンを観察する場合、画像ポイント間に制限が生じます。これらの接続は、カメラをピンホールカメラで表現できるという考えから形成されます。

下の図は、2 台のピンホール カメラで、どちらも点 X に焦点を合わせています。

実際のカメラを使用して、焦点面は画像面の後ろにあり、レンズの焦点に対して対称な画像を作成します。

ただし、ここでは、カメラの焦点の前に像面を想像することによって(つまり、

レンズの光学中心を使用して、鏡像によって歪まない画像を作成します。

OL と OR は、2 つのカメラ レンズの対称中心を表します。

両方のカメラの焦点は記号Xで示されます。

点 xL と xR は、点 X の像面への投影です。

3Dの世界は、各カメラによって2D画像としてキャプチャされます。ピンホール カメラ モデルは、この 3 次元から 2 次元への変換を完璧に記述しており、透視投影として知られています。この投影プロセスは、カメラを離れ、その中心に焦点を合わせる光線を使用して表現するのが一般的です。各光線で 1 つのイメージ ポイントが表されます。

カメラのレンズには異なる光学中心があるため、他のカメラの画像面には、各焦点が投影される単一の点があります。

eLとeRで表される画像のこれら2つの頂点は、エピポールであり、しばしばエピポーラ点として知られています。

それぞれの像面のエピポールeLとeR、および両方の光学中心OLとORは、1本の3D線上にあります。

OL−X線は、そのカメラのレンズの光学中心と直接一直線上にあるため、左のカメラでは点として認識されます。

ただし、この線は、正しいカメラの画像平面の線として認識されます。

右のカメラのその線(eR–xR)は、エピポーラ線と呼ばれます。

対称的に、線OR−Xは右のカメラでは点として見られ、左のカメラではエピポーラ線eL−xLとして見える。

3次元空間における点Xの位置によって、エピポーラ線が決まります。

Xがシフトすると、両方の写真に一連のエピポーラ線が描画されます。

3D線OL−XはレンズOLの光学中心を通るので、右像の対応するエピポーラ線は、エピポールeRを通らなければならない(そして、左の画像のエピポーラ線についても、それに対応して)。

エピポーラ点は、特定の画像内のすべてのエピポーラ線の原点です。

実際、エピポーラ点は空間のどこにでも配置できるため、それを通過する線はエピポーラ線と見なされます。

対照的な画像として、エピポーラ面と呼ばれる平面を形成する証拠X、OL &ORについて考えます。

エピポーラ線は、エピポーラ面が各カメラの画像面と交わる場所に形成される線です。

Xがどこにあっても、すべてのエピポーラ面とエピポーラ線はエピポールを通過しなければなりません。

2つのカメラの相対的な位置を知ることで、2つの重要な気づきが得られます。

投影点 xL が既知であり、エピポーラ線 eR–xR が既知であり、点 X が、この特定のエピポーラ線上にあるはずの点 xR 上に右の画像に投影されると仮定します。

このため、既知のエピポーラ線に沿って、一方の画像のすべての点について、対応する点を他方の画像に表示する必要があります。

これにより、エピポーラ制約が生じます:右カメラ平面xRへのXの投影は 、eR–xRエピポーラ線に含まれている必要があります。

たとえば、すべての X です。

OL-XL ラインの X1、X2、X3 は、その制約を検証します。

これにより、2つの点が同じ3D点であるかどうかを判断できます。

2つのカメラをつなぐ基本的または本質的なマトリックスも、エピポーラ制限を特徴付けることができます。

点 xL と xR が既知である場合、それらの投影光線もよく知られています。

2 つのピクチャ ポイントが同じ 3D ポイントを表す場合、投影線は X で交差する必要があります。

画像内のこれら 2 つのランドマークの位置がわかっているので、それらを使用して X、三角形の使用、または三角形分割を決定できます。

2 つのカメラの画像面が互いに平行である場合、エピポーラ ジオメトリは単純化されます。

ただし、ここでは、エピポーラ線も一致しています(eL–XL = eR–XR)。

さらに、エピポーラ線は、投影中心間の線OL−ORに平行であり、2つの画像の水平軸は、実際には位置合わせすることができる。

つまり、1つの画像内のすべてのドットについて、水平方向にスキャンするだけで、反対側の画像で対応するドットを見つけることができます。

カメラをこのように設定できない場合は、カメラの画像座標を変更して、すべて同じ平面を向いているように見えるようにすることができます。

画像補正とは、この手順を指します。

プッシュブルームカメラは、従来のフレームカメラの2次元CCDではなく、1次元CCDの集合体を使用して、連続したピクチャーストリップ、つまり「イメージカーペット」を作成します。このセンサーのエピポーラ形状は、従来のピンホールプロジェクターの形状とは大きく異なります。まず、プッシュブルームセンサーのエピポーラ線は、まっすぐではなく双曲線のように湾曲しています。第二に、一対のエピポーラ曲線というものはありません。

{チャプター1終了}

第2章 光学収差

収差は、レンズなどの光学系の特徴であり、光を一点に焦点を合わせるのではなく、空間の特定の領域に分散させることができます。この現象は光学の分野で知られています。

1:色収差のあるレンズで撮像。

また、色収差の少ないレンズ

収差のある結像光学系では、シャープでない画像が生成されます。光学機器メーカーは、収差を補正するために光学系を調整する必要があります。

幾何光学の手法は、収差の解析を行うために利用することができます。反射光線と屈折光線の一般的な特性のいくつかは、反射、屈折、およびコースティクスに関する記事で説明されています。

球面鏡からの反射。

焦点に向けられない反射光線(緑)は、ミラーの中心から離れる方向に向けられた入射光線(赤)によって生成されます。

F.

球面収差のため、これは事実です。

理想的なレンズは、物体上の任意の点からの光が物体を通過し、画面(またはより一般的には画像表面)の1点に収束することを可能にします。レンズが完璧であれば、これは事実です。一方、実際のレンズは、どんなに完璧に作られていても、一点に正確に光を集中させることはできません。レンズの収差は、レンズの理想的な性能からのこれらの偏差を説明するために使用される用語です。

収差の2つのカテゴリは、単色収差と色収差として知られています。光が反射または屈折すると、単色収差が発生することがあります。これらの収差は、レンズまたはミラーの形状によって作成され、これら 2 つのプロセスのいずれかで発生する可能性があります。名前の由来は、単色の光を使っても見えることに由来しています。

色収差は、波長に関係なく発生するレンズの屈折率の変化である分散によってもたらされます。分散により、異なる波長の光が特定の場所の異なる場所に焦点を合わせるようになります。単色光を使用すると、色収差が現れません。

単色収差に関しては、最も一般的な収差は次のとおりです。