ステレオカメラは、自動運転やロボットの自律制御に必要な「リアルタイム三次元距離センサ」の一種です。人間の目と同じように、2つのカメラを用いて対象物までの距離を測定します。対象物までの距離は、「三角測量」の原理にもとづいて算出しています。

三次元距離センサの種類

三次元距離センサには、大きく「アクティブ方式」と「パッシブ方式」の2種類があります。ステレオカメラはパッシブ方式の一つで、アクティブ方式にはない利点があります。
アクティブ方式とは、電波やレーザー光を対象物に照射し、それが反射して戻ってくる際のズレや時間を計測して距離を算出する手法のことです。電波を使うものは「レーダー（RADER）」、レーザー光を使うものは「ライダー（LiDAR）」と呼ばれています。

パッシブ方式とは、電波やレーザー光を照射せず、カメラで得た画像から距離を算出する手法のことです。2つのカメラを使うステレオカメラのほか、1つのカメラで距離を算出する手法もあります。

ステレオカメラは、人間の目と同じように2つのカメラを用いて対象物までの距離を測定します。では、そもそも人間の目はどのようにして対象物までの距離を測っているのでしょうか。それを理解する上でのポイントとなるのが、視差です。
たとえば、目の前に人差し指を立てた状態で遠くを見ると、人差し指は2本に見えます。そのまま人差し指を目から遠ざけていくと、2本に見える指の間隔は狭くなっていき、反対に目に近づけると広がります。この時の指の間隔が視差であり、人間の目は視差をもとにして感覚的に距離を把握しています。さらに、人間の目は視野のあらゆる部分で視差から距離を把握しており、視野全体を立体的に見ることができます。
人間の目は感覚的に距離を把握していますが、ステレオカメラでは三角測量法によって距離を数値で算出しています。三角測量法は、「三角形の一辺とその両端角が分かれば三角形が成立する」という性質を使った測量方法です。ステレオカメラにおいては、三角形の一辺が2つのカメラ間の距離（基線長）に当たり、その両端角は視差から求められます。

1. 左右のカメラで撮影し、2枚の画像の画素のズレを算出。
2. 画素のズレをもとに、左右のカメラから対象物までの角度の差（視差）を算出。
3. 2つのカメラ間の距離（基線長）と視差をもとに、三角測量法で対象物までの距離を計算。それをもとに画面全体の奥行き情報を把握する。

ステレオカメラの性能は、視差をどれだけ正確かつ高速に得られるかによって大きく左右されます。ステレオカメラでは、さまざまな画像処理を行うことで高精度な距離測定を実現しています。ここでは、一般的なステレオカメラでの画像処理の流れをご紹介します。

①歪み補正

カメラで撮影した画像は、一般的にレンズ歪みによって画像の中心から放射状に歪んでいます。そこで、前処理として歪み補正を行い、画像の歪みを取り除く必要があります。

歪み補正前（左）と歪み補正後（右）のイメージ

②平行化

角度や距離の異なる2つのカメラで撮影した画像は、重ね合わせた際に若干のズレが発生します。そこで、各画像の対応する点が同じ行座標を持つように平行化を行います。あらかじめ平行化をしておくことで、後述するステレオマッチングでの負荷が軽減されます。

平行化のイメージ

③ステレオマッチング

2つのカメラで撮影した画像から、視差を算出することをステレオマッチングと呼びます。ステレオマッチングには、大きく「SAD方式」と「SGM方式」の2種類があります。
SAD（Sum of Absolute
Difference）方式とは、視差の得られない部分や信頼性の低い視差はデータ無しで割り切り、信頼性の高い視差のみを使用するものです。視差マップの中で対象物の輪郭が明確に表現されます。注目する画素の周辺情報のみを使っているため、画像処理の負荷が小さいのが特徴です。
SGM（Semi Global
Matching）方式とは、画像全体の視差を最適化した計算方法で算出するものです。画像全体で高精度な視差情報を得られるにもかかわらず、高い計算効率によって処理負荷を最低限に抑えています。ノイズに対して強く、輪郭のはっきりしない対象物であっても滑らかに距離を求められるのが特徴です。

SGM方式によるステレオマッチングの例

遠距離の測定が容易

アクティブ方式では、電波やレーザー光が届く範囲しか距離の測定ができません。ステレオカメラでは、画面に写っているものなら視差をもとに距離を測定することができます。

明るい環境での距離測定に適している

アクティブ方式では、周囲が明るいと反射を識別できないことがあります。ステレオカメラなら、画面に写っているものを識別可能です。自動運転はもちろん、屋外で稼働するロボットの自律制御などにも適しています。

道路上の黄線や白線の検出が容易

電波やレーザー光は反射により距離を測定するため、色の識別が苦手で黄線や白線の検出が困難です。しかし、カメラであればそれらを容易に検出できます。

対象物の反射率に依存しない

物体によっては、電波やレーザー光をあまり反射しないものがあります。たとえば、黒いものは反射しにくいので、黒い車や黒い服装の人は検出が困難です。しかし、カメラにはその心配がありません。