ステレオカメラは、自動運転やロボットの自律制御に必要な「リアルタイム三次元距離センサ」の一種です。人間の目と同じように、2つのカメラを用いて対象物までの距離を測定します。対象物までの距離は、「三角測量」の原理にもとづいて算出しています。

三次元距離センサの種類

三次元距離センサには、大きく「アクティブ方式」と「パッシブ方式」の2種類があります。ステレオカメラはパッシブ方式の一つで、アクティブ方式にはない利点があります。
アクティブ方式とは、電波やレーザー光を対象物に照射し、それが反射して戻ってくる際のズレや時間を計測して距離を算出する手法のことです。電波を使うものは「レーダー（RADER）」、レーザー光を使うものは「ライダー（LiDAR）」と呼ばれています。

パッシブ方式とは、電波やレーザー光を照射せず、カメラで得た画像から距離を算出する手法のことです。2つのカメラを使うステレオカメラのほか、1つのカメラで距離を算出する手法もあります。

ステレオカメラは、人間の目と同じように2つのカメラを用いて対象物までの距離を測定します。では、そもそも人間の目はどのようにして対象物までの距離を測っているのでしょうか。それを理解する上でのポイントとなるのが、視差です。
たとえば、目の前に人差し指を立てた状態で遠くを見ると、人差し指は2本に見えます。そのまま人差し指を目から遠ざけていくと、2本に見える指の間隔は狭くなっていき、反対に目に近づけると広がります。この時の指の間隔が視差であり、人間の目は視差をもとにして感覚的に距離を把握しています。さらに、人間の目は視野のあらゆる部分で視差から距離を把握しており、視野全体を立体的に見ることができます。
人間の目は感覚的に距離を把握していますが、ステレオカメラでは三角測量法によって距離を数値で算出しています。三角測量法は、「三角形の一辺とその両端角が分かれば三角形が成立する」という性質を使った測量方法です。ステレオカメラにおいては、三角形の一辺が2つのカメラ間の距離（基線長）に当たり、その両端角は視差から求められます。

1. 左右のカメラで撮影し、2枚の画像の画素のズレを算出。
2. 画素のズレをもとに、左右のカメラから対象物までの角度の差（視差）を算出。
3. 2つのカメラ間の距離（基線長）と視差をもとに、三角測量法で対象物までの距離を計算。それをもとに画面全体の奥行き情報を把握する。

ステレオカメラの性能は、視差をどれだけ正確かつ高速に得られるかによって大きく左右されます。ステレオカメラでは、さまざまな画像処理を行うことで高精度な距離測定を実現しています。ここでは、一般的なステレオカメラでの画像処理の流れをご紹介します。

①歪み補正

カメラで撮影した画像は、一般的にレンズ歪みによって画像の中心から放射状に歪んでいます。そこで、前処理として歪み補正を行い、画像の歪みを取り除く必要があります。

歪み補正前（左）と歪み補正後（右）のイメージ

②平行化

角度や距離の異なる2つのカメラで撮影した画像は、重ね合わせた際に若干のズレが発生します。そこで、各画像の対応する点が同じ行座標を持つように平行化を行います。あらかじめ平行化をしておくことで、後述するステレオマッチングでの負荷が軽減されます。

平行化のイメージ

③ステレオマッチング

2つのカメラで撮影した画像から、視差を算出することをステレオマッチングと呼びます。ステレオマッチングには、大きく「SAD方式」と「SGM方式」の2種類があります。
SAD（Sum of Absolute Difference）方式とは、視差の得られない部分や信頼性の低い視差はデータ無しで割り切り、信頼性の高い視差のみを使用するものです。視差マップの中で対象物の輪郭が明確に表現されます。注目する画素の周辺情報のみを使っているため、画像処理の負荷が小さいのが特徴です。
SGM（Semi Global Matching）方式とは、画像全体の視差を最適化した計算方法で算出するものです。画像全体で高精度な視差情報を得られるにもかかわらず、高い計算効率によって処理負荷を最低限に抑えています。ノイズに対して強く、輪郭のはっきりしない対象物であっても滑らかに距離を求められるのが特徴です。

SGM方式によるステレオマッチングの例

遠距離の測定が容易

アクティブ方式では、電波やレーザー光が届く範囲しか距離の測定ができません。ステレオカメラでは、画面に写っているものなら視差をもとに距離を測定することができます。

明るい環境での距離測定に適している

アクティブ方式では、周囲が明るいと反射を識別できないことがあります。ステレオカメラなら、画面に写っているものを識別可能です。自動運転はもちろん、屋外で稼働するロボットの自律制御などにも適しています。

道路上の黄線や白線の検出が容易

電波やレーザー光は反射により距離を測定するため、色の識別が苦手で黄線や白線の検出が困難です。しかし、カメラであればそれらを容易に検出できます。

対象物の反射率に依存しない

物体によっては、電波やレーザー光をあまり反射しないものがあります。たとえば、黒いものは反射しにくいので、黒い車や黒い服装の人は検出が困難です。しかし、カメラにはその心配がありません。

FPGA（Field Programmable Gate Array）を使った高速処理

FPGAとは、プログラム可能な集積回路のことです。ステレオカメラによる距離測定には高い計算コストがかかり、CPU（Central Processing Unit）では実現困難でした。ハイエンドなGPU（Graphical Processing Unit）での実装例はありますが、GPUは消費電力が高く、バッテリ駆動のハードには不向きでした。
FPGAは回路レベルでプログラムを実行するため、CPUやGPUと比べて動作が圧倒的に軽く、省電力性が高いのが特長です。GPUベースのステレオカメラと比べて小型化も可能です。また、FPGA単体で処理するためOSも不要です。

SGM（Semi-Global Matching/セミグローバルマッチング）方式の採用

SceneScan Proで実装しているステレオマッチング法はSGMをベースにしています。ステレオマッチングとは、左右のカメラで撮影した画像のズレから視差を推定する方法のことです。SGMは、高精度と高い計算効率を両立し、広く知られたマッチング手法です。

パッシブ方式

発光を必要としないため、明るい屋外での距離測定や、遠距離の測定、水中での距離測定にも適しています。また、他のセンサとの併用も可能です。

プロセッサー部（画像処理部）及びカメラ分離型

画像処理を行うプロセッサー部とカメラは分離されており、USB3.0ケーブルで接続します（詳細は「７．製品モデルとスペック」参照）。そのため、用途に適した、あるいは使い慣れたカメラを選択することができます。

ステレオカメラSceneScan Proは、自動運転のほか、ロボットやロジスティクスの自律制御、大きな物体の測定などに適しています。

ロボット

自動運転

ロジスティクス

大きな物体の測定

撮影例：視差マップ（デプスマップ）

左が通常画像、右が視差マップ（デプスマップ）の画像。視差マップは、手前のものが赤っぽく、奥のものが青っぽく見えます。

撮影例：3Dポイントクラウド

視差マップから得られたデータをもとに、物体を三次元の点の集合（ポイントクラウド）として表現します。

製品使用デモ動画

SceneScan Proの使用デモンストレーションの様子を動画にまとめました。

無人自動車レースにおける事例

学生フォーミュラ（ドイツ）　SceneScan Proを活用した自律走行レース

学生フォーミュラで、Nerian社のステレオビジョン技術を採用しているドイツの大学の事例を紹介します。

詳しくはこちら

概要

SceneScan Proは、カメラ部とプロセッサー部（画像処理部）に分かれて構成されています。カメラ部とプロセッサー部はUSB3.0ケーブルで接続します（下図参照）。 カメラ部には、nerian社製の「Karmin3」のほか、USB3.0対応の標準的な産業カメラを使うことができます。 プロセッサー部には、「SceneScan Pro」があります。FPGA（Field Programmable Gate Array）を搭載し、カメラから取り込んだ画像を、最先端のステレオマッチングアルゴリズムによってリアルタイムに視差マップ（デプスマップ）へと変換処理します。処理結果はコンピュータもしくは組み込みシステムに転送され、オープンソースとクロスプラットフォームのAPIを使用して、視差マップを3Dポイントクラウドに変換することができます。

機器構成イメージ図

製品の詳しい情報は、以下のカタログや論文もあわせてご覧ください。 論文は、「Forum Bildverarbeitung 2018」で発表されたものです。 デモ機の貸し出しも行っています。価格提示後、借用書にサインをいただければ、機器本体のほか、PC・ソフトも含めて1週間（5営業日）まで貸し出し可能です（返却の際の送料はご負担ください）。詳細はお問い合わせください。

SceneScan Pro（プロセッサー部）スペック

プロセッサー（画像処理部）は、「SceneScan Pro」です。

画素数と速度

Karmin3（カメラ部）スペック

Karmin3（カメラ部）のスペックは以下のとおりです。基線長（２つのレンズ間の距離）が10 cmのものと25 cmのものがあります。

距離と精度

基線長：10cm、解像度：800 × 592、焦点距離：8mmの場合

基線長10cm

基線長	10cm
焦点距離	8mm
最短検出距離	90.3 cm
視差範囲	256ピクセル

距離	デプスエラー
0.9 m	0.18 cm
1 m	0.22 cm
2 m	0.88 cm
5 m	5.51 cm
10 m	22.3 cm
20 m	91.2 cm
50 m	612 cm
100 m	2789 cm

基線長25cm

基線長	25cm
焦点距離	8mm
最短検出距離	225.7 cm
視差範囲	256ピクセル

距離	デプスエラー
2.26 m	0.45 cm
5 m	2.19 cm
10 m	8.80 cm
20 m	35.5 cm
50 m	228 cm
100 m	956 cm
200 m	4227 cm

焦点距離や基線長は、nerian社の以下のサイトにて計算できます。 https://nerian.com/support/resources/calculator/

ソフトウェアは以下付属です
1．GUI
2．C++ APIあり、これによりOpenCV、PCLが使用できます。
3．ROS：ROS moduleがあります。
4．GenTL producerがありますので、MIL、Matlabで使用できます。

ROSのDriver nodeは以下ご参照ください
ROS node for SceneScan Pro

• 最大でどのくらいの距離まで計測できますか?
  基線長を変えていただくことにより遠くを計測できます。
  基線長10cmで10メートルで誤差は、28.7cm、基線長25cmで20メートル45.7cm、50メートル296cmです（この際のレンズ焦点距離は8mm、画素数は800×592）。
  基線長は、カスタマイズにより最長100cmまで対応可能です。
• FPGAで処理しているが、GPUベースのステレオカメラとの優位性は何ですか?
  GPUベースのステレオカメラと比較した場合、サイズが小型かつ低電力であることです。アルゴリズムによるので単純な比較はできませんが、精度は同等でFPGAのほうが安定したタイミングでのステレオマッチングが可能です。
  またFPGA単体処理ですので、GPUと違いOSは必要ありません。
• なぜモノクロカメラを使用しているのでしょうか? カラーカメラは使えますか?
  ステレオカメラにおいてはモノクロカメラのほうが最適です。カラーカメラは、フィルターが入っているため低い感度になってしまい、画像がぼやける可能性があります。
• Karmin3以外のカメラも使用できますか?
  USB3.0のモノクロカメラであれば基本的に対応可能です。以下のようなプレートを使用します。
  SceneScan Proの設計として、標準的な産業用カメラをユーザーが接続できるようにしております。これによりカスタマイズ性があがり、お求めのシステム設計が可能となります。
  カメラの型番等は購入前にメーカーと確認する必要がございます。
  
• キャリブレーションはどのように行いますか？
  校正ボードが付属されます。ボードを使って、付属ソフトで校正します。
• デモ機のレンタルは可能ですか？
  価格提示後、借用書サインいただければ、1週間（5営業日）までの貸し出しは対応いたします。PC、ソフトも含めて貸し出します。（返却の際の送料はご負担ください）
• APIの情報はありますか？
  こちらのリンクご参照ください。
• IPコアのみの購入は可能ですか？
  可能です。こちらをご参照ください。

SceneScanのFPGAリアルタイムステレオビジョン