FPGA（Field Programmable Gate Array）を使った高速処理

FPGAとは、プログラム可能な集積回路のことです。ステレオカメラによる距離測定には高い計算コストがかかり、CPU（Central Processing Unit）では実現困難でした。ハイエンドなGPU（Graphical Processing Unit）での実装例はありますが、GPUは消費電力が高く、バッテリ駆動のハードには不向きでした。
FPGAは回路レベルでプログラムを実行するため、CPUやGPUと比べて動作が圧倒的に軽く、省電力性が高いのが特長です。GPUベースのステレオカメラと比べて小型化も可能です。また、FPGA単体で処理するためOSも不要です。

SGM（Semi-Global Matching/セミグローバルマッチング）方式の採用

SceneScan Proで実装しているステレオマッチング法はSGMをベースにしています。ステレオマッチングとは、左右のカメラで撮影した画像のズレから視差を推定する方法のことです。SGMは、高精度と高い計算効率を両立し、広く知られたマッチング手法です。

パッシブ方式

発光を必要としないため、明るい屋外での距離測定や、遠距離の測定、水中での距離測定にも適しています。また、他のセンサとの併用も可能です。

プロセッサー部（画像処理部）及びカメラ分離型

画像処理を行うプロセッサー部とカメラは分離されており、USB3.0ケーブルで接続します（詳細は「７．製品モデルとスペック」参照）。そのため、用途に適した、あるいは使い慣れたカメラを選択することができます。

ステレオカメラSceneScan Proは、自動運転のほか、ロボットやロジスティクスの自律制御、大きな物体の測定などに適しています。

ロボット

自動運転

ロジスティクス

大きな物体の測定

撮影例：視差マップ（デプスマップ）

左が通常画像、右が視差マップ（デプスマップ）の画像。視差マップは、手前のものが赤っぽく、奥のものが青っぽく見えます。

撮影例：3Dポイントクラウド

視差マップから得られたデータをもとに、物体を三次元の点の集合（ポイントクラウド）として表現します。

製品使用デモ動画

SceneScan Proの使用デモンストレーションの様子を動画にまとめました。

無人自動車レースにおける事例

学生フォーミュラ（ドイツ）　SceneScan Proを活用した自律走行レース

学生フォーミュラで、Nerian社のステレオビジョン技術を採用しているドイツの大学の事例を紹介します。

詳しくはこちら

概要

SceneScan Proは、カメラ部とプロセッサー部（画像処理部）に分かれて構成されています。カメラ部とプロセッサー部はUSB3.0ケーブルで接続します（下図参照）。 カメラ部には、nerian社製の「Karmin3」のほか、USB3.0対応の標準的な産業カメラを使うことができます。 プロセッサー部には、「SceneScan Pro」があります。FPGA（Field Programmable Gate Array）を搭載し、カメラから取り込んだ画像を、最先端のステレオマッチングアルゴリズムによってリアルタイムに視差マップ（デプスマップ）へと変換処理します。処理結果はコンピュータもしくは組み込みシステムに転送され、オープンソースとクロスプラットフォームのAPIを使用して、視差マップを3Dポイントクラウドに変換することができます。

機器構成イメージ図

製品の詳しい情報は、以下のカタログや論文もあわせてご覧ください。 論文は、「Forum Bildverarbeitung 2018」で発表されたものです。 デモ機の貸し出しも行っています。価格提示後、借用書にサインをいただければ、機器本体のほか、PC・ソフトも含めて1週間（5営業日）まで貸し出し可能です（返却の際の送料はご負担ください）。詳細はお問い合わせください。

SceneScan Pro（プロセッサー部）スペック

プロセッサー（画像処理部）は、「SceneScan Pro」です。

画素数と速度

Karmin3（カメラ部）スペック

Karmin3（カメラ部）のスペックは以下のとおりです。基線長（２つのレンズ間の距離）が10 cmのものと25 cmのものがあります。

距離と精度

基線長：10cm、解像度：800 × 592、焦点距離：8mmの場合

基線長10cm

基線長	10cm
焦点距離	8mm
最短検出距離	90.3 cm
視差範囲	256ピクセル

距離	デプスエラー
0.9 m	0.18 cm
1 m	0.22 cm
2 m	0.88 cm
5 m	5.51 cm
10 m	22.3 cm
20 m	91.2 cm
50 m	612 cm
100 m	2789 cm

基線長25cm

基線長	25cm
焦点距離	8mm
最短検出距離	225.7 cm
視差範囲	256ピクセル

距離	デプスエラー
2.26 m	0.45 cm
5 m	2.19 cm
10 m	8.80 cm
20 m	35.5 cm
50 m	228 cm
100 m	956 cm
200 m	4227 cm

焦点距離や基線長は、nerian社の以下のサイトにて計算できます。 https://nerian.com/support/resources/calculator/

ソフトウェアは以下付属です
1．GUI
2．C++ APIあり、これによりOpenCV、PCLが使用できます。
3．ROS：ROS moduleがあります。
4．GenTL producerがありますので、MIL、Matlabで使用できます。

ROSのDriver nodeは以下ご参照ください
ROS node for SceneScan Pro

• • 最大でどのくらいの距離まで計測できますか?
    基線長を変えていただくことにより遠くを計測できます。
    基線長10cmで10メートルで誤差は、28.7cm、基線長25cmで20メートル45.7cm、50メートル296cmです（この際のレンズ焦点距離は8mm、画素数は800×592）。
    基線長は、カスタマイズにより最長100cmまで対応可能です。

• • FPGAで処理しているが、GPUベースのステレオカメラとの優位性は何ですか?
    GPUベースのステレオカメラと比較した場合、サイズが小型かつ低電力であることです。アルゴリズムによるので単純な比較はできませんが、精度は同等でFPGAのほうが安定したタイミングでのステレオマッチングが可能です。
    またFPGA単体処理ですので、GPUと違いOSは必要ありません。

• • なぜモノクロカメラを使用しているのでしょうか? カラーカメラは使えますか?
    ステレオカメラにおいてはモノクロカメラのほうが最適です。カラーカメラは、フィルターが入っているため低い感度になってしまい、画像がぼやける可能性があります。

• • Karmin3以外のカメラも使用できますか?
    USB3.0のモノクロカメラであれば基本的に対応可能です。以下のようなプレートを使用します。
    SceneScan Proの設計として、標準的な産業用カメラをユーザーが接続できるようにしております。これによりカスタマイズ性があがり、お求めのシステム設計が可能となります。
    カメラの型番等は購入前にメーカーと確認する必要がございます。
    

• • キャリブレーションはどのように行いますか？
    校正ボードが付属されます。ボードを使って、付属ソフトで校正します。

• • デモ機のレンタルは可能ですか？
    価格提示後、借用書サインいただければ、1週間（5営業日）までの貸し出しは対応いたします。PC、ソフトも含めて貸し出します。（返却の際の送料はご負担ください）
  • APIの情報はありますか？
    こちらのリンクご参照ください。

• • IPコアのみの購入は可能ですか？
    可能です。こちらをご参照ください。

SceneScanのFPGAリアルタイムステレオビジョン