人間科学において、ステレオビジョン（またはステレオスコピックビジョン）は、画像を比較して両目で空間的な視覚的印象を得る能力のことを意味します。 オブジェクトを見るとき、左右の目は異なる角度から見上げています。 それぞれの目が情報をフィルタリングして脳に送信し、脳で両目の視覚的印象が組み合わされた画像に処理されるのです。 こうして、3次元の奥行き知覚が生み出されています。

コンピュータステレオビジョンとは、人間の奥行き知覚を模倣するものです。 ステレオカメラでは、2つの画像を同期して記録し、比較します。 従来のカメラで画像を撮影すると、カメラと観測対象との間の距離情報は失われてしまいますが、既知の異なるカメラ方向から撮影したいくつかの画像を比較することによって、深度情報を復元することができます。

ステレオマッチングは、ステレオビジョンを比較するためにコンピュータービジョンに適用されるプロセスのことです。 この操作は、撮影されたシーンにおいて同一の3Dポイントに対応するステレオイメージに対して、ピクセルの全てを見つけることを基本としています。

3次元のポイントを取得するには、すべての対応関係を見つけた上で、カメラの固有および外部のジオメトリとそれらのキャリブレーションを考慮して三角測量を計算する必要があります。

SceneScanProを使用すると、このプロセスはFPGAによって実行され、計算プロセスが大幅に高速化され、リアルタイムで3D測定が可能になります。

視差とは、オブジェクトが2つの異なる画像平面上で占める位置のオフセットのことです。

人間の視覚を特に例に挙げるならば、私たちの目は異なる側方位置にあり、2つのわずかに異なるイメージの認識を引き起こします。 したがって、左目ではオブジェクトの左側が多く見え、右目では右側が多く見えます。 この位置の違いは、視差と呼ばれます。 たとえば、片目を閉じてオブジェクトを見た後に、開ける目と閉じる目を反対にして見てみると、オブジェクトがわずかに異なる位置で検出されていることが確認できるでしょう。オブジェクトからの距離が近ければ近いほど、差異は大きくなります。

マシンビジョンの視差を決定するために、ステレオマッチングでは、一致するすべてのピクセル列を比較します。

ステレオビジョンの視差範囲は、ピクセルの対応を検索する重複画像領域を指定します。 選択する視差範囲が大きいほど、測定結果が正確になります。 ただし、視差範囲が大きいと、計算負荷が高くなり、達成可能なフレームレートが低下します。

小さい視差範囲は高速測定アプリケーションに適しており、大きな視差範囲は、より狭い範囲の測定やより高い精度が必要な場合に適しています。ただし、視差範囲を大きくすると、カメラ画像を比較することができない無効な視差境界を増加させます。 SceneScan Proでは、32ピクセルから256ピクセルまで設定可能な視差範囲を提供しています。解像度、視差範囲、フレームレートの組み合わせは以下の組み合わせを推奨します。

モデル	視差	画像解像度
	範囲	640 × 480	800 × 592	1280 × 960	1600 × 1200
SceneScan Proモノクロ	128 pixels	100 fps	65 fps	24 fps	15 fps
	256 pixels	70 fps	45 fps	15 fps	10 fps
SceneScan Proカラー	256 pixels	45 fps	27 fps	9 fps	6 fps

視差は、ステレオイメージペアのピクセルの見かけの変位です（ステレオビジョンとは何ですか？を参照にしてください）。視差マップはこの画像ペアから計算され、記録された各ピクセルの深度情報を含んでいます。 構造的には2D画像なので、多くの2D画像処理アルゴリズムを適用できます。

対照的に、点群は各ピクセルに3D座標を提供し、実際の3D測定を可能にします。 それにもかかわらず、3D出力には、視差マップよりも複雑なアルゴリズムとより多くのデータが必要であるため、画像処理が遅くなります。

より高速な結果を得るには、点群（ポイントクラウド）よりも視差画像を使用することをお勧めします。

SceneScan Proは、リアルタイムステレオマッチング用の組み込み画像処理システムです。専用のステレオカメラまたは異なる位置に取り付けた2つの産業用USBカメラに SceneScanProを接続します。

SceneScan Proはトリガー信号を送信して、接続されたカメラから立体画像ペアを同時にキャプチャします。 統合されたFPGA上で両方のカメラからの画像データを相関させることにより、SceneScan Proは観測されたシーンの深度を推測できます。 計算された深度マップは、ギガビットイーサネットを介して、接続されているコンピューターまたは別の組み込みシステムに送信されます。

従来の3Dセンシングソリューションとは対照的に、SceneScan Proはパッシブに機能します。 これは、測定実施の際に光を放射する必要がないことを意味します。 これにより、SceneScan Proは照明条件に対して特に堅牢であり、長距離測定、重複する視野を持つ複数のセンサーの使用、およびさまざまな測定範囲に対するシステムに対して柔軟に設定し直すことを容易にできるのです。

さらに、FPGAの高度な計算機能を利用して高品質のイメージセンサーを使用できるため、より高速、高解像度、高品質の深度マップを提供します。 すべての画像処理はSceneScanProで行われるため、ホストPCの計算負荷もありません。

LiDARsと比較した大きな利点は、垂直解像度がはるかに高いということです（通常のLiDARsは最大64行までしか測定できません）。一部のアプリケーションでは、これにより高さが低いオブジェクトが検出されなくなる可能性があります。

GPUベースの画像処理と比較して、FPGAベースの画像処理の利点はなんですか？

• 低消費電力
• 小さいサイズ
• 他のオペレーティングシステムまたはソフトウェアがリソースを競合しないため、より高速な結果とより信頼できるタイミング

SceneScanProは、左カメラの視点からのステレオマッチング結果を視差マップの形式で提供します。 視差マップは、左カメラ画像の各ピクセルを右カメラ画像の対応するピクセルに関連付けます。 両方の画像は理想的なステレオカメラジオメトリに一致するように既に修正されているため、対応するピクセルの水平座標のみが異なるはずです。 したがって、視差マップは、水平座標の違いのみをエンコードします。 さらに、左のカメラ画像も出力されます。

はい、当社のステレオスコピックカメラをお持ちでないお客様にも、SceneScan Proを購入いただけます。ただし、利用にはステレオカメラの設定が必要です。つまり、サードパーティのカメラをご用意いただく必要があります。 カメラに関する推奨事項については、「サードパーティのカメラを使用できますか？」を参照してください。

実現可能な最大フレームレートは、画像サイズと構成された視差範囲によって異なります。 次の表に、推奨設定一覧を示します。 これは、あくまで使用可能な設定スペースのサブセットです。 特定のアプリケーション要件を満たすために、異なる画像解像度と視差範囲を使用できます。

モデル	視差	画像解像度
	範囲	640 × 480	800 × 592	1280 × 960	1600 × 1200
SceneScan Proモノクロ	128 pixels	100 fps	65 fps	24 fps	15 fps
	256 pixels	70 fps	45 fps	15 fps	10 fps
SceneScan Proカラー	256 pixels	45 fps	27 fps	9 fps	6 fps

SceneScan ProはWebインターフェースを介して設定します。SceneScan ProのIPアドレスをブラウザーに入力することでアクセスできます。 SceneScan Proを接続後、Webインターフェイスにアクセスできるようになるまで数秒かかります。 Webインターフェースを使用するには、HTML 5をサポートするブラウザーが必要です。Chrome、Firefox、Safari、Edgeなどの主要なブラウザーの最新バージョンを使用してください。

別の方法として、提供されたAPIを使用して、多くのパラメーターをソフトウェアで調整できます。 APIドキュメントとそこで提示されている例を参照してください。

SceneScanProの場合、深度マップの出力は左カメラのビューから行われます。 したがって、奥行きマップ上の灰色の領域、または無効となっている左側の境界は、ステレオマッチングに使用できる右カメラからの画像の詳細がない部分です。 ストライプは、視差範囲が大きくなると増加します。

プレビュー領域下にあるドロップダウンリストから、さまざまな色分けテーマを選択できます。 右側にカラースケールが表示され、色と視差値の間のマッピングに関する情報が提供されます。 可能な配色は次のとおりです。

• 赤／青：赤から青へのグラデーション。赤の色相は高視差に対応し、青の色相は低視差に対応します。 無効な視差は黒で表示されます。
• 虹色：高い視差に対応する低い波長と低い視差に対応する高い波長を持つ虹の配色。 無効な視差は灰色で表示されます。
• 生データ：色分けされていない生の視差データ。 ピクセル強度は、測定された視差の整数成分と一致します。 無効な視差は白で表示されます。

理論的には、ステレオビジョンと深度測定の範囲の上限はありません。 ただし、測定精度は測定距離とともにほぼ二次関数的に低下します。 この精度低下の速度は、ベースラインの距離と使用するレンズによって異なります。 したがって、最適な測定パフォーマンスのためには、個々のアプリケーションに応じた適切なカメラのセットアップが最も重要な問題です。

SceneScan Proは、グレースケールおよびカラーUSB3 Visionカメラをサポートしています。Karmin3カメラ、あるいはThe Imaging Source、FLIR、Baslerなどの現時点で検証済みメーカーのものを使用することをお勧めします。

カメラを選ぶ際のその他の推奨事項は以下のとおりです

• Sony Pregiusセンサー推奨
• グローバルシャッター
• モノクローム

また、個々の用途に合わせてカスタマイズされたシステムも提供していますので、こちらまでお問い合わせください。

3D深度センサーは、一度に1つのKarminカメラにのみ接続できます。 2つのステレオカメラで測定するには、それぞれにSceneScanProデバイスが必要です。さらに、ネットワークスループットの問題を回避するために、各システムを独自のイーサネットインターフェイスに接続する必要があります。

現在、ブロードキャストで複数のPCにデータを送信できます。ただし、現時点ではコンピューターがLinuxを実行している場合にのみ機能します。1台のコンピューターに複数のSceneScanProを接続する場合、それぞれに一つの個別のネットワークインターフェースを使用することをお勧めします。

ネットワーク帯域幅が制限要因となるため、カラーカメラのフレームレートは低くなります。

はい！オープンソースのC ++ APIは、ビジョンソフトウェアリリースWebサイトからダウンロードできます。 APIはOpenCVおよびPCL（点群ライブラリ）と相互運用できますが、単独で使用することもできます。APIとドキュメントは、当社のWebサイトから無料でダウンロードできます。また、ROSもサポートしています （http://wiki.ros.org/nerian_stereo）。

OpenCV、ROS、PCL、Matrox MIL、Halconなどをサポートしています。

Windows、Linux x86、およびARMがサポートされています。

MatlabのImage Acquisition Toolboxで使用できるGenTLモジュールを提供しています。Matlabの短いサンプルがソフトウェアダウンロードに含まれています。

製品に実装されているFPGAプロセッサを変更することはできませんが、サードパーティへのIPコアのライセンスは許可されます。 これにより、互換性のある任意のFPGAハードウェアを選択できます。 ただし、IPコアを完全なシステムに統合するには、FPGA開発のノウハウが必要です。

これは速度ではなく、システムの取り付け安定性に依存します。 良好な結果を得るには、カメラでキャプチャされた画像データにモーションブラーが極力含まれていない必要があります。 カメラの露出時間を減らすことで、モーションブラーを減らすことができます。 カメラの設定により、露光時間を完全に制御できます。 明るい環境では、画質を落とすことなく、非常に短い露出時間を設定できます。

Karmin3自体は防水ではありませんが、SceneScan Pro画像処理システムと一緒に2台のサードパーティ製カメラを備えたサードパーティ製カメラエンクロージャを使用しています。 こうすることで、IP66またはIP67定格のシステムを提供できます。

当社のシステムを水中で使用いただいたお客様の事例はございます。これらの事例では、エンクロージャーはお客様ご自身で作成したものです。 例として、この写真はミシガン工科大学研究所によって建設された自律型水中ロボットの写真です。

https://twitter.com/nerian_vision/status/1031496344005947393

夜間に使用することも可能ですが、光源が必要になります。可視光が選択できない場合は、赤外光でも可能です。

3D点群は、MeshLabまたはCloudCompareなどで開ける、PLYファイルとして保存できます。NVComアプリケーションで 「3D」アイコンをチェックすると、3D点群の保存を行うことができます。 また、APIを使用してPLYファイルを書き込むこともできます。Reconstruct3D::writePlyFile()と記述してください。

ホワイトバランスについては、さまざまなプリセットまたは自動モードを選択できます。フォーカスを変更すると、すべてのレンズで焦点距離がわずかに変わるため、固定焦点レンズを使用する必要があります。 カメラは正確に較正されているため、焦点距離を後で変更することはできません。

反応時間は、選択した設定によって異なります。

通常：処理されたフレームがホストコンピュータによって完全に受信されるまで2つのフレーム間の時間+約 9ミリ秒です。

SceneScan Proによって送信される、修正された左カメラ画像と視差マップの各ペアには、タイムスタンプとシーケンス番号が含まれています。 タイムスタンプはマイクロ秒の精度で測定され、カメラトリガー信号が生成された時刻か、カメラからフレームが受信された時刻に設定されます。 さらに、クロック同期のためのさまざまなオプションを提供しています。 推奨オプションはPTP（=高精度時間プロトコル）です。

解像度を下げると、フレームレートを上げることができます。 これは、任意のアスペクト比で画像をトリミングすることで実行できます。 その際は、フレームレートと解像度に関する次の推奨事項を常に留意してください。

モデル	視差	画像解像度
	範囲	640 × 480	800 × 592	1280 × 960	1600 × 1200
SceneScan Proモノクロ	128 pixels	100 fps	65 fps	24 fps	15 fps
	256 pixels	70 fps	45 fps	15 fps	10 fps
SceneScan Proカラー	256 pixels	45 fps	27 fps	9 fps	6 fps

フレームレートと最大測定範囲の間のトレードオフはありません。 実際のトレードオフは、画像の解像度とフレームレートの間にあります。 画像の解像度は、深度の解像度には影響しません（視差範囲が同じに保たれている場合）

ステレオビジョンにおいて、カメラが正確にキャリブレーションされ、キャリブレーションの実行後に機械的な動きがないことは非常に重要です。少しでも動いてしまうとキャリブレーションに深刻な影響を与え、画像処理結果を妨害する可能性があります。

これが、自動再キャリブレーション機能を実装した理由です。 これにより、実行時にカメラのキャリブレーションが追跡され、継続的に更新されます。 この機能を果たすため、ソフトウェアはカメラが識別する自然のランドマーク機能を監視します。本技術を紹介する過去のビデオ（旧機種SP1）が以下にあります。

https://www.youtube.com/watch?v=2QGnOwfQKYo

自動再キャリブレーションは、最も重要な校正パラメータのみを調整します。 したがって、最終的には手動キャリブレーションを実行する必要があります。 SceneScan Proのデフォルト設定では、自動再キャリブレーションはキャリブレーションパラメータを約2分ごとにしていますが、もっと細かい設定もできます。

IPコアを使用する場合、自動キャリブレーションはFPGAに実装されていません。 この手順は、ARM CPU（使用するZynq SoCの一部ですが、別のCPUを使用することもできます）のソフトウェアで実行しています。 自動キャリブレーションのソースコードは、IPコアライセンスで提供されています。

当社のシステムでは、フレームレートを送電網周波数（たとえば50Hz）の倍数に設定することで、ちらつきの影響を減らすことができます。したがって、50または25 fpsはちらつきなく動作するはずです。 LEDでは、ちらつきがあるライトとそうでないライトがあることが明らかになっています。

自動露出アルゴリズムを実装しているため、様々な照明条件の設定を取得し露出を素早く調整します。したがって、問題ありません。

当社のKarmin 3Dカメラは、人間の奥行き知覚を模倣しています（ステレオビジョンを参照）。 2つの個別のカメラセンサーは、SceneScan Proが発するトリガー信号に従って2つの部分画像を同期して記録します。 信頼性の高い結果を得るには、カメラが常に適切に調整されていることが重要です。

Karminカメラはこのシステムのセンサー要件専用に開発されました。 SceneScan ProなしでKarminステレオカメラを個別に使用することはできません。
ステレオカメラは製品の付属品として意図されたものであり、個別に販売することはできません。

基線は、ステレオカメラで観察できる深度範囲と深度解像度にも影響します。 使用するレンズの焦点距離も同様です。

一定のサイズで視差範囲を処理すると仮定した場合、次の規則が適用されます。

• 基線を伸ばすと深度解像度が上がりますが、カメラまでの最小距離も増えます。
• 焦点距離を長くすると、深度解像度とカメラまでの最小距離も長くなりますが、視野も狭くなります。

この関係についてはオンラインカメラコンフィギュレーターで学ぶことができます。

基線幅1mのカメラも利用いただけます。同様の基準距離を使用しているお客様もいらっしゃいます。このような条件で利用するには、2つの個別のカメラを使用して、それらをアルミニウムプロファイルにマウントします。 2台のシングルカメラであれば、IP67保護クラスでも問題ありません。カメラ保護ハウジングはこのうような目的にも使用できます。このようなシステムの完成例を次に示します：https://twitter.com/nerian_vision/status/798097909208190976/photo/1

カラー情報が絶対に必要でない限り、モノクロカメラの使用をお勧めします。その理由は、カラーカメラを使用すると処理パフォーマンスが低下するためです（通常、フレームレートの半分未満）。さらに、モノクロカメラを使用すると画質が向上し、ステレオ結果が向上します。

カラーカメラの場合、Bayerパターンのアーティファクトを回避するため、推奨解像度はセンサーの解像度の半分となります。つまり、2048 x 1536のネイティブ解像度のセンサーの場合、SceneScan Proで使用するには1024 x 768の解像度をお勧めします。

ソフトウェアインターフェースで設定を変更できます。ただし、カラー出力をモノクロに変更すると、画質が低下します。したがって、モノクロ写真が必要な場合は、最初からモノクロカメラを使用することをお勧めします。

当社が提供できる最も広い視野は対角90°です。それを超える場合、残念ながら低歪みレンズを見つけることは不可能です。レンズをお選びの際は、放射状歪みの少ないレンズをお選びください。 2 MP解像度の場合は2.5％、0.5 MP解像度の場合は5％のTV歪曲度が限度です）。

当社の製品には2年間の保証が付いています。

在庫と状況にもよりますが、納品までには最大4～8週間かかります。