ダイナミックビジョンセンサーの事例動画 | ナノシード

ハイパフォーマンス

これらのビデオは、ダイナミックビジョンセンサーの性能を示しています

回転しているコイン

コインは約750 rpmで机上を回転します。ビデオは、リアルタイムより約100倍遅いjAERでの記録の再生を示しており、レンダリングされた各フレームは約300 μsで生成されたイベントを示しています。 Video credit: Sim Bamford.

牛乳の滴

牛乳の滴はDVS128（旧モデル）で記録されます。
スローモーションで高い時間精度を示しています。 Video credit: Tobi Delbruck

10 kHz点滅LED

DVS128の前でLEDが10 kHzで点滅します。時空間の視覚化（7〜12秒）は、小さなピクセルグループでキャプチャされたLEDの個々のオンおよびオフイベントを示します。 Video credit: Greg Burman.

ボールのキャッチ

DAVIS240Aは、キャッチされるボールをキャプチャします。緑と赤のONおよびOFFイベントは、グレースケールフレームにオーバーレイされます。 Video credit: Christian Braendli and Tobi Delbruck.

雨の中でボールを持つ人、ローリング時間＆空間モード

DAVIS240Cは、雨の中でボールを投げる人（スピードアップ）をキャプチャします。 2番目のプレイスルーは、jAERのローリングスペース－タイムモードで、イベントストリームにまばらなデータを表示します。 Video credit: Sim Bamford.

サングラスを通してのまばたき

DAVIS240Cは、APS + DVSモードで使用されています（静的画像フレームと動的イベント）。サングラスを通しての標準的な露出では目が見えにくいですが、動的なイベントストリームはこれらの6回のまばたきを明確に検出します。 Video credit: Sim Bamford.

DAVIS240Cを使用した高ダイナミックレンジのデモ

通常のビデオストリームではロゴの半分が隠れているボックス内を見て、デスクシーンが表示されます。デスク上の2回目のスイープでは、動的なイベントがオーバーレイされ、ロゴの不明瞭な半分がはっきりと見えます。また、デスク上のラットの巣も見えます。 Video credit: Sim Bamford.

日食

2015年3月に、DVSの高ダイナミックレンジでイベントカメラを確認する機会がありました。部分日食は背景にあり、手は前で手を振っています。レンズのフレアが見られますが、これは光学系のために予想されます。露出過剰のため、フレーム内の太陽の周りにも咲きますが、DVSは、指の輪郭を描きながら、月と空に対する太陽の実際のエッジを選択します。 Video credit: Marc Osswald, Tobi Delbruck and Sim Bamford.

ステディカム

オンボードIMUレートジャイロを使用した、DAVIS240Bニューロモーフィックイベントベースのカメラのダイナミックイベント出力の安定化。 Video credit: Tobi Delbruck.

技術デモ

ロボットのゴールキーパー

20秒以降は、jAERに実装されたリアルタイム追跡アルゴリズムとともに、DVSが見るものを見ることができます。 Ref: Tobi Delbruck and Manuel Lang. “Robotic goalie with 3 ms reaction time at 4% CPU load using event-based dynamic vision sensor.” Neuromorphic Engineering Systems and Applications (2015): 16. pdf
Video credit: Tobi Delbruck.

スロットカーレーサー

2014 Capo Caccia Neuromorphic Engineering Workshopでのスロットカーレーサープロジェクト。 DAVIS240を使用して、1ミリ秒未満の遅延と5％未満のラップトップCPU使用率で車を追跡できます。 2010年から以前の作業を拡張することで、コンピューターと人間のレースを可能にします。コンピューター制御の車は、コンピューター制御のトラック上のピクセルからではなく、すべてのDVSイベントをマスクすることによって追跡されます。Contributions from Alejandro Linares-Barranco, Elias Muggler, Marc Osswald and Tobi Delbruck. Video credit: Tobi Delbruck.

CNN( convolutional neural network)によるVisualize EUプロジェクト　捕食者-被食者ロボット

DAVIS240イベントとフレーム入力、左、捕食者ロボットの畳み込みニューラルネットワークアクティビティ、右入力は36×36 APSまたはDVSフレームであり、ネットワークには4つの出力ユニットの前に3つの畳み込み層と1つの40ニューロン完全接続層があります。 Ref: Moeys, Diederik Paul, et al. “Steering a Predator Robot using a Mixed Frame/Event-Driven Convolutional Neural Network.” pdf.
Video credit: Tobi Delbruck

組み込みペンシルバランサーロボット

Jorg Conradtの埋め込み型視覚誘導ペンシルバランサーロボット。 2つのDVSシリコン網膜と600mWのマイクロコントローラー計算を使用して、通常の鉛筆のバランスをとります。 Video credit: Tobi Delbruck.

ヒューマントラッキング-テニス

DVSは、身体の動きを追跡するための従来のビデオ技術よりも優れています。テニスプレーヤーがDAVIS240Bの前でショットを返します。最初のプレイスルーでは、フレームのみが表示されます。ボールは2つのフレームにのみ表示され、外側への経路はまったく見えません。 2番目のプレイスルーでは、動的イベントがオーバーレイされます。体の動きの細かい時間的詳細と、ボールの軌跡がはっきりと見えます。 Video credit: Tobi Delbruck.

アルゴリズムと方法

ダイナミックビジョンセンサーからの非同期イベントストリームを操作するために、さまざまなアルゴリズムと方法が開発されています。

パルスレーザーラインの3D再構成

DVSは、3D地形の再構築のためにパルスレーザーラインと共に使用されます。 This video is supplemental material for the paper C. Brandli, T. Mantel, M. Hutter, M. Hopflinger, R. Berner, R. Siegwart, and T. Delbruck, “Adaptive Pulsed Laser Line Extraction for Terrain Reconstruction using a Dynamic Vision Sensor,” Frontiers in Neuromorphic Engineering, accepted 2013. Pdf

モーションコントラスト3Dスキャン

モーションコントラスト3Dスキャン。ノースウェスタン大学の計算写真研究室でのネイサン・マツダとオリバー・コサートによるプロジェクト。パフォーマンスのトレードオフを回避するために、帯域幅と光源電力を最大化する新しい構造化ライト技術。提案されたアプローチにより、限られた電力と帯域幅を使用して高性能を必要とする、挑戦的でこれまでアクセスできなかった現実世界のシナリオで3Dビジョンシステムを展開できます。

オプティカルフローと強度の同時推定

純粋なイベントデータからのスムーズなピクセルごとの速度と強度の同時推定。この方法により、任意の時間レートでHDRビデオのような強度とオプティカルフローを再構築できます。 Ref: P. A. Bardow, A. J. Davison and S. Leutenegger. “Simultaneous Optical Flow and Intensity Estimation from an Event Camera.”

マニホールド正則化を使用したイベントカメラのリアルタイム強度画像再構成

イベントカメラの動作を正確にモデル化する変分モデル。リアルタイムで任意のフレームレートで強度画像を再構築できます。 Ref: Reinbacher C, Graber G, Pock T. “Real-Time Intensity-Image Reconstruction for Event Cameras Using Manifold Regularisation.” arXiv preprint arXiv:1607.06283 (2016).

究極のSLAM、HDRおよび高速シナリオでのビジュアルSLAMのイベント、画像、およびIMUの組み合わせ High speed SLAM using both frames and DVS events for difficult lighting conditions. Rosinol et al. 2018 pdf

ニューロモーフィックセンシングおよび処理

DVSは、多くの一般的なニューロモーフィックプロセッサとインターフェイスし、非常に低遅延で電力効率の高いシステムを実現します。

DVS + SpiNNaker：線追従ロボット

TechnischeUniversitätMünchenのロボットは、SpiNNakerシステム（マンチェスター大学）のニューラルネットワークによって制御されています。視覚入力は、システムのDVSを介してニューロンの網膜マップに供給されますが、運動制御はシミュレートされた運動ニューロンの発火率によって取得されます。 Video credit: Francesco Galuppi.

DVS + Brainchip：高速道路監視のための教師なし学習