普通のAIは、イベントを苦手にしている

画像認識でよく使われるCNN(Convolutional Neural Network、畳み込みニューラルネットワーク)は、RGB画像のように「全画素が値で埋まった1枚のフレーム」をまとめて計算するネットワークです。
しかしイベントカメラの出力は、変化があった場所だけがポツポツと点在する疎(スパース)なデータです。これをCNNで扱うには、イベントを一定時間溜めて1枚のフレームに変換し、ほぼ何も写っていない画像に対して全画素分の計算を回すことになります。

スパイクが来たときだけ計算する

そこで登場するのが、スパイキングCNN(SNN)です。
「スパイキングCNNは、脳のニューロンと同じ動き方をします。イベント(スパイク)が1つ届くと、影響する範囲のニューロンだけが内部の膜電位を更新し、しきい値を超えたニューロンだけが次の層へスパイクを送ります。イベントが来なければ、計算は起こりません。
さらに、ニューロンが膜電位を保持し続けるため、直前までの入力の履歴が自然に状態として蓄積され、時間的な変化を扱うことができます。これによってジェスチャーのような「時間方向に意味がある入力」を理解することができます。

「SynSense社のSpeckは、ここまで説明してきた「網膜を模したイベントカメラ(DVS)」と「脳を模したスパイキングCNNプロセッサ(DYNAP-CNN)」を1つのチップに統合した、センサ・演算統合型のニューロモーフィック・ビジョンSoCです。

主な仕様は以下の通りです。

• DVS(イベントカメラ)部 — 128×128画素、ダイナミックレンジ80dB以上（20〜200,000ルクス）
• イベント前処理層 — ノイズ除去、極性の調整、ROI(注目領域)の切り出し、反転・回転をチップ内で実行
• DYNAP-CNN演算層 — 最大9層、最大32万個のスパイキングニューロン(重み8bit、ニューロン状態16bit)
• 読み出し層 — 15クラス＋アイドルクラスの認識結果を出力。読み出しピン4本と割り込みピン1本から電気信号として直接取れるため、ホストPCなしでマイコンに直結できます

SpeckのSoC基盤自体に認識結果用の出力ピンがあるため、直接画像を取得することなく、認識結果を得ることができます。これはプライバシーや消費電力を気にするような環境での活用に適しています。

それでは、実際にSpeck Dev Kitを動かしてみます。
キットにはカメラ＋SoC本体、通常レンズ、魚眼レンズ、PC接続用のケーブルが含まれています。SoC本体にレンズを取り付け、ケーブルでPCとつなぐだけで準備は完了です(本記事ではUbuntu 24.04を使用しています)。

Speckを動かすためのソフトは以下のものを使用します。
https://github.com/nanoxeed/speck-quickstart
デバイス設定やパッケージインストールなど細かいセットアップ手順は、リポジトリのREADMEおよびクイックガイドをご確認ください。
まずは、SpeckのDVSが捉えた映像をそのまま表示してみます。ターミナル上で以下を実行します。

この状態で、カメラの前で手を振ったり、止めたりしてみてください。手を動かしたときだけ赤と緑の点が現れ、止めると消えることが確認できます。赤と緑はイベントの極性、つまり「明るくなった」「暗くなった」の違いを表しています。

次に学習済みのAIを用いたジェスチャー認識を行なってみます。既に用意されているジェスチャー認識モデルをSpeckに書き込んで、リアルタイムに認識します。

上記コマンドを実行すると、読み込みなどで少し時間が経った後に、ビューアが立ち上がり以下のような画面が表示されます。

画面の見方は次の通りです

• 上段左 — イベントカメラの生の映像
• 上段中央 — 各ジェスチャーのカテゴリに対して、どれくらいそのカテゴリらしいと認識されているかの時系列
• 上段右 — 最終的に認識されたジェスチャー
• 下段（power measurement） — 消費電力の実測値。ioがIOインターフェース、ramがRAMの読み書き、logicが論理演算にかかる消費電力を表しています

カメラの前で手を振ってみると、右側の表示が「right hand wave」のように切り替わります。ここで使用しているモデルは、IBMのDVS Gestureデータセット(腕回し、拍手、左右の手振り、時計回り／反時計回りの回転、エアドラム、エアギターなど11クラス)で学習されたものです。(レンズの調整や立ち位置によっては認識されにくいことがあるので、その場合はピントと距離を調整してみてください)
そしてこの認識が、ホストPCのGPUではなくSpeckのチップ内部で実行されているという点に注目してください。PC側では、モデルを書き込むことと、出てきた結果を受け取って表示することのみ行なっています。
さらに、下段の消費電力グラフを見ながら手を動かしたり止めたりしてみてください。動きがない間と動かしたときとで、消費電力の出方が変わる様子が観察できます。2章で説明した「スパイクが来たときだけ計算する」というスパイキングCNNの性質が、消費電力という形で目に見えるかたちで現れます。

本記事では、脳と網膜がどのようにものを「見て」いるのかというところから、その仕組みを模したイベントカメラとスパイキングCNNについて解説し、その両方を1チップに統合したSynSense社のSpeckを実際に動かしてみました。
Speckの活用としては、ジェスチャーによるデバイスやゲームの操作、AR/VRでの視線・まばたきの検出、暗い場所や屋外の道路での人・車の検出といった、「「常に見張っていたいが、電力やプライバシーが気になる」場面での期待ができます。
この記事を読んで、このカメラ面白いなと感じていただけた方はぜひ下記リンクよりお問い合わせ下さい。

最後までお読み頂きありがとうございました。