【簡略図】

【概要】
イベント時の来場者数のカウントや店舗のマーケティング、施設での災害時における避難経路設計などの用途において人流計測のニーズがあります。

人流計測では、作業員が歩行者を観察して人数と移動方向をカウントする方法が主流でしたが、多くの労力を必要とします。最近ではCPUやGPUの性能向上によりリアルタイムでの情報処理が可能となったため、カメラを用いた人流計測が実用化されています。これらの手法の多くは、カメラから得られる画素情報を用いて人物を検出し、フレーム間での座標の推移から人の流れを計測しています。

しかし、人物同士の重なりが生じると正確な計測が難しいため、天井にカメラを設置する、あるいは複数のカメラを設置する、など設置条件を限定する必要がありました。また、ステレオカメラを利用する場合は設置個所ごとにシステムの専門的な調整が必要となるため、コストが余計にかかり、かつ、設置後に設置箇所を移動することが大変であるという問題がありました。

本研究では、安価なステレオカメラと画像処理手法を組合せて、混雑に対応可能で設置が容易な人流計測手法を確立しました。照明変動や影の影響に強いため、屋内外で利用可能です。本技術の製品化・活用に意欲がある企業を歓迎します。

【技術内容】

「差分ステレオ」
画像中の前景領域（移動体領域）を検出する手法として差分ステレオ法を用いています。
差分ステレオでは、まず左右カメラそれぞれで背景差分（人がいないときの画像データ）と人が動いているときのデータの差分を取り、前景領域を抽出します。
人がいない画像（背景データ）と人がいる画像(下記(a))の差分を取ると、前景領域が抽出できます（下記(b)）。人が動くと照明の変動や影も発生し、ノイズとして前景領域に含まれてしまいます。そこで、画像処理によりノイズを抽出します(下記(c)の緑色の領域)。その部分を除去すると、人が検出できます（下記（d））。
 「パラメータの自動推定」
差分ステレオでは、画像中で歩行者が存在する領域を限定するために、前記のとおり背景差分を抽出する必要があります。しかし、設置環境ごとに照明環境が異なるため、計測シーンに応じた背景差分に用いる閾値を設定する必要があります。
　また、カメラに映る歩行者の寸法情報や実環境での3次元位置を計測するためには、カメラの外部パラメータである姿勢と位置を求める必要があります。
　本研究では、閾値の最適な設定値、およびカメラの姿勢／位置の情報を自動的に求める計算手法を確立しています。即ち、ステレオカメラを設置するときに必要なシステムの調整作業が大幅に簡略化できます。

「人流計測」
（混雑度が少ない場合）
混雑度が少ない場合、パーティクルフィルタと呼ばれる画像処理手法によって人流を計測します。人の重なりが無いため、容易に検出可能です。

（混雑度が高い場合）
混雑度が高い場合、歩行者を個々に検出することは困難なため、対応展探索手法であるKLT、ボロノイ分割と呼ばれる画像処理手法を用いて測定します。
下記の入力画像（a）を元に、KLTによって、背景差分の対象となる人のコーナー点を検出します（b)。右方向に移動している特徴点が赤丸、左方向に移動している特徴点が緑丸です。
次に、ボロノイ分割によって、画像を特徴点が1つ含まれる領域へ分割します(c)。
各領域に含まれる特徴点の移動方向をその領域の移動方向とし、移動方向が推定された前景領域を移動方向ごとに分割します(d)。
すると、(d)のように、複数人であっても個々の人間を移動方向とともに測定することが可能です。
 混雑状況で難しい問題は、人の重なりがある状態です。下記の(a)のとおり、3人が重なっている場合、見えない部分の面積が生じてしまうため、正しい人数を計測することが難しくなってしまいます。そこで、ステレオカメラの利点である奥行き方向の距離情報が測定できる原理と組合せます。
下記(a)の入力画像に対し、下記(b)のように移動方向ごとの領域と特徴点の座標を取得したのち、距離情報を持った特徴点を画面座標系のX（画像横方面）とY（奥行方向）のX-Y平面に投影します。このX-Y平面をセルによって下記(c)のように分割します。セルの大きさは画像上での人物一人の大きさとカメラからの距離によって算出します。
各セル内に投影された特徴点の数から、(d)に示すヒストグラムを作成します。人物が重なっている領域におけるヒストグラムでは手前の人物の位置に対応する位置にピークが発生し、手前から二人目以降に対応するセルでは全体的に頻度が少なくなります。これは集団手前の人物からは多くの特徴点が算出され、重なり隠れた奥の人物からは特徴点が算出されにくいためです。この特徴を元に計算を行うと、重なりが生じている際の集団の人物数の推定ができます。
 この手法を利用すると、下記のように人が重なっている状態でも個別に判別可能です。
【技術・ノウハウの強み（新規性、優位性、有用性）】
１）人が混雑している状態（重なっている状態）でも高精度に測定可能です。
２）照明・影の影響に強いため、屋外でも計測可能です。
３）ステレオカメラ設置時のシステム調整が容易です。 （パラメータの自動推定）
そのため設置費用を削減できます。
４）多くのカメラは天井に設置されますが、本技術では天井に限らず設置可能です。
５）ソフトウェアが軽いため、リアルタイムに処理可能です。

なお、ステレオカメラは一般に普及しているものを利用しており安価です。

【連携企業のイメージ】
例えば下記の企業と連携可能です。
１）人流計測に関する製品の開発・販売を行っている企業。
２）監視カメラなどカメラに関する開発・販売を行っている企業。
３）人流計測のニーズがある企業。
４）他、本技術の製品化・活用に意欲がある企業。

【技術・ノウハウの活用シーン（イメージ）】
人流計測の用途に適用可能です。イベント開催時の人数カウント、店舗での来店数・移動方向の計測、危険地への侵入防止用途などに利用されています。

混雑状態でも高精度に検出したい、ステレオカメラを用いた設置を簡単にしたい、
屋外でも利用したいなどのニーズに特に適しています。

【技術・ノウハウの活用の流れ】
本技術の活用や製品開発に興味がある方はお気軽にお問合せください。
デモを交えてご紹介させていただきます。

【専門用語の解説】
（ステレオカメラ）
対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラです。
通常は、1台で両眼視差を再現し、立体的な空間把握のできる立体写真の撮影が可能になっています。

（KLT）
動画像処理において前後のフレーム間で追跡に適した特徴点を抽出する方法です。

（ボロノイ分割）
ある距離空間上の任意の位置に配置された複数個の点（母点）に対して、同一距離空間上の他の点がどの母点に近いかによって領域を分割する統計手法です。