Pedestrian-Detection System with Far-Infrared-Visible ...kiri/study/report/2015/pdf/H27_05.pdf · である。カメラ入力映像に対し、①レンズ歪み補正とカメラ取付け姿勢補正を行い、

* 平成 24～26 年度経済産業省戦略的基盤技術高度化支援事業

** 電子情報技術部 *** アイエスエス株式会社 **** 萩原電気株式会社

FIR-V ハイブリッドカメラを使った歩行者検知システム*

長谷川辰雄**、菊池貴**、宇都宮弘純**、鎌田智也***、加藤浩之****

クルマの安全性を高める技術は急速に高性能化しており、車両に対する自動ブレ

ーキなど、交通事故を未然に防ぐ予防安全技術の実用化が進んでいる。しかし、歩

行者のカメラ検知では、歩行者の形が一様でないことによる未検知の削減と、背景

と混同する誤検知の削減を両立することが難しく検知率の向上が課題であった。そ

こで、車載の遠赤外線カメラと可視光カメラの波長の異なった画像を組み合わせ、

さらにオプティカルフローによる動体検出とパターン認識による機械学習の画像処

理により、独自の評価データで歩行者検知率 95.2%を達成できた。

キーワード：歩行者検知、遠赤外線（FIR）カメラ、可視光（V）カメラ

Pedestrian-Detection System with Far-Infrared-Visible Hybrid Camera

Tatsuo Hasegawa, Takashi Kikuchi, Kojyun Utsunomiya, Tomoya Kamata and Hiroyuki Kato

In recent years, the performance of car-safety technology has rapidly improved and has

led to the practical use of safety devices such as automatic brakes. However, detecting

pedestrians by using cameras remains difficult because of their ill-defined shape, which

leads to confusion between pedestrians and the background. In this report, we present an

improved pedestrian-detection system. The approach is based on using images captured by

cameras sensitive to two different wavelengths: far-infrared and visible light. The detection

algorithm includes motion detection based on optical flow, and the image processing uses

pattern recognition-based machine learning. The proposed algorithm achieves a

pedestrian-detection rate of 95.2% with our evaluation datasets.

key words : pedestrian-detection, far-infrared camera, visible range camera

1 はじめに

交通事故防止の観点から、自動車の衝突被害軽減

（プリクラッシュセーフティ）の有効性が世界的に認

められている。車両周辺監視が衝突被害軽減に有効で

あり、その中でも歩行者検知の難易度は高く各国の技

術開発が進んでいる。車両周辺監視のセンサはミリ波

レーダとカメラが代表的であり、30～150ｍの遠方検

知にはミリ波レーダを用い、30m以内の近距離検知に

はカメラを用いる方法が有効とされている。より高度

な衝突被害軽減のためには、歩行者の認識とその速度、

進行方向を実時間に検知し、衝突を事前に予測する必

要がある。しかし、ミリ波レーダでは歩行者自体の認

識やその移動方向、複数の物体を分離する等の検出が

困難であるため、現在ではカメラ画像を用いて、歩行

者の特徴形状と移動方向を画像処理で求める方法で

研究開発が行われている。

本研究は、遠赤外線カメラ（FIR : Far-InFrared

camera）と可視光カメラ(V : Visible camera)のハイ

ブリッドカメラ（FIR-V）を使って、歩行者を実時間

で検知可能な実用装置を開発し、衝突被害軽減などの

高度な安全装置を開発する国内メーカに技術（製品）

を提供することを目的とした（図 1）。開発目標は、車

速50km/h以下で車両から30m以内にいる歩行者を検出率

95％以上で検出することとした。

図1 ハイブリッド検知概要図

目標達成の方法として

ルフローを基盤

を基盤とした学習による識別アルゴリズムを

また、歩行者検出器に必要な

光(V)カメラで学習

から画像特徴量を抽出した歩行者

行者画像を入力

Hough 投票のスコアが閾値以上の場合に歩行者と認識す

る手法を構築

2 実験方法

2-1 歩行者検知

近年では、

の人物検知を行う手法として

大きなウェイトを占めてきている

終的な人物領域の

一般に学習器による検

るために、実時間性の面で

の狙いは、初めに撮影シーンを解析することによって

歩行者が存在する可能性のある領域を特定し

定された領域にのみ人物検出処理を行うことで処理全体

の計算量を大きく軽減することにある

めの前段処理アルゴリズムは

期待するよりもむしろ

ることが望ましい

オ計算を行うのではなく

フローに基づき

った。図2は本研究の歩行者検知アルゴリズムの流れ図

である。カメラ入力映像に対し、①レンズ歪み補正とカ

メラ取付け姿勢補正を行い、

両の進行方向を推測する運動推定

物の領域を判定する。最後に

者検知を実施する。

2-2 自車両運動の推定

運動する車両に設置した単眼カメラにて、車両前方の

路上シーンを撮影する場合、停車中の歩行者検出は監視

目標達成の方法として、最大事後確率法とオプティカ

基盤とした動体検出

とした学習による識別アルゴリズムを

歩行者検出器に必要な

カメラで学習及び評価用

から画像特徴量を抽出した歩行者

を入力に HoughForest

投票のスコアが閾値以上の場合に歩行者と認識す

る手法を構築し評価を行った。

実験方法

歩行者検知の方法

、計算機性能の向上に伴い

の人物検知を行う手法として

ウェイトを占めてきている

終的な人物領域の検出は学習器を用いたものとなるが、

一般に学習器による検出計算は膨大な特徴量計算を要す

実時間性の面で

初めに撮影シーンを解析することによって



の計算量を大きく軽減することにある

めの前段処理アルゴリズムは

よりもむしろ、計算量の少ない単純な処理であ

ることが望ましい。そこで

オ計算を行うのではなく、

フローに基づき3次元シーン推定を行う手法の開発を行

は本研究の歩行者検知アルゴリズムの流れ図


メラ取付け姿勢補正を行い、

両の進行方向を推測する運動推定

物の領域を判定する。最後に

者検知を実施する。

図2 歩行者検知アルゴリズム

自車両運動の推定



岩手県工業技術センター研究報告

、最大事後確率法とオプティカ

とした動体検出及び、パターン認識手法

とした学習による識別アルゴリズムを

歩行者検出器に必要な遠赤外線(FIR)

及び評価用の画像を録画し、それぞれ

から画像特徴量を抽出した歩行者検出器

HoughForest１)処理を行った後、その


し評価を行った。

計算機性能の向上に伴い、

の人物検知を行う手法として、機械学習

ウェイトを占めてきている。本研究

検出は学習器を用いたものとなるが、

出計算は膨大な特徴量計算を要す

実時間性の面で課題がある。




の計算量を大きく軽減することにある。

めの前段処理アルゴリズムは、計算時間を要する

計算量の少ない単純な処理であ

そこで、画像領域全体の密なステレ

、疎な特徴点群のオプティカル

次元シーン推定を行う手法の開発を行



メラ取付け姿勢補正を行い、この補正画像に対し、自車

両の進行方向を推測する運動推定３)を行った後、②立体

物の領域を判定する。最後にHough Forest

歩行者検知アルゴリズム





、パターン認識手法

とした学習による識別アルゴリズムを開発した

(FIR)カメラと可視

の画像を録画し、それぞれ

検出器を構築した。歩

処理を行った後、その


、シーン映像から

機械学習２)によるものが

研究においても最



。本アルゴリズム


歩行者が存在する可能性のある領域を特定し、次に、


。シーン理解のた

計算時間を要する精度


画像領域全体の密なステレ

疎な特徴点群のオプティカル




この補正画像に対し、自車

を行った後、②立体

Hough Forest法による歩行






、パターン認識手法

した。

カメラと可視

の画像を録画し、それぞれ

。歩

処理を行った後、その


シーン映像から

によるものが

においても最



本アルゴリズム

初めに撮影シーンを解析することによって、

、限


シーン理解のた

精度を


画像領域全体の密なステレ

疎な特徴点群のオプティカル




この補正画像に対し、自車

を行った後、②立体

法による歩行



カメラ分野の背景差分法を応用することにより比較的容

易に検出可能である。一方、移動車両

む車両シーン全体が動くため背景差分法

きない。このため、歩行者を検出する処理では、画面全

体にわたって歩行者画像を探索する必要があり、組み込

みシステムにおいて

本研究は、計算資源が制限される組込みシステム上で

歩行者検知処理

両の運動とカメラの間で成立する幾何学条件を用いて、

歩行者を含む立体物の領域を予め抽出し、その領域にの

み歩行者検出処理

HoughForest

面積を

きる

ルゴリズムと

す。

2-3

遠赤外線

ッド方法は、それぞれの

せて歩行者を認識する

により人の中心座標に投票値を設定するものである。

れまでは各投票値を加算した後、閾値より高い投票値を

歩行者と定義していたが、この方法では片方のカメラが

未検出の場合にハイブリッド法でも未検出となり検知率

が低下する課題があった。そこで、図

方のカメラが検出していれば正検知となる論理

を検討し評価した。

舵角情報

岩手県工業技術センター研究報告第 18 号（






みシステムにおいて


歩行者検知処理の



み歩行者検出処理

HoughForest 法による歩行者検出処理を適応

面積を削減し、歩行者検出に要する計算コストを

きるアルゴリズム

ルゴリズムと立体物判定

す。

3 ハイブリッド

遠赤外線(FIR)

ッド方法は、それぞれの

せて歩行者を認識する








図4

舵角情報車速パルス

車速推定

フレーム間カメラ運動量判定

理想的な地平面フローの計算

(平面射影変換)

図3 自車両運動推定アルゴリズムと立体物判定

2016）






みシステムにおいては計算負荷が大きな課題となる。


のリアルタイム処理を実



み歩行者検出処理４、５)を適応する

による歩行者検出処理を適応

し、歩行者検出に要する計算コストを

アルゴリズムを開発した。

立体物判定アルゴリズムの処理の流れを示

ハイブリッド方法

(FIR)カメラと可視光

ッド方法は、それぞれのHough Forest

せて歩行者を認識する６)。投票値とはエッジ等の特徴量








ハイブリッド方法概念図

車速パルスカメラ取付位置・姿勢

推定

フレーム間カメラ運動量判定

理想的な地平面フローの計算

前フレーム画像

アルゴリズム

入力データ

自車両運動推定アルゴリズムと立体物判定


易に検出可能である。一方、移動車両の場合、背景を含

む車両シーン全体が動くため背景差分法を



計算負荷が大きな課題となる。


リアルタイム処理を実現するため、車



を適応する。これ

による歩行者検出処理を適応

し、歩行者検出に要する計算コストを

した。図3に自車両運動推定ア

アルゴリズムの処理の流れを示

カメラと可視光(VR)カメラのハイブリ

Hough Forest法の投票値を組合

投票値とはエッジ等の特徴量





が低下する課題があった。そこで、図4に示す通り、片


ハイブリッド方法概念図

カメラ取付位置・姿勢

現フレーム画像の射影変換結

果と前フレーム画像との一致

度に基づく立体物領域判定

前フレーム画像

アルゴリズム

入力データ



場合、背景を含

を使うことがで



計算負荷が大きな課題となる。


現するため、車



。これによって、

による歩行者検出処理を適応すべき領域

し、歩行者検出に要する計算コストを低減で

自車両運動推定ア


カメラのハイブリ

法の投票値を組合


により人の中心座標に投票値を設定するものである。こ




に示す通り、片

方のカメラが検出していれば正検知となる論理OR方式

カメラフレーム

現フレーム画像の射影変換結

果と前フレーム画像との一致

度に基づく立体物領域判定

現フレーム



場合、背景を含

使うことがで




現するため、車



によって、

領域

で

自車両運動推定ア


法の投票値を組合


こ




に示す通り、片

2-4 歩行者画像

実験車両により

画撮影を実施した。

ンプルを選定し評価した。過去

可視光カメラの検知性能が遠赤外線カメラよりも優れて

いた。そこで、遠赤外線カメラの検知率向上のため、遠

赤外線画像DB

中から比較するために、

ル群から選別した

を以下の3項目に

した。

不適格サンプル対象

(A) 歩行者の背後に直線状オブジェクトがある画像

(B) 歩行者の中心がずれている画像

(C) 歩行者が重複している画像

学習サンプルとして不適格と判断した画像例を

示す。遠赤外線画像は視認性がおもわしくないので、画

像例はコントラストを明瞭化するイコライズ処理を施し

て選別した。

図

2-5 リアルタイム検知


製 Zynq（以下

本研究成果を評価できるように、専用の評価ボードを試

作した。一方

るため、遠赤外線カメラと可視光カメラで学習用及び評

価用の路上映像の録画を内部で実施した。

Zynq上での開発環境構築、専用評価ボードの製作、歩行

者検知コードのハードウェア化を実施した。しかし、リ

アルタイム（

イミングの設計など難易度の高い課題が残った。そこで、

高速処理化のためにベアメタル（

クの工夫を行い、

した。同ボードに実装した

図6に示す。

歩行者画像DBの構築

実験車両により内部で利用する

画撮影を実施した。撮影した画像の中から

選定し評価した。過去



DBから良質な歩行者サンプル

比較するために、これまでに

選別した。選別方針として不適格サンプル対象

項目により、目視により不適格な画像を削除

不適格サンプル対象

歩行者の背後に直線状オブジェクトがある画像

歩行者の中心がずれている画像

歩行者が重複している画像


遠赤外線画像は視認性がおもわしくないので、画


。

図5 不適格画像サンプルの例

リアルタイム検知


（以下 Zynq）を使用した。


作した。一方、夏季の気温が高い中部地方の特徴を捉え



上での開発環境構築、専用評価ボードの製作、歩行


アルタイム（33ms）で動作させるには、メモリ構造やタ


高速処理化のためにベアメタル（

クの工夫を行い、Zynqに歩行者検知コードを実装し評価

同ボードに実装した

に示す。

FIR-V ハイブリッドカメラを使った歩行者検知システム

の構築

内部で利用する車両走行シーンの録

撮影した画像の中から

選定し評価した。過去2年間の検知結果では、



良質な歩行者サンプル

これまでに使用した学習サンプ

方針として不適格サンプル対象

、目視により不適格な画像を削除


歩行者の中心がずれている画像

歩行者が重複している画像




不適格画像サンプルの例

歩行者検知アルゴリズムの組込コード開発

使用した。また、


、夏季の気温が高い中部地方の特徴を捉え





）で動作させるには、メモリ構造やタ


高速処理化のためにベアメタル（OSレス）化や領域マス

歩行者検知コードを実装し評価

同ボードに実装した歩行者検知コード

ハイブリッドカメラを使った歩行者検知システム

車両走行シーンの録

撮影した画像の中から良質の学習サ

年間の検知結果では、



良質な歩行者サンプルを学習成果

使用した学習サンプ




学習サンプルとして不適格と判断した画像例を図



不適格画像サンプルの例

組込コード開発は、Xilinx

また、ユーザ企業が




価用の路上映像の録画を内部で実施した。過去2年間で





レス）化や領域マス


歩行者検知コードの構成図を


車両走行シーンの録

良質の学習サ

年間の検知結果では、



学習成果の

使用した学習サンプ




図5に



Xilinx

ユーザ企業が




年間で、





レス）化や領域マス


の構成図を

2-6

可視光カメラと遠赤外線カメラのそれぞれの

考慮し、可視光カメラはバックミラー

メラは

位置合わせが必要であるが、両カメラの間隔は約

離が離れ、また画角も多少異なるレンズを用いているこ

とから、位置合わせの誤差が大きくなる課題があった。

これに対し、両カメラ画像の較正

ン）の工夫と、ルックアップテーブル（

置合わせにより、ハイブリッド化の精度向上

過去の実験では、

イブリッド化のための

の位置合わせを

が、

元座標（

大きくなる課題があった。

ン精度及び

は、従来の線形変換ではなく画面の位置によって変化量

を変えるような非線形の変換が必要となる。そこで

カメラの位置合わせ手法

した可視光カメラの歩行者座標と遠赤外線カメラの歩行

者座標を

により行った。対応座標が設定出来ない箇所は非線形方

程式による補完により対応座標を推定した

図 7

3

3-1

ハイブリッド手法による歩行者検知は、


図6

6 ハイブリッド位置合わせ



メラは車外に設置した。ハイブリッドは両カメラ画像の







過去の実験では、

イブリッド化のための

の位置合わせを線型的な幾何学的手法によって検証した

が、本研究の各カメラは、画角の

元座標（x,y,z）の差が

大きくなる課題があった。

精度及び位置合わせの精度



カメラの位置合わせ手法


者座標を1対1に



7 可視光カメラの歩行者座標（左図の赤枠）と遠赤外線カ

メラの歩行者座標（右図の赤枠）

3 実験結果

1 ハイブリッド



ハードウェアブロック図

ハイブリッド位置合わせ



車外に設置した。ハイブリッドは両カメラ画像の







過去の実験では、遠赤外線カメラと可視光カメラの

イブリッド化のためのキャリブレーションと

線型的な幾何学的手法によって検証した

カメラは、画角の

の差が大きく、画面

大きくなる課題があった。具体的には

位置合わせの精度の



カメラの位置合わせ手法は、図


に対応させたルックアップテーブル（



可視光カメラの歩行者座標（左図の赤枠）と遠赤外線カ


ハイブリッド歩行者検知


ハードウェアブロック図



考慮し、可視光カメラはバックミラー付近、遠赤外線カ





これに対し、両カメラ画像の較正７)（キャリブレーショ

ン）の工夫と、ルックアップテーブル（LUT


遠赤外線カメラと可視光カメラの

キャリブレーションと


カメラは、画角の違いや、

大きく、画面の位置で変換誤差が

具体的にはキャリブレーショ

位置合わせの精度の向上である。



は、図7に示す通り


ルックアップテーブル（





歩行者検知結果


可視光カメラと遠赤外線カメラのそれぞれの特性を

付近、遠赤外線カ


位置合わせが必要であるが、両カメラの間隔は約1mと距



（キャリブレーショ

LUT）を使った位

置合わせにより、ハイブリッド化の精度向上を狙った。

遠赤外線カメラと可視光カメラのハ

キャリブレーションと、両カメラ


、取り付け3次

位置で変換誤差が

キャリブレーショ

である。この解決に


を変えるような非線形の変換が必要となる。そこで、両

に示す通り人手で設定


ルックアップテーブル（LUT）


程式による補完により対応座標を推定した。


ハイブリッド手法による歩行者検知は、学習パラメー

特性を

付近、遠赤外線カ


と距



（キャリブレーショ

を使った位

を狙った。

ハ

ラ


次

位置で変換誤差が

キャリブレーショ

解決に


両

人手で設定


）



学習パラメー

タの最適化、学習サンプルの厳選、フィードバック学習

の各技術を発展させ、効果的に活用したことで誤検知・

未検知の低減に成功し、

により目標の検知率

することができた

Image)＝１とは

場合の歩行者検知率を意味する

94.8％、遠赤外線カメラ単体では

た。評価方法は、内部で撮影した

（3,946 フレーム

する自作検証ツールを使用して評価

線カメラのみ

間（24H）の評価では

対し、95．9％（

ときの結果画像

(a)昼間

図

3-2 リアルタイム検知


ARMへ実装した。

境を構築した上で実装した。

カメラ入力部と演算負荷を低減させる

ーブルで接続した構成となっている

検知率を向上させるためにコード量が増加したことが原

0.952

図



未検知の低減に成功し、論理

により目標の検知率95.2％（評価指標：

することができた（図 8

＝１とは、1 フレームに

場合の歩行者検知率を意味する

％、遠赤外線カメラ単体では

た。評価方法は、内部で撮影した

フレーム）に対し、正解画像と検出画像を照合

する自作検証ツールを使用して評価

線カメラのみ、20種類：4,043

の評価では、全

％（FPPI=1）の成果が得られた。

ときの結果画像の一部を図

昼間の検知結果

図9 ハイブリッド検知結果画像

リアルタイム検知


へ実装した。表1に示すように

境を構築した上で実装した。

カメラ入力部と演算負荷を低減させる

ーブルで接続した構成となっている


0.952

図8 ハイブリッド歩行者検知結果




論理OR方式のハイブリッド手法

％（評価指標：

8）。FPPI(False Positive Per

フレームに 1 個の誤検知を許容した

場合の歩行者検知率を意味する。可視光カメラ単体では

％、遠赤外線カメラ単体では96％の検知結果となっ

た。評価方法は、内部で撮影した評価映像の

に対し、正解画像と検出画像を照合

する自作検証ツールを使用して評価した

4,043フレーム

、全 37 種類（7,989

の成果が得られた。

を図9に示す。

(b)夜間

ハイブリッド検知結果画像

歩行者検知アルゴリズム(Hough Forest)

に示すようにZynq

境を構築した上で実装した。Zynqボードの動作環境は、

カメラ入力部と演算負荷を低減させるFPGA

ーブルで接続した構成となっている（図


ハイブリッド歩行者検知結果




ハイブリッド手法

％（評価指標：FPPI=1）を達成

FPPI(False Positive Per

個の誤検知を許容した

可視光カメラ単体では

％の検知結果となっ

評価映像の 17 種類


した。夜間（遠赤外

フレーム）を含む、昼夜

7,989 フレーム）に

の成果が得られた。また、この

夜間の検知結果

ハイブリッド検知結果画像

(Hough Forest)をZynq内の

Zynqボードの動作環

ボードの動作環境は、

FPGAボードをケ

（図10）。しかし、


ハイブリッド歩行者検知結果




ハイブリッド手法

を達成

FPPI(False Positive Per

個の誤検知を許容した

可視光カメラ単体では

％の検知結果となっ

種類


。夜間（遠赤外

昼夜

フレーム）に

また、この

内の

ボードの動作環

ボードの動作環境は、

ボードをケ

しかし、


因で

0.177

リズム検討と高速

を目指す

基板／開発ソフトウェア

ZC702 Evaluation Kit

3-2

Linux

大縮小処理を

成果が得られなかった。そのため、高速化の対策を行う

ために、歩行者検知器のパラメータを変化させながら、

実際の処理時間を計測した。この結果を

この

が、目標のリアルタイム化（

また、同時に検出スケールと学習木の

たが、学習木の数を減らした場合、検知率が低下するこ

とが分かったため検出スケールを固定化する等のいくつ

かの対策を実施し、さら

3-2

検知率の結果に影響を与え

という観点で検討し

①

②

この結果、


因で、目標であった処理速度

0.177(5.6fps)の

リズム検討と高速

を目指す予定である。

表



Xilinx

OpenCV

図10

2-1 高速化の

Linux等のOS

大縮小処理を1段階




表2

このOSレス化により約

が、目標のリアルタイム化（




かの対策を実施し、さら

2-2 高速化の結果

検知率の結果に影響を与え

という観点で検討し

① 1画素ごと

② 不要な左右の領域を

この結果、表3に示す通り、

2016）

であった処理速度の

の結果にとどまった。今後、高速化アルゴ

リズム検討と高速CPUの利用など、継続して目標の

である。

表1 Zynqボード動作環境



SDK

OpenCV

Zynqボードの動作環境図

の検討

処理を行わない（

段階とする高速化を実施したが、大きな




2 歩行者検知の処理速度結果

レス化により約10～

が、目標のリアルタイム化（33ms




かの対策を実施し、さらなる高速

の結果

検知率の結果に影響を与えず

という観点で検討し、次の2項目を実施した。

の処理を4画素

不要な左右の領域を50画素

に示す通り、ソフトウェア（

であった処理速度の0.033秒(30fps)

にとどまった。今後、高速化アルゴ

の利用など、継続して目標の

ボード動作環境

バージョン

2014.2

2.3.1

動作環境図

処理を行わない（OSレス）

高速化を実施したが、大きな



実際の処理時間を計測した。この結果を表

歩行者検知の処理速度結果

～15％程の高速化ができた

33ms）には不十分であった。

また、同時に検出スケールと学習木の本数



なる高速処理化に取り組んだ。

検知率の結果に影響を与えず、且つ、高速化できるか

2項目を実施した。

画素間引く

50画素省く。

に示す通り、ソフトウェア（

(30fps)に対し、


の利用など、継続して目標の30fps

バージョン

－

2014.2

2.3.1

）と、画像の拡




表2に示す。

歩行者検知の処理速度結果

％程の高速化ができた

）には不十分であった。

数で調整を試み



化に取り組んだ。

、且つ、高速化できるか

項目を実施した。

ソフトウェア（Zynq）とハ

に対し、


30fps

拡




％程の高速化ができた

）には不十分であった。

調整を試み



化に取り組んだ。

、且つ、高速化できるか

とハ

ードウェア（

高速化ができた。

3-3 ハイブリッド位置合わせ

ハイブリッド

わせ精度が重要であるが、これまで

る歩行者足元の３次元座標変換

課題があった。これに対し、ステレオ平行化による位置

合わせを実施したが、両カメラの画角の違いと視差の大

きさが影響し誤差縮小は

線画像と可視光画像の対応する

LUTを新たに構築することで、この問題の解決を図った。

両カメラ間で座標を変換した際の誤差について

示す。

これにより

大誤差を27画素に

タ全体の97.8

に収めることが

イブリッド検知率の向上に寄与したと

来の加算式ハイブリッド法に対し、論理

とでハイブリッド検知率

ができた。初回実験のキャ

モデルのZhang

視光画像 81

ラ内部パラメータ（焦点距離、中心座標、歪補正係数）

を求めた。しかし、図

域が存在し、画像中心と歪補正の誤差が大きく

果的にハイブリッド化の検知率が向上とはならなかった。

そこで、図 12

キャリブレーション座標を取得することで、中心座標と

15%

6%

3%

4%

図

ードウェア（FPGA）の統合処理で、処理時間

高速化ができた。

表3 処理速度比較


ハイブリッド検知は FIR

わせ精度が重要であるが、これまで

歩行者足元の３次元座標変換



きさが影響し誤差縮小はでき

線画像と可視光画像の対応する

を新たに構築することで、この問題の解決を図った。

カメラ間で座標を変換した際の誤差について

これにより、従来では 50

画素に縮小することができた。また評価デー

97.8％を±10 画素以内、

に収めることができた。この位置合わせ誤差の

イブリッド検知率の向上に寄与したと


とでハイブリッド検知率

初回実験のキャ

Zhangの手法を用いて、遠赤外線画像

81 枚のキャリブレーション画像を用いてカメ


を求めた。しかし、図12(a)

、画像中心と歪補正の誤差が大きく


12（b）の通り


64%

8%

図11 位置合わせ誤差

FIR-V ハイブリッドカメラを使った歩行者検知システム

の統合処理で、処理時間

処理速度比較


FIR カメラと VR

わせ精度が重要であるが、これまでの平面射影行列

歩行者足元の３次元座標変換では、誤差が大き



できなかった。そこで、遠赤外

線画像と可視光画像の対応する歩行者の


カメラ間で座標を変換した際の誤差について

50 画素あった位置合わせの最

することができた。また評価デー

画素以内、92.6%

た。この位置合わせ誤差の

イブリッド検知率の向上に寄与したと考える


とでハイブリッド検知率 95.2％の達成に貢献すること

初回実験のキャリブレーションは

の手法を用いて、遠赤外線画像

枚のキャリブレーション画像を用いてカメ


(a) の通りカバーしきれない領

、画像中心と歪補正の誤差が大きく


）の通り画面全体をカバーするように


64%

1

2

3

4

5

6

位置合わせ誤差の割合


の統合処理で、処理時間0.177秒と

VR カメラの位置合

平面射影行列によ

誤差が大きくなる



なかった。そこで、遠赤外

歩行者の座標を活用した


カメラ間で座標を変換した際の誤差について図 11

画素あった位置合わせの最


92.6%を±5画素以内

た。この位置合わせ誤差の縮小がハ

考える。また、従

来の加算式ハイブリッド法に対し、論理OR方式にするこ

％の達成に貢献すること

リブレーションは、平面射影

の手法を用いて、遠赤外線画像45枚、可



カバーしきれない領

、画像中心と歪補正の誤差が大きくなり、結


画面全体をカバーするように


1画素

2画素

3画素

4画素

5画素

6画素以上


秒と

カメラの位置合

によ

くなる



なかった。そこで、遠赤外

座標を活用した


11 に

画素あった位置合わせの最


画素以内

がハ

。また、従

方式にするこ

％の達成に貢献すること

平面射影

枚、可



カバーしきれない領

、結


画面全体をカバーするように


レンズ歪補正の誤差を

図

補正画像で、

（320,240

心座標（

によって、距離誤差

ることができた。遠赤外線カメラは画角が広くレンズ歪

も大きかったことから、歪補正の効果が大きかったと考

察する。可視光カメラは

レーションで、

きた。

4

遠赤外線カメラは、物体が放射する温度を画像化する

ため、可視光（環境光）の影響を受けない画像が得られ

る。可視光線と遠赤外線の異なる波長の画像を比較する

と、可視光カメラで確認できる歩行者の服の模様や色が、

遠赤外線カメラでは確認できない事など、遠赤外線カメ


レンズ歪補正の誤差を

図 13 は FIR 画像のキャリブレーションの原画像と歪

補正画像で、

320,240）としたとき、キャリブレーションで求めた中

心座標（329,225

によって、距離誤差



察する。可視光カメラは

レーションで、46pixel

きた。

4 考察






17pix

(320,240)

遠赤外線

図13

図12 可視光カメラのキャリブレーション


レンズ歪補正の誤差を縮小化した。

画像のキャリブレーションの原画像と歪

VGA(640×480)

）としたとき、キャリブレーションで求めた中

329,225）との距離を示している。

によって、距離誤差44pixelから



察する。可視光カメラは558枚のデータ枚数のキャリブ

46pixel から






(a) 81枚

(b) 558枚

17pix 44pix 基準点

(320,240)

遠赤外線歪補正画像

3 位置合わせ座標変換の誤差

可視光カメラのキャリブレーション

化した。


480)の中心座標を基準点


）との距離を示している。

44pixelから17pixel



558枚のデータ枚数のキャリブ

から 28pixel へ誤差の改善がで






枚

枚

44pix

歪補正画像

座標変換の誤差



の中心座標を基準点


）との距離を示している。446枚の計算

17pixelへ精度向上す



枚のデータ枚数のキャリブ

へ誤差の改善がで








の中心座標を基準点


枚の計算

へ精度向上す



枚のデータ枚数のキャリブ

へ誤差の改善がで






ラの情報量は少ない。しかし、可視光カメラでは捉える

ことの出来ない

れぞれのカメラの特徴を組み合わせることで、歩行者検

知の性能を上げることが出来た。図

カメラの結果、右上が可視光カメラの結果、中央画面が

両カメラを使ったハイブリッドの結果

メラでは看板が誤検知（赤枠）となっているが

線カメラでは誤検知は無く、両カメラのハイブリッドの

結果は歩行者のみを検知している。これは両カメラの特

徴を効果的に利用できた結果と考える。

線カメラは熱画像であるため、外気温が高い夏場など、

背景と歩行者が同じ温度と

行者よりも背景温度が高くなる逆転現象などの課題があ

る。この課題の対策として、外気温度が高い場合は可視

光カメラを優先させることが有効と考えられる。

は夜間の遠赤外線カメラのみの検知結果である。このよ

うに夏場でも、夜間は外気温が低下するため「とけこみ」

現象は少なく

線カメラを優先させるなど、環境温度の違いによって優

先するカメラを選択することが検知率向上に効果的であ

ると考える。

図

図15

遠赤外線カメラ検知


ことの出来ない温度の情報を把握できる特徴がある。そ


知の性能を上げることが出来た。図


両カメラを使ったハイブリッドの結果






背景と歩行者が同じ温度と





夏場でも、夜間は外気温が低下するため「とけこみ」

現象は少なくなり検知率は向上するため、夜間は遠赤外



ると考える。

図14 誤検知が除去できた結果

夜間の遠赤外線カメラ

両カメラのハイブリッド検知

遠赤外線カメラ検知



温度の情報を把握できる特徴がある。そ


知の性能を上げることが出来た。図14は左上が遠赤外線


両カメラを使ったハイブリッドの結果である






背景と歩行者が同じ温度となる「とけこみ」現象や、歩






なり検知率は向上するため、夜間は遠赤外



誤検知が除去できた結果

遠赤外線カメラ検知結果

両カメラのハイブリッド検知

可視光カメラ検知





は左上が遠赤外線


である。可視光カ

メラでは看板が誤検知（赤枠）となっているが、遠赤外



徴を効果的に利用できた結果と考える。一方で、遠赤外


なる「とけこみ」現象や、歩



光カメラを優先させることが有効と考えられる。図






誤検知が除去できた結果

検知結果

可視光カメラ検知





は左上が遠赤外線


可視光カ

遠赤外



一方で、遠赤外


なる「とけこみ」現象や、歩



図 15






5

FIR

長の異なる画像を組み合わせることで相乗効果を発揮し

検知率を向上させた。

用映像

を達成した。

しかし、電子基板（

績値

95％以上達成のため、プログラム量とデータ量が増加し

たことが原因であった。今後は、高速化の手法を

し、継続して

にアルゴリズム自体の高速化が必須と考え

化アルゴリズムを検討しながら高速化に取り組んでいく

予定である。事業化へ向けては、

の歩行者検知が有力と考えており、検知率も高い水準で

あることから実用化のアピール点

知は

い。

度が高く、解決すべきキーテクノロジーであることは明

らかであり、本研究をさらに推進させることで、国内外

でも競争力の高い製品（技術）へ展開が十分期待できる

と考える。

文

1) J Gall

for object detection

2)

Pedestrian Protection Systems for Intelligent

Vehicles

3)

4)

On Detection of Multiple Object Inst

Hough Transforms

Vision and Pattern Recognition

5) Paul Viola

Detection

V

6)

整の実装と評価

7)

camera calibration

Analysis and Machine Intellige

p1330


5 結言

FIRカメラとVR


検知率を向上させた。

用映像に対し検知率

を達成した。

しかし、電子基板（

績値5.6fpsの結果にとどまった。これは、歩行者検知率

％以上達成のため、プログラム量とデータ量が増加し


し、継続して30fps






は実用化されているが、

い。このことから、車載センサによる歩行者認識の難易




と考える。

文献

J Gall、V Lempitsky

for object detection

David Geronimo


Vehicles、Springer

) Hernan Badino

Stixel World ? A Compact Medium Level

Representation of the 3D

Symposium on Pattern Recognition

Olga Barinova


Hough Transforms


Paul Viola、Michael J.Jones

Detection、

Vision、p137

) 岩元、菅谷、

整の実装と評価

Zhengyou Zhang

camera calibration


p1330-1334（

2016）

VRカメラによるハイブリッド検知は、波


検知率を向上させた。17種類（

検知率95.2％（目標

しかし、電子基板（Zynq）での目標

の結果にとどまった。これは、歩行者検知率



30fpsの実現へ取り組






実用化されているが、未だ十分な性能に至っていな

このことから、車載センサによる歩行者認識の難易




V Lempitsky：Class

for object detection、In CVPR2009

David Geronimo、Antonio M. Lopez


SpringerBriefs in Computer

Hernan Badino、Uwe Franke


presentation of the 3D

mposium on Pattern Recognition

Olga Barinova、Victor Lempisky


Hough Transforms、IEEE Conference on Computer


Michael J.Jones

、 International Journal of Computer

p137-154（2004）

、金谷：3 次元復元のためのバンドル調

整の実装と評価、IPSJ SIG Technical Report

Zhengyou Zhang：A flexible new tech

camera calibration、IEEE Transacitons


（2000）

カメラによるハイブリッド検知は、波


種類（3,946フレーム）の評価

％（目標95％以上、条件

）での目標30fps




の実現へ取り組む。これには、第一



予定である。事業化へ向けては、FIR カメラによる夜間


あることから実用化のアピール点である。

未だ十分な性能に至っていな





Class-specific Houg

In CVPR2009、p1022

tonio M. Lopez：Vision


Briefs in Computer Science

Uwe Franke、David Pfeiffer


presentation of the 3D-World 、

mposium on Pattern Recognition（2009

Victor Lempisky、Pushmeet Kohli


IEEE Conference on Computer

Vision and Pattern Recognition（2010

Michael J.Jones：Robust Real

International Journal of Computer

）

次元復元のためのバンドル調

IPSJ SIG Technical Report

A flexible new tech

IEEE Transacitons

Analysis and Machine Intelligence



フレーム）の評価

％以上、条件FPPI=1）

30fps稼働は、実



たことが原因であった。今後は、高速化の手法を再検討

。これには、第一

にアルゴリズム自体の高速化が必須と考え、最新の高速


カメラによる夜間


。車載歩行者検






specific Hough forests

1022-1029（2009

Vision-based


Science（2014

David Pfeiffer：The


、 31st DAGM

2009）

Pushmeet Kohli：

On Detection of Multiple Object Instances using


2010）

ust Real-Time Face



IPSJ SIG Technical Report（2011）

A flexible new technique for

IEEE Transacitons on Pattern

nce 、 22(11) 、



フレーム）の評価

）

稼働は、実



検討

。これには、第一

の高速


カメラによる夜間


歩行者検






h forests

2009）

based


2014）

The


31st DAGM

：

ances using


Time Face



）

nique for

on Pattern

、

Documents

Pedestrian-Detection System with Far-Infrared-Visible ...kiri/study/report/2015/pdf/H27_05.pdf · である。カメラ入力映像に対し、①レンズ歪み補正とカ メラ取付け姿勢補正を行い、

Pedestrian-Detection System with Far-Infrared-Visible ...kiri/study/report/2015/pdf/H27_05.pdf · である。カメラ入力映像に対し、①レンズ歪み補正とカメラ取付け姿勢補正を行い、