映像分析と赤外線画像を融合した行動認識
概要
可視光映像と赤外線（サーマル）画像を融合することで、照明条件やプライバシーの制約に強い、ロバストな行動認識システムの実現を目指しています。
行動認識における課題の一つは、教師データ作成の高コスト性です。本研究では、この問題に対して２段階の学習プロセスを採用しています。まず、容易に準備できる質の高い物体検出の教師データを物体分割タスクへ適用し、次に少量の高精度な教師データを用いた転移学習と弱教師あり学習手法を組み合わせることで、効率的かつ高精度な学習モデルを構築します。
研究内容
RGB-Thermal融合技術
可視光カメラとサーマルカメラからの情報を統合し、それぞれの長所を活かした行動認識を実現します。
暗所・プライバシー対応
赤外線画像の利用により、暗所での行動認識やプライバシーに配慮した監視が可能になります。
深層学習アーキテクチャ
2ストリームネットワークやアテンションメカニズムを活用し、効果的なマルチモーダル特徴統合を実現します。
応用分野
- 高齢者見守りシステム
- セキュリティ監視
- スマートホーム
- 夜間作業の安全管理
期待される成果
照明条件に依存しない24時間対応の行動認識システムにより、安全・安心な社会の実現に貢献します。