View
3
Download
0
Category
Preview:
Citation preview
味噌汁
60 kcal
食材情報
調理手順情報
Faster
R-CNN
物体検出
カロリー量推定
Multi-
task
CNN
M
2011年, 宮崎ら[1]による食事画像からのカロリー量直接推定SURF特徴量やカラーヒストグラムなどの従来の特徴量の使用高精度のカロリー量推定は実現できなかった
カロリー量付き食事画像セットの構築
商用レシピサイトのカロリー量付きレシピを収集
食事レシピ情報を利用した食事画像からのカロリー量推定
背景と目的
手法 補助情報を用いたマルチタスク推定
mi
mi
mi
ピラフ カレーライス 炒飯 焼きそば スパゲッティ
グラタン 味噌汁 シチュー 肉じゃが ハンバーグ
冷奴 ちらし寿司 オムライス ポテトサラダ 炊き込みご飯
UEC food-100[5]の食事100
カテゴリをアノテーション
ノイズ除去
サンプル数100以下の食事カテゴリを除去
約83,000レシピを収集
食事 15 カテゴリ
合計 4877 枚
Single-task CNN (baseline)
相関係数 (カロリー推定) 0.78
相対誤差20%以内 (カロリー推定) 46 %
カテゴリ認識精度 (カテゴリ認識) 81 %
相関係数 (カロリー推定) 0.82
相対誤差20%以内 (カロリー推定) 50 %
カテゴリ認識精度 (カテゴリ認識) 84 %
相乗効果によりカロリー量・カテゴリ推定の精度が向上
+0.04
+4 %
+3 %
追加実験 物体検出による複数品カロリー推定
カロリー量付き料理カードを撮影した画像での実験
まとめと今後の課題
ポテトサラダ : 169 kcal
味噌汁 : 74 kcal
肉じゃが : 352 kcal
ポテトサラダ : 169 kcal
ハンバーグ : 405 kcal
炒飯 : 695 kcal
正解値シチュー : 382 kcal
スパゲッティ: 518 kcal
焼きそば : 539 kcal
ピラフ : 475 kcal
[1] T. Miyazaki, G. Chaminda, D. Silva, and K. Aizawa. Image ‐ based calorie content estimation for dietary assessment. In Proc. of IEEE ISM Workshop on Multimedia for Cooking and Eating Activities, 2011.
[2] J. J. Chen and C. W. Ngo. Deep-based ingredient recognition for cooking recipe retrival. In Proc. of ACM International Conference Multimedia, 2016.
[3] H. A. Abrar, W. Gang, L. Jiwen, and J. Kui. Multi-task CNN model for attribute prediction. IEEE Transactions on Multimedia, Vol. 17, No. 11, pp. 1949–1959, 2015.
[4] K. Simonyan and A Zisserman. Very deep convolutional networks for large-scale image recognition. In arXiv preprint arXiv:1409.1556, 2014.
[5] Y. Matsuda, H. Hajime, and K. Yanai. Recognition of multiple-food images by detecting candidate regions. In Proc. of IEEE International Conference on Multimedia and Expo, 2012.
• CNNによる食事画像からのカロリー量直接推定• マルチタスク学習により各タスクの精度が向上• カロリー量情報付き食事画像データセットの構築
• 領域分割などによる食品の量を考慮したカロリー量推定• データセットの構築
推定結果
會下 拓実, 柳井 啓司 (電気通信大学 情報理工学部 総合情報学科)
Web上のレシピサイトから収集
カロリー量
食事画像
食材情報 調理手順情報
さんまの塩焼き 221kcal
ごはん 168kcal
豆腐 42kcal
サラダ 35kcal
味噌汁 60kcal
食事画像からの全自動カロリー量推定
相乗効果によりカロリー量推定の精度向上が期待できる
CNN 550 kcal550 kcal
550 kcal
肉じゃが
食材情報調理手順情報
CNN
R=0.78
R=0.82
243 kcal味噌汁
58 kcal味噌汁
+185 kcal
520 kcalスパゲッティ
228 kcalポテトサラダ
+292 kcal
243 kcal味噌汁
575 kcalシチュー
-332 kcal
486 kcalカレーライス
944 kcalカレーライス
-458 kcal
推定値
正解値
誤差
35 kcal味噌汁
32 kcal味噌汁
+3 kcal
677 kcalカレーライス
730 kcalカレーライス
-53 kcal
432 kcalスパゲッティ
429 kcalスパゲッティ
+3 kcal
184 kcal味噌汁
214 kcal味噌汁
-30 kcal
推定値
正解値
誤差
味噌汁 カテゴリ分類失敗
カロリー量情報付きカレーライス : 761 kcal
ポテトサラダ : 169 kcal
Multi-task CNN (提案手法)
近年, 食事管理アプリでのカロリー量記録が可能に, しかし….
料理名や量のユーザによる手入力が必要
人手によるサービスで料金が発生
食事画像からの自動カロリー量推定は実現されていない
実験 シングルタスクとの比較
2016年, Chenら[2]による画像からの食材&食事カテゴリ同時推定Multi-task CNN[3]による食材&食事カテゴリのマルチタスク学習マルチタスク学習により両タスクの精度が向上した
本研究ではCNNによる食事画像からのカロリー量直接推定
本研究ではカロリー, 食事カテゴリ, 食材, 調理手順のマルチタスク学習
関連研究①
関連研究②
(VGG16 [4])
成功例
失敗例
0.75
0.76
0.77
0.78
0.79
0.8
0.81
0.82
カロリー量
+
食事カテゴリ
++
食材
++
+
調理手順
相関係数
43
44
45
46
47
48
49
50
51
カロリー量
+
食事カテゴリ
++
食材
++
+
調理手順
相対誤差20%以内
79
80
81
82
83
84
85
86
食事カテゴリ
+
カロリー量
++
食材
++
+
調理手順
カテゴリ認識精度(%) (%)
推定対象
補助情報
Recommended