Embed Size (px)
Citation preview
修士論文
調理における切断加工時の荷重特徴を用いた食材認識
指導教員 美濃 導彦 教授
京都大学大学院情報学研究科修士課程知能情報学専攻専攻
土本 良樹
平成 23年 2月 8日
i
調理における切断加工時の荷重特徴を用いた食材認識土本 良樹
内容梗概
調理は日常的に行われる複雑な作業であり，調理者の状況に応じて適切な調
理アドバイスを提示するシステムは有用である．調理者の状況理解には，シス
テムがセンサ情報を基に自動的に食材を認識することが好ましい．
調理では，レシピによって複数の食材に様々な加工が施され，食材の特徴が
大きく変化する．そのため，加工を施された後でこの特徴を取得したとしても，
食材以外の要因による変動が大きく，食材の種類を認識するのは難しい．
食材に対する最初に施される加工は多くの場合切断である．そのため，切断
が行われる時点では，元々の食材の特徴を抽出することができる．この切断加
工では，まな板と包丁の接触により，まな板への荷重の変化が起こる．この荷
重には，包丁がまな板を押す力と手で食材をおさえる力の 2種類の力が含まれ，
これらの力は，食材の物性や大きさ，形状に応じた影響を受ける．そこで本研
究では，切断時の荷重特徴を用いて食材を認識する手法を提案する．
実際の調理の場面で切断から食材認識をするためには，まず荷重を測定し，
その測定結果から切断検出を行ったうえで特徴を抽出する必要がある．荷重の
測定のために，荷重センサを設置した荷重センサボードを開発した．切断検出
については，切り終わった際にまな板にかかる前述の 2種類の力が同時にかか
らなくなることに着目し，荷重の急激な立ち下がりを切断とみなして検出する．
次に，測定された荷重波形から，検出された切断のセグメントを切り出し，そ
こから最大値，切断時間，力積，ピーク位置，尖度を特徴量としてそれぞれ抽
出する．最後に，抽出した特徴量を SVMにかけることで食材認識を実現する．
提案手法を評価するため，家庭の料理で頻出しかつ共起する食材を 16種類選
び，実験を行った．この実験では，実際の調理を想定してまな板上で行われる
あらゆる動作を含む観測データを取得した．提案手法を適用した結果，切断検
出については適合率 98.1％・再現率 99.8％を達成し，食材認識については平均
で 67.4％の認識率を達成した．
ii
Ingredient Recognition from Load Feature at Cutting
Action
Yoshiki TSUCHIMOTO
Abstract
Because cooking is complicated work on daily basis, a supporting system is
expected that gives advices to chefs with considering their current situation in
cooking. To understand the situation of a chef, it is desired that the system
recognizes ingredients automatically based on sensor information.
In cooking, ingredients get culinary operations, and they almost lose their
unique characteristics. Because of such affection to the characteristics, it is
difficult to recognize ingredients after the operations.
Generally, the first operation to ingredient is a cutting action. Therefore,
we can extract the raw characteristic of an ingredient as a feature at the timing
of cutting action. A cutting action is done by many chops. And during a chop,
the collision with an ingredient and a kitchen knife changes the load to the
chopping board. The load during a chop may consist of two different kinds of
forces: by pushing the kitchen knife to the chopping board, and by supporting
the ingredient by hand. Especially, the force pushing the knife is affected by the
physicality of ingredient when the knife passes inside of the ingredient. Using
this effect, we propose a method for recognizing ingredients from load feature
in this paper.
To recognize ingredients from the chops in real cooking scene, it needs firstly
to measure load, secondly to detect chop, and thirdly to extract features. To
measure the load on a chopping board, we developed the load sensing board
using load sensors. The proposed method detects a chop by finding sharp
falling edge of load. The sharp falling edge corresponds to the end of each chop
because the both two kinds of pressures peg out simultaneously at the end of a
chop. Next, the method clips chop segments from detected chops, and extracts
Max, Duration, Impulse, Peak Position, and Kurtosis as a feature. Finally,
the method realizes ingredient recognition by applying SVM to the extracted
features.
To evaluate this method, we tested the method with 16 kinds of ingredi-
iii
ents. In this evaluation, we used observed data including any possible actions
on chopping board, targeting a real cooking scene. As a result, the proposed
method achieved a precision rate of 98.1% and a recall rate of 99.8% in chop
detection, and a recognition rate of 67.4% in ingredient recognition.
調理における切断加工時の荷重特徴を用いた食材認識
目次
第 1章 緒論 1
第 2章 食材認識に関連する従来研究 6
第 3章 荷重特徴を用いた切断検出 11
3.1 振動音と映像からの切断検出 . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2 調理における荷重 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.3 荷重センサボードの開発 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.3.1 要求仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.3.2 設計及び実装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.4 荷重を用いた従来研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.5 荷重特徴を用いた切断検出 . . . . . . . . . . . . . . . . . . . . . . . . . . 19
第 4章 切断時の荷重特徴を用いた食材認識 22
4.1 切断検出の応用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.1.1 切断時の荷重波形と熟練度との関係の分析 . . . . . . . . . 22
4.1.2 切断時の荷重の重心位置と食材の種類との関係の分析 . 23
4.1.3 切断時の荷重波形と食材の物性・形状との関係の分析 . 24
4.2 食材認識 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.2.1 認識に用いる切断 . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.2.2 切断セグメントの切り出し . . . . . . . . . . . . . . . . . . . . 29
4.2.3 特徴抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.2.4 識別器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
第 5章 実験 33
5.1 認識対象の食材 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.2 切断検出の評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.2.1 適合率の評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5.2.2 再現率の評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5.3 食材認識の評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.3.1 認識対象とする切断 . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.3.2 識別器による認識結果 . . . . . . . . . . . . . . . . . . . . . . . . 35
5.3.3 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
第 6章 結論及び今後の課題 40
参考文献 43
第1章 緒論
近年の計算機技術の発達により，料理番組や料理教室以外では得にくかった
食材の加工方法や加熱方法を，自宅のキッチンにおいて映像や音声によって得
ることが可能になりつつある．このように，調理をマルチメディア環境のシス
テムによって支援する試みは既にいくつか行われている．
レシピや調理方法の知識が少ないユーザでも簡単に調理ができるようになる
ことを目的としたものとして，携帯型ゲーム機端末を利用した「しゃべる！DS
お料理ナビ」[1]がある．これは，約 200種類のレシピを収録して，使用する食材
の種類・カロリー・調理に要する時間からレシピを検索することができる．ユー
ザがレシピを指定すると，あらかじめ登録されている調理手順に従い，端末の
ディスプレイとスピーカを使って，画像・映像と音声によって調理のアドバイス
提示を行う．また，調理の効率の向上と学びとコミュニケーションの場として
のキッチンの利用を目的としたものとして，キッチンにディスプレイやスピー
カを組み込んだ「Kitchen of the Future」[2]がある．これは，一度に複数の料
理を作る場合の最適な調理手順を決定し，その順序に従ってキッチンに備え付
けられたディスプレイによって調理者に対してアドバイス提示を行う．
システムが調理進行状況に応じたアドバイスを提示するためには，システム
は何らかの方法で，調理者が今行っている調理操作と，これから起こり得る調
理操作を知らなければならない．そのために前述の 2種類のシステムは，調理
の手順を一通りと仮定し，調理者からの入力を受け付けることによってアドバ
イス提示のタイミングを決定している．調理者からの入力は，手に持っている
調理器具などを一度手放さなければならなかったり手足を動かしたりしなけれ
ばならない場合は，調理者にとって煩雑である．そこで，「しゃべる！DS お料
理ナビ」ではユーザによる端末の操作や音声によって，「Kitchen of the Future」
では足元にあるフットスイッチを押すことによって，それぞれ簡単に入力を受
け付けるようにし，調理者の負担を減らしている．
これらのシステムは，料理の初心者が初めて挑戦するレシピに沿って調理を
進める場合など，調理の多くの場面でアドバイスを必要とする場合には有用で
ある．しかし，ある程度調理に慣れていたり，調理者がほしい時だけアドバイ
スを与えてほしいような場合は，入力のインタフェースが工夫されているとは
いえ，一つ一つの調理手順ごとに入力を与えるのは煩雑である．また，これら
1
のシステムで支援を得るためには決まった手順で調理を行う必要があり，シス
テムが想定している調理順序から外れてしまった場合に，調理者が求めている
アドバイスを提示することが困難である．
そこで我々は，調理者からの入力によって，決められた調理手順に沿った調理
方法を提示するのではなく，調理者からの入力が不要で，調理順序を一通りと仮
定しない調理支援システム「Smart Kitchen」を提案している．「Smart Kitchen」
では，「Kitchen of the Future」と同様に，調理台正面に備え付けられたディスプ
レイやスピーカーを用いて映像や音声によって調理アドバイスを提示する．従
来のシステムとは違い，「Smart Kitchen」では，カメラやマイクなどのセンサ
によってシステムが自動的に調理進行状況を認識することにより，調理手順を
一通りと仮定する必要性をなくし，また，調理者からの入力を不要としている．
この仕組みによって，調理者が支援を得たい時だけアドバイスを提示すること
ができる．
従来のシステムでは調理手順を一通りと仮定していたのに対して，「Smart
Kitchen」では多様な手順に柔軟に対応できるよう，調理手順をレシピツリーと
呼ばれる木構造によって表現する．レシピツリーの例を図 1に示す．レシピツ
リーは，食材とそれに対する操作を有向グラフ構造で表わしたものである．食
材および食材が混ざりあったり加工されることでできる中間生成物をノードと
し，食材および中間生成物への操作によって遷移する．
レシピツリーの構造を用いて調理進行状況を把握するためには，調理観測デー
タに現れている食材および中間生成物が，あらかじめ与えられたレシピツリー
のどの食材に対応しているかを推定する必要がある．一つの方法として，出現
している食材および中間生成物を各時点で認識してレシピツリーと対応付けす
る方法が考えられる．しかし，調理の過程で複数の食材が混ぜられた中間生成
物が数多く発生し，その中間生成物がどの食材から構成されているのかをその
時点での観測のみから特定するのは困難である．そこで，調理の冒頭で食材の
種類の認識を行い，それを追跡する技術を併用することで中間生成物の組成を
取得するアプローチを取る．これにより，混ぜられた食材を特定し，レシピツ
リーとの対応付けを容易にすることができる．追跡が難しい場面としては，外
見特徴が変化する切断加工，複数の食材が加えられる混合・加熱がある．切断
加工については，橋本らが画像特徴変化のモデルを用いた追跡手法を提案して
おり [3]，混合・加熱については，容器や調理器具にRFIDタグなどのセンサを
2
キャベツ ピーマン 玉葱 豚肉 人参
切る 切る 切る 切る 切る
加える
加える
加える
加える
加える
炒める
炒める
炒める
炒める
野菜炒め
図 1: レシピツリーの例
設置するなどして追跡ができると考えられる．
追跡技術と併用することで任意の時点での食材とレシピツリーとの対応付け
を実現するためには，食材が取り出されてからなるべく早いタイミングで認識
することが望ましい．調理に使用される食材は通常，調理が始まった際に冷蔵
庫などから調理台に移動され，その後さまざまな処理が加えられる．食材が調
理台に置かれて最初に行われる処理は切断加工であることが多いので，本研究
では切断加工のタイミングで食材を認識する技術の実現を目的とする．
包丁での切断加工時に食材認識を行う従来手法として，三功らの研究がある
[4]．三功らは，包丁での切断加工の際に包丁が食材を通過するときの音が食材
を構成する物性によって異なることに着目し，調理台に振動音マイクを設置し，
振動音を観測することで食材認識を行う手法を提案した．切断時の特徴を用い
た食材認識を実際の調理の場面で適用するためには，いつ切断が行われたかを
調理観測データから過不足なく検出する切断検出が必要である．三功らの手法
では，切断時には大きな衝突音が発生するため，認識に用いる切断の検出を振動
音の振幅のみでできるという仮定を置き，振動音と被切断食材の種類の関係を分
析することに重きを置いていたため，自動での切断検出を実現していなかった．
3
三功らが置いた仮定が実際の調理において成り立つかを検証したところ，ボ
ウルや皿を置いたときなどの調理台で発生する他の衝突音と切断時に発生する
音との区別が容易でないことや，肉や葉野菜を切る時などの衝突音が発生しな
い切断の検出ができないことが数多く発生することが分かった．特に，硬い食
材を置いた時の振動音の周波数特徴は，包丁とまな板との衝突によって生じる
振動音と似ており，原理的に振動音による両者の区別は難しく，振動音のみを
用いた切断の検出は困難であることがわかった．
一般的に，包丁による食材の切断の際には，利き手に持った包丁で上から刃を
下ろし，切った際に食材が動かないようにもう片方の手で食材を押さえる．衝
突音は，食材を切り終えた瞬間に包丁がまな板と接触することにより発生する．
この衝突音の大きさは，包丁とまな板が接触する際の包丁の垂直方向の速度に
大きく依存する．例えば，人参のような硬い食材を切る時のように包丁を上か
ら下に動かして切る場合はこの速度が大きいが，肉や葉野菜を切る時のように，
包丁を前後に動かして切る場合はこの速度が小さい．一方で，切断の際に包丁
が食材を押す力と食材を押さえる力の 2つの力が下向きにかかることは，食材
に依存せずに一般的に起こる現象である．
そこで，本研究では切断を頑健に検出するためにまな板上の荷重を用いる．包
丁による切断以外にも，食材や器具などの物体を置いたとき，もしくはこれら
を持ったときにまな板上の荷重が変化するが，このときの荷重の変化量は主に
物体の質量分である．一方で，切断の際にまな板にかかる荷重は，調理に用い
る物体の質量分よりも十分に大きい．まな板にかかる荷重を観測するために荷
重センサボードを開発し，これをまな板の下に設置する．切断の際は荷重の変
化量が大きいことから，荷重の変化量が閾値を超えた時点を切断とみなす単純
な手法でも十分頑健に切断を検出することができる．さらに，切断時の力のか
かり方は，食材の物性だけでなく，大きさや形状も反映しており，物性の違い
のみに焦点を当てた三功らの手法とは異なった特徴を取得できると考えられる．
そこで本研究では，検出された切断の荷重の特徴を利用した食材認識に取り組
む．まず，調理の荷重波形から包丁による切断の影響を受けている部分を切断
セグメントとして切り出す．次に得られた切断セグメントから特徴量を抽出し，
識別器にかけることで食材を認識する．
2章では，本研究の位置づけを明らかにするために食材認識の従来研究につ
いて述べる．3章では，食材認識に用いる切断を頑健に検出する手法について
4
述べる．4章では，検出された切断から食材を認識する手法について述べる．5
章では，実際の調理の場面を想定したデータを対象にして，本研究の手法の有
効性を検証する．最後に 6章で，結論と今後の課題について述べる．
5
第2章 食材認識に関連する従来研究
本章では，本研究との位置づけの違いや手法の違いなどを明らかにするため
に，食材認識についての従来研究を紹介する．従来の食材認識の研究は，蓄積
された調理アーカイブに対するインデキシングを目的にしたものと，リアルタ
イムでの調理アドバイスを目的にしたものに分けることができる．
蓄積された調理アーカイブに対するインデキシングを目的とした食材認識の
従来研究として，あらかじめ与えられたレシピと調理観測データから得られた
情報とを対応付けすることで食材を認識する手法と，字幕が付与された料理映
像を使って学習データを収集し，画像中の領域から得られた色特徴を用いて食
材を認識する手法を紹介する．
未編集の調理観測データを対象にした食材認識に関する研究として，山肩ら
は，調理コンテンツの自動作成のためのレシピと調理観測データとの対応付け
を目的とし，レシピ中に現れる食材や調理操作を認識する手法を提案している
[5]．レシピから得られる作業フローを，食材をノードとして操作をエッジとす
る，レシピツリーと呼ばれる有向グラフで表わす．さらに調理観測データから推
定される作業フローをレシピツリ―と同様の木構造 (映像ツリー)によって表わ
し，これとレシピツリ―とを対応させることで食材を認識する．調理観測デー
タからレシピツリ―を推定する方法を以下に述べる．この手法では，色による
食材の大まかな分類と，その食材に施される調理操作の系列や混ぜられる食材
との関係を利用して映像ツリ―の推定を行う．まず，食材は冷蔵庫から取り出
されるものと仮定して，調理台を撮影する赤外線カメラにおいて，温度が閾値
よりも低い場合を食材領域として抽出する．多くの食材は，外見の色が「赤」
「黄」「白」「茶」「緑」「黒」の 6種類にいずれかに分類されると仮定し，抽出さ
れた食材領域の色特徴を算出し，上記の 6種類のうちの 1つの色ラベルを付与
する．同一レシピには同色の食材も複数存在しうるが，認識した食材を追跡し，
食材に加えられる操作系列の違いを用いることで，同色の食材を識別する．操
作系列には様々なものがあるが，レシピに登場する調理操作名を集計して分析
した結果を受け，登場頻度の高い「切る・むく」「加える」「焼く・炒める」「煮
る・茹でる」「揚げる」の 5種類を認識対象とする．食材が調理台上で長時間放
置されることは考えにくいと仮定し，食材が調理台に一定時間以上長く出現し
続けたときは「切る・むく」が行われたとみなす．「焼く・炒める」と「煮る・
6
茹でる」は両者ともにコンロで行われる作業であるので，コンロのスイッチの
ON/OFFにより，どちらかの操作が行われていることがわかる．この両者では
表面温度の差が大きいことから，表面温度に閾値を設定して判別する．「揚げる」
については，コンロに設置された揚げ物ボタンの操作によって判別する．また
２つ以上あった食材領域があり，片方が消滅して一定時間以上たったとき「加
える」とみなす．以上のようにして操作系列を認識し，食材の色特徴と合わせ
ることで食材を認識する．さまざまな食材及び調理操作が含まれる計 6種類の
レシピに対して，平均 92％の精度での食材認識を達成している．この手法では，
まず食材の色を用いて候補を絞り込み，複数ある場合はその食材に施される調
理操作の系列によって食材をレシピツリーの食材と対応付ける．調理操作の系
列を認識してから食材の対応付けを行うため，調理の後半にならなければ食材
とレシピとの対応付けが行われない．そのため，本研究で想定しているような
リアルタイムでのアドバイス提示にこの手法を適用することは困難である．
柴田らは，蓄積された字幕付きの TVの料理番組を対象に，自動でインデッ
クスを付与することを目的として食材認識の手法を提案している [6]．この研究
では，映像と字幕から食材の物体モデルを学習した後，映像中の色情報，字幕
における会話の重要度などを統合し，映像中の食材を認識している．食材の物
体モデルの学習は，以下の手順で行う．物体領域がアップになっているときに
は，調理台や食材の表面などのエッジが少ない部分が多く映っていると考えら
れる．そこで，エッジ抽出処理を行うことで，エッジ部分の面積が閾値を下回っ
た画像を物体がアップになっている画像 (アップ画像)として抽出する．次に，
抽出されたアップ画像群から，同じ視点からの一連の画像群であるショット内
においてエッジの大きさが最も小さい画像を，そのショットの代表画像とする．
代表画像において食材の色特徴を抽出するための代表領域を 1つ決定するため，
領域分割処理を施す．分割された領域に対して，食材領域は動かないことが多
いことから，オプティカルフローを用いて動きの大きい領域を除外する．また，
肌色抽出を行って手の領域を除外する．さらに，料理番組の映像では食材領域
は中央付近にあると考えられるため，画像の中心から遠い領域を除外する．残
された領域に対して，食材領域らしさを面積や形状などの特徴量を抽出するこ
とで算出し，画像内の複数の領域から注目領域を 1つ選ぶ．ショットごとに得ら
れた代表画像の周辺に付与されている字幕を探索し，字幕による発話のタイプ
の解析や談話構造解析の結果を考慮して，最も重要な単語をキーワードとして
7
選ぶ．このキーワードは食材の種類となることが予想され，これを代表アップ
画像の注目領域と対応付ける．キーワードごとに 1枚以上のアップ画像の注目
領域からRGBの頻度分布を求め，その最頻値のRGBの平均値を食材の物体モ
デルとする．多くの料理映像のアーカイブに上記の処理を施すことで，食材の
物体モデルを学習する．この研究では，食材の物体モデルを学習した後，字幕
が与えられている料理映像を用いて，各ショットで中心となっている対象食材を
決定することを食材認識としている．具体的には，学習時と同様に注目領域を
抽出し，注目領域の前後の字幕からキーワードの候補を抽出し，キーワードの
候補ごとに，学習した食材の物体モデルと注目領域の色特徴とのユークリッド
距離を求め，この距離を基に食材の種類を推定する．約 100種類の食材に対し，
77.8％の精度で食材の物体モデルの取得が正しく行われた．この学習したモデ
ルを用いた食材の認識では，言語情報のみを利用した場合では 71.9％だった適
合率は 75.8％に，67.8％だった再現率は 69.9％に，0.698だったF値は 0.727に
それぞれ上昇した．この手法では，言語情報が認識に大きく寄与しており，発
話によって視聴者に調理方法を伝えることを前提としている料理番組独特の性
質を利用している．また，料理映像に物体のアップなどの製作者の意図が含ま
れており，これも料理番組に特有である．また，実際に音声認識は実現されて
おらず，発話内容が字幕に起こされていることが前提となっている．本研究で
取り扱う製作者の意図を含まない未編集の調理観測データではこれらの前提は
成り立たず，この手法を適用することは困難である．
調理者に支援を与えることを目的にした食材認識の従来研究としては，複数
のモダリティを併用して行動と食材を同時に認識する手法と，単独のモダリティ
のみを使用して切断加工時に食材を認識する手法に分けられる．前者からは，
RFIDタグやCCDカメラ，赤外線カメラなどのさまざまなセンサ情報を統合し
て食材と調理操作を同時に認識する手法を紹介する．後者からは，切断加工に
よる見えの変化モデルを用いて食材と加工操作の同時に認識する手法と，切断
加工時の振動音を用いて食材を認識する手法についてそれぞれ紹介する．
村上らは，リアルタイムでの調理アドバイス提示を目指し，様々なセンサを
キッチンに埋め込むことで，調理操作と操作の対象食材を同時に認識する手法を
提案している [7]．使用しているのは，器具や食材の位置を認識するためのRFID
タグ，棚や水道の開閉状況を認識する開閉センサ，調理台の上を観察するCCD
カメラおよび赤外線カメラ，コンロ領域を上から観察するカメラ，コンロの温
8
度を計測する温度センサである．これらのセンサ群から得られる情報から，識
別器として決定木アルゴリズムC5.0を用いて認識する．認識対象は，調理操作
と対象食材の組み合わせとしており，例えば切断加工の場合は単に「切る」だ
けでなく「XXを切る」として認識する．食材の特定には，RFIDタグによる位
置情報の他に，温度情報と色情報を併用している．具体的には，山肩らの手法
[5]と同様に食材は冷蔵庫で冷やされてから調理台に置かれると仮定し，特定の
温度幅を持つ領域を食材領域として抽出し，食材領域の色情報を影の影響を受
けないようにするためにHSV色空間を利用している．食材の切断加工のみに焦
点をあてると，3～4種類の食材が使用された調理に対して約 90％の精度で調
理操作と食材を同時に認識している．村上らの研究では，RFIDタグを食材に
貼付していることが前提となっている．しかし，実際の調理においては，切断・
混合・加熱など様々な加工が食材に施されることや，食べられるまでにタグを
取り除かなければならないことから，RFIDタグを食材に貼付することは現実
的とはいえない．
尾原らは，包丁を用いた切断加工の前後で食材の視覚的特徴が異なることに
着目し，色の変化を用いることで食材を識別する手法を提案している [8][9]．こ
の手法では，環境音を観測することで調理操作を検出できると仮定し，包丁に
よる切断の前後で食材の色特徴が変化する場合について，切断前の食材の色特
徴のみを用いた場合と比較して，食材の識別能力が上がることを確認している．
この手法では，切断による変化前・変化後のいずれも同色である食材について
は区別することが困難である．また，実際の調理においてはさまざまな音が発
生するので，環境音のみで切断を検出することも困難である．
三功らは，調理者の状況に応じて適切なアドバイスを与えるシステムの実現
を目指し，調理台に伝播する振動音を用いて食材を識別する手法を提案した [4]．
この手法では，調理台の隅に振動音マイクを設置し，食材の包丁が食材の内部
を通過する際の振動音から特徴量を抽出して食材認識を実現している．この研
究では，(1)食材の物性が食材の種類ごとに異なる，(2)切断時の振動音は食材
の内部構造を反映する，(3)切断時には大きな衝突音が発生するので音の振幅の
みで切断を検出できる，という 3つの仮定を置いている．そこで，食材の切断
の際の振動音の波形を切り出し，切り出した波形の周波数スペクトログラムの
特徴を抽出し，これを SVMにかけて識別している．出現頻度の高い 7種類の食
材に対して，クローズドテストを行った結果，各食材において 75％以上の認識
9
率を達成した．また，映像によって色が取得できることを前提に同色の食材の
組み合わせに対して実験を行った結果，認識率が向上し，映像を併用すること
による有効性を示すことができた．しかし，この手法で仮定している振動音の
みを使った切断検出について検討した結果，ボウルを調理台に置いた時などの
調理台で発生する他の衝突音を誤検出してしまうことと，肉などの柔らかい食
材を切る場合などではそもそも切断時に大きな衝突音が発生せずに検出漏れと
なってしまうという問題があり，切断時の包丁とまな板との衝突に起因する衝
突音のみによる頑健な切断の検出は困難である．したがって，尾原らの手法と
同様に，この手法を実際の調理に応用するためには，何らかの方法で自動での
切断の検出を行う必要がある．
10
第3章 荷重特徴を用いた切断検出
3.1 振動音と映像からの切断検出切断時の特徴を用いて食材を認識するためには切断検出が必要である．そこ
でまず，振動音からの切断検出を試みた．この手法ではまず，切断の際に包丁
とまな板が衝突することに着目し，衝突の際の振動音を振動音マイクによって
観測する．振動音の振幅が閾値以上であるときを衝突音として検出する．
この手法が一般の調理において頑健に切断を検出できることを確かめるため，
様々な調理操作を含み，様々な食材を切断している調理観測データを用いて実
験を行った．まず，衝突音検出によって切断が漏れなく含まれているかを食材
ごとに再現率を用いて検証した．その結果，にんじん (100％)，ジャガイモ (100
％)，玉ねぎ (97％)の硬い食材 3種類に関してはほぼ全ての切断が検出されて
いる一方で，なす (83％)，トマト (75％)では再現率がやや低めであり，ほうれ
ん草 (23.1％)，豚肉 (3％)は切断がほとんど検出されない結果となった．
振動音による切断の検出には，2つの問題点があることがわかった．1つ目は，
調理台などの，まな板以外の領域にボウルなどの硬いものを置いた場合に大き
な音が発生するために誤検出となってしまうことであり，2つ目は，肉などの柔
らかくて切れにくい食材を切断する際に衝突音が発生せずに検出漏れになって
しまうことである．振動音は固体中を伝搬しやすいので，観測対象領域を厳格
にコントロールすることができない．得られた衝突音には，切断のときのもの
が多く含まれていることが期待されるが，同時に器具や食材を置いた時に発生
する衝突のものも含まれてしまう．この両者の衝突音は堅いもの同士の衝突に
よって起こるという点で共通しており，図 2に示すように周波数特徴において
も似ているため，振動音のみでの区別は困難である．
(i) 食材を切ったとき (ii) 器具を置いた時
図 2: 衝突音の周波数成分の例
11
両者を区別するために，映像特徴を用いることを考える．包丁による切断の
際，調理者は利き手で包丁を持ち，もう片方の手で食材を押さえる．包丁を持
つ手は小さく動き，食材を押さえる手は動くことがない．一方で，物を置くと
きは手が大きく動く．そこで，調理台の上方に設置されたカメラからの映像か
ら，まず肌色抽出を行うことで手領域を抽出し，そのフレーム関差分の面積を
用いて手の動きの大きさを計算する．衝突音を検出した時，手の動きの大きさ
が閾値以下であれば切断が行われたとみなして検出し，手の動きの大きさが閾
値以上の場合は物が置かれたとして棄却する．
(i) 原画像 (ii) 手の動き
図 3: 食材を切ったときの様子
(i) 原画像 (ii) 手の動き
図 4: 器具を置いたときの様子
映像から得られる動き特徴を組み合わせることで切断のみが検出されるかを
12
調べた結果，衝突音として検出された切断をほとんど棄却することなく，適合
率を 73％から 99％に高めることができた．
しかしながら，動き特徴を用いた絞り込みでは，肉などの柔らかくて切れにく
い食材を切断する際に検出漏れとなってしまう点については改善されなかった．
3.2 調理における荷重包丁とまな板との間で衝突音が発生するのは，包丁の垂直方向の速度が大き
く影響する．包丁によって食材を切ることができるのは，上から刃を押し付け
る力と包丁を前後にスライドさせることで発生する摩擦力が大きく寄与してい
る [10]．硬い食材を切断する際は，前後方向に包丁をスライドさせなくても上
から刃を押しつけることで切ることができる．一方，柔らかく切れにくい食材
を切断する際は，上から包丁を押しつけるだけでは食材が切れにくいため，硬
い食材を切断するときと比べて，垂直方向よりも前後方向に包丁を動かすこと
が多い．そのため，包丁とまな板との間で衝突音が発生せず，振動音による切
断検出では検出漏れとなってしまう．
硬い食材を切断する際と柔らかく切れにくい食材を切断する際で共通する現
象は，包丁を上から押し付けたり，食材が動かないように包丁を持たない方の
手で食材を押さえ付けることにより，まな板に大きな荷重がかかることである．
そこで本研究では，このまな板にかかる荷重を観測することで切断検出を試み
る．これにより，振動音のみでは検出漏れとなっていた肉などの柔らかい食材
の切断についても，正しく検出されることが期待される．
調理の場面では，様々な器具・食材が調理台に置かれ，その上で調理者が様々
な操作を行う．操作の中には，物体を移動させたり，まな板の上で食材を切った
り，ボウルに入れた食材を混ぜたりと，荷重の変化を伴う操作が多くを占める．
先に述べた荷重の変化を伴う操作のうち，包丁による切断はほぼ例外なくま
な板の上で行われる．振動音を用いた切断検出手法では，振動音は固体中を伝
わるために異なる場所で起きた事象の影響を受ける．実際に，この手法での誤
検出の多くはまな板以外の場所で発生した衝突音であった．
一方で，振動音と比較した荷重の特徴として，荷重センサの設置場所を適切
に選ぶことで，この測定の対象とする領域を厳格にコントロールでき，センサ
の観測値が他の場所で発生した事象の影響を受けないことが挙げられる．包丁
による切断を検出するためには，まな板上の荷重のみを測ることができる位置
13
に荷重センサを設置すれば，まな板以外の領域の荷重の影響を受けることなく
まな板上の荷重のみを観測できる．これにより，振動音を用いた切断検出の場
合に多く発生していたまな板以外の領域で発生した事象の誤検出に関しても解
決することができると見込まれる．
3.3 荷重センサボードの開発3.3.1 要求仕様
切断時の荷重を観測するために，まな板の荷重を測る荷重センサボード (以下
センサボード)を開発する．開発にあたり，センサボードに求められる要件を，
機能要求と非機能要求に分けて述べる．
実際の調理での使用場面を想定した機能要求は以下の 4項目である．
• まな板上の荷重を観測できること• まな板を洗うことができること• センサが濡れないこと• 使用中に滑らないこと調理中はまな板の上では様々な食材が切断され，調理者によっては食材が変
わるごとにまな板を洗うこともある．そのため，まな板が調理中に洗われるこ
とを想定した設計をする必要がある．また，調理中は調理台上で水がかかるこ
とが多いので，水に弱い電子部品であるセンサが濡れないように設計する必要
がある．また，包丁による切断加工は手元が滑ると怪我をする恐れがある危険な
作業である．そのため，使用中にまな板が滑らないように工夫する必要がある．
非機能要求としては，秤量・精度・サンプリング周期がある．包丁による切
断の際には，包丁が食材と押す力と手で食材を押さえる力の 2種類の力が発生
するので，大きな力がまな板にかかる．まな板の下に秤を置き，まな板の上で
様々な食材を切断する予備実験を行ったところ，切断時にかかる荷重の平均は
約 2.5kgw・最大値は約 7.0kgw，切断による荷重がかかる時間の平均は約 1.2秒・
最大値は 4.7秒であった．この結果を受け，秤量としては最大値の 7.0kgwに食
材の質量分なども上積みし 8.0kgw以上が必要であると考える．また，精度及び
サンプリング周期においては，人間の操作による荷重の変化を不足なくとらえ
られることが望ましい．
14
3.3.2 設計及び実装
先に述べた要求仕様に基づき，具体的な設計方針を決定した．まず，機能要
求の 1つである，まな板上の荷重の観測を実現するため，センサボードの下部
の四隅に荷重センサを設置することにした．四隅に荷重センサを設置すること
で，負荷の分散ができるだけでなく，センサの測定値の差から，荷重がかかっ
ている重心の位置を推定することが可能となる．また，まな板本体を洗えるこ
とを実現するため，センサボード本体をまな板と一体にするのではなく，セン
サボードの上にまな板を置いて利用する形式とした．これにより，センサボー
ドを動かすことなく，まな板のみをいつでも持ち上げて洗うことができる．ま
た，センサボードに水がかかったときに，センサボード下部の荷重センサが濡
れることのないように，センサボードの側面部分をゴムで覆い，センサボード
にかかる水がセンサにかからずにそのまま調理台へ流れるようにした．包丁に
よる切断では，下向きの力だけでなく，前後方向にも力がかかる．センサボー
ドとまな板とを切り離したことにより，両者の接触面およびセンサボードの底
部が使用中にずれてしまう危険性がある．そこで，センサボード上部のまな板
との接触面にゴム板を４カ所貼付し，滑り止めとする．
非機能要求については，荷重センサの選定が重要である．本研究では，センサ
ボードの下部の四隅に設置する荷重センサとして，有限会社浅草ギ研製のAS-
FORCEを 4つ用いた [11]．AS-FORCEは，1つあたり 2.8kgwまでの測定が可
能な荷重センサである．4つのセンサに均等に力がかかっていると仮定すると，
全体で 11.2kgwまでの測定が可能であることになる．センサボードとその上に
置くまな板の質量分の荷重が合計 2.5kgw程度と考えられるので，それを差し引
いても 8.7kgwの秤量があり，要求仕様を満たしている．計算機との接続には多
くのPCに汎用的に用いられるCOMポートを利用する．センサの値はA/Dコ
ンバータによって 12bitの値に変換し，通信速度を 9600bpsとして PCと通信
する．実際に測定値を計測したところ，精度は 0.023kgw，サンプリング周期は
0.044秒であった．1回の切断でかかる力の最大値の平均が約 2.5kgw，切断にか
かる時間の平均が約 1.2秒であることから，十分に切断時の荷重の特徴を計測
できているといえる．
開発したセンサボードを図 5に，構成図を図 6に示す．また，実際に食材 (人
参)を切断した様子をセンサボードによって観測し，取得された切断時の荷重波
形を図 7に示す．
15
図 5: 開発したセンサボード
荷重センサ
AS-FORCEPC
A/Dコンバータ
COMポート
図 6: センサボードの構成
また，実際に荷重センサボードを使用して調理を行ったところ，センサが水
に濡れないこと，使用中にまな板が滑らないことを確認した．
16
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
時間時間時間時間
図 7: 観測された切断時の荷重波形
3.4 荷重を用いた従来研究荷重センサによって得られる情報は，
1. 物体固有の質量
2. 接触を伴う動作
に分けることができる．前者は，乗せた物体の質量分だけ荷重値が変動するの
で，一定の荷重値に変化が生じてその後再び安定したとき，その前後での荷重
の変化量を計算することで得られる．後者は，同じ種類の動作であれば荷重の
時間変化も似ていると考えられるので，荷重の時間変化を見て，閾値処理やテ
ンプレートとのマッチングなどによって得ることができる．
荷重から得られる情報のうち，前者のみを用いた従来研究として，食材の質
量を計測することで質量に応じて栄養価を提示する研究について述べる．また，
前者と後者を利用して，平面上で起こり得る自ら動かない物体に対して，質量
の計測及び基本的な動作の認識を行った研究，および，体重計を改良し，その
上に乗った人物の動作を推定する機器について述べる．
Chiらは，調理台の荷重を計測し，台上に置かれた食材の質量を測ることでそ
の食材の質量から栄養価を計算して表示するシステムを提案している [12]．こ
の手法では，食材の認識は行っておらず，人手で食材名を与えることでシステ
17
ムが食材を把握する．具体的には，食材とその食材の単位質量あたりの栄養価
をあらかじめデータベースに登録しておき，手動で与えられた食材名と計測さ
れた質量から栄養価を提示する．この手法では，荷重値が安定している時点を
検出して荷重の増分値を計算しており，動作による荷重の変化に対する考察は
なされていない．
Schmidtらは，テーブルの四隅に荷重センサを設置してその上に置かれる物
体の質量および位置を計測し，テーブルに置かれる物体は人間によってのみに
動かされるという制約を用いて，荷重を観測することでその物体に加えられた
動作を認識する手法を提案している [13]．認識対象の動作は，「物体が置かれる」・
「物体が倒れる」・「物体が持たれる」の 3種類としている．物体が置かれるとき
は，短い間荷重の測定値が振動した後に動作前よりも質量が増加することを利
用して認識する．物体が持たれるときは，置かれるときと同様に荷重の測定値
が振動した後，置かれるときとは逆に動作前より質量が減少することを利用し
て認識する．物体が倒れるときは，振動の幅が置かれるときや持たれるときと
比べて振動の幅が大きいことを利用して認識する．この手法では，置かれた物
体の認識に質量情報のみを用いているため，物体を認識するためには，認識対
象となる物体の質量が事前に分かっており，同じ質量の物体が複数種類存在し
ないことが前提条件となる．
また，家庭用ゲーム機の入力用機器として，体重計を改良し，人間の姿勢や
運動を推定するボード「バランスWiiボード」がある [14]．人間がボード上で
運動をした際は，左右の足にかかる荷重やそのバランスに変化が生じる．その
変化は，人間がボード上で行った運動の種類によって違うため，ボードに埋め
込んだ 4つの荷重センサを用いて，荷重の変化のパターンから，行われた動作
を推定する．この手法では，全身の重心移動を伴う大きな動きの動作について
は推定可能である．しかしながら，手の動きなどの細かい動作については推定
が困難である．
調理で行われる動作は，物体の質量変化が伴うものや人間の動作によって荷
重に変化が起こるものが混在する．また，動作についても，全身運動を伴う大
きな動作は少なく，手先を動かした細かい動作が多い．
18
3.5 荷重特徴を用いた切断検出開発したセンサボードは，4つの荷重センサからそれぞれ荷重値を取得できる
ため，4次元の時系列データが得られる．これにより，まな板にかかる荷重の重
心の位置とその推移を推測できるが，まな板上のどの場所で切断を行うかは調
理者が自由に選択することであるため，重心の位置を切断の有無の検出に利用
するのは適切ではない．また，包丁による 1回の切断における荷重の重心の推
移は切り方に影響すると考えられるが，本研究における切断検出では切り方の
影響を吸収して頑健な検出を行うことを目的とするので，重心の推移について
も，切断の検出においては重要な情報ではないと考えられる．そこで，4次元の
測定値の合計を取って 1次元の時系列データである荷重波形F (t)を生成し，こ
れを用いて，調理において起こり得る様々な動作の中から切断のみを検出する．
開発したセンサボードをまな板の下に敷いてその上で調理を行うことで，調
理におけるさまざまな動作のうち，まな板の上で行われる動作のみが観測され
る．実際にセンサボードを使用した環境で自然に調理を行ってもらい，観測さ
れる動作を調べたところ，包丁による切断，まな板上に食材や器具などの物体
を置くこと及びこれらを持つことの 3種類のみに限定されることがわかった．
このうち，包丁による切断は，人参のような硬い食材を切ったときのような
包丁とまな板との衝突を伴うものと肉や葉野菜などの柔らかい食材を切ったと
きのような衝突を伴わないものに大別できる．まな板上で観測される動作にお
ける荷重波形の例を図 8に示す．
包丁や食材などの物体をまな板の上に置いた時は，置かれる物体が直前まで
持っていた垂直方向の速度に応じて，一定値で安定していた荷重波形が一時的
に盛り上がり，その後，物体の質量分が増加した値で再び安定する．荷重波形
の値が一時的に増加する分は，高々数百 gw程度である．また，置かれる物体の
質量は，ジャガイモなどの小さい食材では 50g程度，人参・玉ねぎでは 100g～
150g程度，最も重いと考えられる大根 1本で 1kg程度である．
まな板の上に置かれた物体を手に持った時は，大きく 2種類に分けることが
できる．一つは，包丁などの器具やまだ切断加工が施されていない食材を持っ
た時で，置いた時と同様に，安定していた荷重波形が一時的に盛り上がり，その
後物体の質量分だけ荷重波形の値が減少した後，比較的短時間で安定する．も
う一つは，切られた食材を移動させるときで，切断してまな板に置かれた食材
19
010002000300040005000600070008000
0 1 2
[gw]
[s]
010002000300040005000600070008000
0 1 2
[gw]
[s]
(i) 物体を置いたとき (ii) 物体を持ったとき
010002000300040005000600070008000
0 1 2
[gw]
[s]
010002000300040005000600070008000
0 1 2
[gw]
[s]
(iii) 硬い食材を切ったとき (iv) 肉を切ったとき
図 8: まな板上で起こる動作の荷重波形
を一度に全て持つのは困難であるから，何回かに分けて食材をまな板上から移
動させる．このとき，荷重波形は小さく振動しながら，数秒から数十秒にわたっ
て，移動された質量分だけ減少する．切断するために一度まな板の上に置かれ
た食材が，切られずに別の場所に移動されることは稀であり，まな板上で食材
が持たれるときの多くは後者に分類される．食材によって異なるが，切られた
食材は持ち運びにくく，1回に手で持たれる食材の質量は多くて数百 g程度で
あると考えられるため，たとえ 1kg分の大根であったとしても，それ以上の質
量分が一度に減少することはない．2種類の物体を持ったときの荷重波形を図 9
に示す．図 9より，食材を切断する際は，物体をまな板上に置いたときやまな
板上の物体を持ったときに比べ，大きな荷重の変化が生じることがわかる．
食材を切断するときは，
• 包丁が食材を通してまな板を押す力
20
[gw]
[s]
0
500
1000
1500
2000
2500
0 5 10 15 20 25 30
[gw]
[s]
0
500
1000
1500
2000
2500
0 5 10 15 20 25 30
(i) 一度にすべての物体が持たれた時 (ii) 複数回に分けて物体が持たれた時
図 9: 物体を持ったときの荷重波形
• 切断中に食材が動かないように食材を固定するために手で押さえる力の合力がまな板にかかるため，短い時間で荷重が大きく増加し，その後元の値
に戻る．この 2つの力の大きさは，例えば鶏肉などの柔らかく切れにくい食材
を切る場合は後者の力が大きくかかり，人参などの硬くて切れやすい食材を切
る場合は前者の力が大きくかかるなど，切られる食材の大きさや物性に左右さ
れる．そのため，かかる荷重の最大値や荷重がかかり始めてから元の値に戻る
までの時間にはばらつきがあるが，硬い食材・柔らかい食材ともにこの現象が
観測される．刃を入れるときは力が徐々に大きくなっていくが，切り終わった時
には包丁を引き上げる動作と手を離す動作はほぼ同時に非常に短い時間で行わ
れる．そのため，切断時の波形の立ち上がりと立ち下がりを比較すると，立ち
下がりの方が単位時間あたりの変化量の絶対値が大きい傾向にある．また，置
くときは一度に質量が大幅に増加することがあるが，持つときは複数回に分け
て持たれることから，一度に質量が大幅に減少することは稀である．
そこで，荷重波形の立ち下がりの時間変化量を計算し，∆F (t)/∆t > −thcで
あれば切断があったものとして検出する．この閾値 thcは，一度にまな板から取
り除かれる物体の質量と切断時の荷重波形の変化量を基に，経験的に決定する．
21
第4章 切断時の荷重特徴を用いた食材認識
4.1 切断検出の応用荷重特徴を用いた切断検出には様々な応用が考えられ，大きく 2種類に分け
ることができる．一つは検出した切断の系列を使って情報を取得するもの，も
う一つは検出した切断の荷重波形を解析して情報を取得するものである．
切断の系列を使って情報を取得するものとしては，以下の応用が考えられる．
千切りやみじん切りで包丁を動かす速さは，料理の熟練度が大きく関係してい
ると考えられる．そこで，食材とそれに対する切り方が分かっている場合には，
切断の間隔を計算することによって熟練度を推定できる可能性がある．本研究
では食材認識を目的とするので，切断の系列は今後の課題とする．
切断の一つ一つの荷重波形は，調理者の熟練度や，食材の物性・形状を反映
していると考えられる．切断時の荷重波形を解析することで熟練度推定や食材
認識を実現できる可能性がある．
4.1.1 切断時の荷重波形と熟練度との関係の分析
熟練度が食材を切断した際の荷重波形に与える影響を調べるため，予備実験
を行った．調理の熟練者と初心者一人ずつに食材を切断してもらい，波形に出
る影響を調べた．切断の対象となる食材はしめじと小松菜の 2種類で，熟練度以
外の条件を揃えるために，切断する箇所として，しめじは石づきの部分を 1回
切断し，小松菜は１束を一口大に 6回切断することにした．波形の特徴として
は，荷重の最大値と切断にかかる時間の 2種類とした．切断にかかる時間につ
いては，映像を基に包丁を動かしている間を切断中とし，その時間を計測した．
熟練度と荷重の最大値との関係および熟練度と切断にかかる時間との関係を
図 10・図 11に示す．図 10および図 11に示すように，2種類の食材ともに，初
心者のほうが熟練者よりも大きな荷重がかかり，切断にかかる時間に関しても
やや長くなることがわかった．この理由として，初心者は包丁を上から押し付
けて切りがちであることが原因であると考えられる．本来，包丁は前後に引く
ことで摩擦力を生じさせ，その力で食材を切断している．初心者のほうが包丁
の前後の動きが小さいために，上から大きな力をかけて切断していると推測さ
れる．
22
0
1000
2000
3000
4000
5000
6000
7000
荷重
[gw]熟練者
初心者
0
1
2
3
4
5
6
時間
[秒]熟練者
初心者
(i) 熟練度と荷重の最大値との関係 (ii) 熟練度と切断時間との関係
図 10: 熟練度と切断時の荷重の最大値・切断時間との関係 (しめじ)
0
2000
4000
6000
8000
10000
12000
1回目 2回目 3回目 4回目 5回目 6回目
荷重
[gw] 熟練者
初心者
00.51
1.52
2.53
3.54
4.55
1回目 2回目 3回目 4回目 5回目 6回目
時間
[秒] 熟練者
初心者
(i) 熟練度と荷重の最大値との関係 (ii) 熟練度と切断時間との関係
図 11: 熟練度と切断時の荷重の最大値・切断時間との関係 (小松菜)
4.1.2 切断時の荷重の重心位置と食材の種類との関係の分析
開発した荷重センサボードでは四隅の荷重センサによって 4次元の測定値を
得ることができる．これを用いることで，力がかかっている重心の位置とその
推移を算出することができる [13]．前述の切断検出の際は，力がかかっている
重心位置は切断の検出において重要ではないとして，4次元の測定値の総和を
とった 1次元の荷重波形を用いた．しかし重心の位置の推移は食材の切り方を
反映すると考えられ，それが食材の認識に有効である可能性がある．
そこで，切断時の荷重の重心位置の推移と食材の種類との関係について調べ
るための予備実験を行った．熟練度の影響を排除するために調理者を固定し，大
根・生姜・しめじの 3種類の食材を 3回ずつ切断し，その切断時における荷重
23
の重心位置とその推移を算出した．切断した部位の違いによる影響をなくすた
め，食材ごとに切断した部位を統一し，大根はへたを落としたもの，生姜は輪
切りにしたもの，しめじは石づきを落としたものをそれぞれ採用した．結果を
図 12に示す．図 12において，x座標，y座標はそれぞれ [0-1]で正規化し，x座
標は数字が大きい方が調理者から見て右側，y座標は数字が大きい方が調理者
から見て奥側である．
図 12より，全ての切断において切断時に荷重の重心位置が移動していること
がわかる．しかし，重心位置の推移の仕方は同じ種類の食材の切断であっても
異なっており，食材の認識に対してそのまま利用するのは困難であると予想さ
れる．そこで，以降では切断検出の際と同様に，4次元の測定値の総和をとった
1次元の荷重波形を用いる．
4.1.3 切断時の荷重波形と食材の物性・形状との関係の分析
食材の物性や形状が食材を切断した際の荷重波形に与える影響を調べるため，
予備実験を行った．熟練度の影響を排除するため，同一調理者が食材を切断す
る．荷重波形に影響が出ると考えられる要素としては，切断面の面積の大きさ，
食材の硬さ，切りにくさが考えられる．切断面の面積の大きさは，一つの食材
の大きさと食材の同時に切る本数に分ける．それぞれ一つのみに変化があるよ
うな食材の組み合わせを用意し，切断時の荷重波形と熟練度との関係について
の予備実験と同様に，波形の特徴としては荷重の最大値と切断にかかる時間の
2種類とした．
荷重波形と食材の大きさとの関係
人参を直径が 2cm・3cm・6cmの部分で 2回ずつ切断した際の荷重波形の
特徴の平均値を図 13に示す．また，直径が 1cm・2cmのソーセージを 5回
ずつ切断した際の荷重特徴の平均値を図 14に示す．
図 13と図 14より，食材が大きい方がやや大きな力がかかり，切断にかか
る時間が長くなることが分かった．
荷重波形と食材の本数との関係
アスパラガスを 1本ずつ 5回切断した場合と 3本ずつ 5回切断した場合の
荷重波形の特徴の平均値を図 15に示す．また，ごぼうを 1本ずつ 10回切
断した場合と 3本ずつ 5回切断した場合の荷重波形の特徴の平均値を図 16
に示す．
図 15と図 16より，本数が多い方がより大きな力がかかり，切断にかかる
24
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
(i) 大根 (1回目) (i) 大根 (2回目) (iii) 大根 (3回目)
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
(iv) 生姜 (1回目) (v) 生姜 (2回目) (vi) 生姜 (3回目)
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00
0.00 0.20 0.40 0.60 0.80 1.00
0.00 0.20 0.40 0.60 0.80 1.00
時間時間時間時間
x座標
y座標
(vii) しめじ (1回目) (viii) しめじ (2回目) (ix) しめじ (3回目)
図 12: 重心位置の推移と食材の種類との関係
25
0100020003000400050006000
2 3 6
荷重
[gw]
直径[cm]
0
0.5
1
1.5
2
2.5
1 2 3 4 5 6
時間
[秒]
直径[cm]
(i) 大きさと荷重の最大値との関係 (ii) 大きさと切断時間との関係
図 13: 大きさと切断時の荷重の最大値・切断時間との関係 (人参)
0200400600800
1000120014001600
1 2
荷重
[gw]
直径[cm]
0.580.6
0.620.640.660.680.7
0.720.740.760.78
1 2
時間
[秒]
直径[cm]
(i) 大きさと荷重の最大値との関係 (ii) 大きさと切断時間との関係
図 14: 大きさと切断時の荷重の最大値・切断時間との関係 (ソーセージ)
時間が長くなることが分かった．
荷重波形と食材の硬さとの関係
大きさを揃えることができ，かつ硬さが異なる食材として，エリンギと人
参，ソーセージとごぼうの 2種類のセットを用意した．直径 2cmのエリン
ギを 5回切断した場合と人参の直径 2cmの部分を 2回切断した場合の荷重
波形の特徴の平均値を図 17に示す．また，直径 1cmのソーセージを 5回切
断した場合と直径 1cmのごぼうを 10回切断した場合の荷重波形の特徴の
平均値を図 18に示す．
図 17と図 18より，硬い食材を切断するほうがより大きな力がかかり，切
断にかかる時間がやや長くなることが分かった．
26
0500
100015002000250030003500400045005000
1 3
荷重
[gw]
本数
00.20.40.60.81
1.21.4
1 3
時間
[秒]
本数
(i) 本数と荷重の最大値との関係 (ii) 本数と切断時間との関係
図 15: 本数と切断時の荷重の最大値・切断時間との関係 (アスパラガス)
0100020003000400050006000
1 3
荷重
[gw]
本数
00.20.40.60.81
1.21.41.61.8
1 3
時間
[秒]
本数
(i) 本数と荷重の最大値との関係 (ii) 本数と切断時間との関係
図 16: 本数と切断時の荷重の最大値・切断時間との関係 (ごぼう)
荷重波形と食材の切りにくさとの関係
硬さ・大きさを同程度に揃えることができ，かつ包丁での切りにくさが異
なる食材として，鶏肉とこんにゃくを用意した．奥行き・高さを 2cmに揃
えたこんにゃくと鶏肉をそれぞれ 5回ずつ切断した際の荷重波形の特徴の
平均値を図 19に示す．
図 19より，切りにくい硬い食材を切断するほうがはるかに大きな力がかか
り，切断にかかる時間が長くなることが分かった．
27
0
1000
2000
3000
4000
5000
6000
エリンギ 人参
荷重
[gw]
00.20.40.60.81
1.21.41.6
エリンギ 人参
時間
[秒]
(i) 硬さと荷重の最大値との関係 (ii) 硬さと切断時間との関係
図 17: 硬さと切断時の荷重の最大値・切断時間との関係 (エリンギと人参)
0
500
1000
1500
2000
2500
ソーセージ ごぼう
荷重
[gw]
00.10.20.30.40.50.60.70.80.9
ソーセージ ごぼう
時間
[秒]
(i) 硬さと荷重の最大値との関係 (ii) 硬さと切断時間との関係
図 18: 硬さと切断時の荷重の最大値・切断時間との関係 (ソーセージとごぼう)
4.2 食材認識4.2.1 認識に用いる切断
切断時の荷重波形は，食材の切断する部位にも大きく依存する．たとえば，人
参のように部位によって太さが変化する場合，同じ個体を切断しても，へたに
近い部分を切る時と末端に近い部分を切る時では太さが大きく異なるため，異
なった波形特徴が得られる．ここで，自然な調理順序に影響を与えずに切断す
る部位をそろえるため，食材個体への 1回目の切断を認識対象とすることを考
える．たとえば，人参や玉葱の場合はへたを落とすなど，多くの食材では食材
個体への 1回目の切断では切断する部位が同じであることが多い．また，玉葱
のようにへたを 2カ所落とす場合は，その両方を認識対象として用いることが
28
0
1000
2000
3000
4000
5000
6000
こんにゃく 鶏もも肉
荷重
[gw]
0
0.5
1
1.5
2
2.5
こんにゃく 鶏もも肉
時間
[秒]
(i) 切りにくさと荷重の最大値との関係 (ii) 切りにくさと切断時間との関係
図 19: 切りにくさと切断時の荷重の最大値・切断時間との関係 (こんにゃくと
鶏肉)
できる．そこで本研究では，検出した切断のうち，食材個体への 1回目の切断
およびそれと同等のもののみを収集し認識に使用する．
4.2.2 切断セグメントの切り出し
予備実験により，切断時の荷重波形が食材の物性・形状を反映することが明
らかになった．そこで，食材認識に用いる特徴量を抽出するため，切断時の荷
重波形を切断セグメントとして切り出す．
切断時の振動音を用いた三功らの手法 [4]では固定長のセグメントを用いてい
る．切断時の振動音のように，一定時間音特徴が現れる場合は切り出す位置・
長さは重要ではない場合は，固定長のセグメントで十分である．しかし，まな
板上の荷重を用いた場合，荷重波形は時間変化を伴うので，固定長のセグメン
ト切り出しは適切ではなく，切断の影響を受けた部分のみを過不足なく切り出
すことが好ましい．
荷重波形が包丁による切断の影響を受けるのは，力がかかり始めてから，食
材の切断が終わって再び荷重波形が安定するまでの間である．予備実験で示し
たように，この時間は食材の種類や大きさによって大きく異なる．そこで，検
出した切断に対し，最大値や切断にかかる時間などの荷重特徴の違いに関わら
ず，切断開始時刻 tsおよび切断終了時刻 teを求めることを考える．
切断検出で得られた時刻を tcとする．tc ≥ teを満たし，∆F (t)/∆t < −the
となる最初の時刻を teとする．1つの切断であっても，切り方によって荷重波
形に複数の峰を生じることがある．そこで，tc > tsを満たし∆F (t)/∆t > ths
29
となる最初の時刻の集合のうち，F (te)− F (ts) < δを満たす最も teに近い時刻
を tsとすることで，1つの切断において複数の峰がある場合にも適切にセグメ
ントを切り出すことができる．この 3つの閾値 ths・the・δはさまざまな種類の
切断時の荷重波形から経験的に決定する．通常，立ち上がりよりも立ち下がり
のほうが変化量の絶対値が大きいので，|the| > |ths|とする．図 20に，切断セ
グメント切り出しの様子を示す．図 20の (ii)は，峰の中間の時刻は，F (te)と
の荷重の差が δ以上であるために切断の最初とみなされず，切断セグメントが
2つの峰を適切に含んでいることを示している．
0
2000
4000
6000
8000
荷重荷重荷重荷重
[gw]
時間時間時間時間
0
2000
4000
6000
8000
荷重荷重荷重荷重
[gw]
時間時間時間時間
(i) 峰が 1つの場合 (ii) 峰が 2つの場合
図 20: 切断セグメントの切り出し
4.2.3 特徴抽出
予備実験より，食材の物性・形状が荷重波形に大きな影響を与えていることが
わかった．そこで，切り出したセグメントより食材を識別するために有効な特
徴量を抽出する．食材の物性・形状は，切断時の荷重波形のスケールと形状に影
響を与えると考えられるため，荷重波形のスケールに関する特徴量と，荷重波
形の形状に関する特徴量をそれぞれ定義する．荷重波形のスケールを表わすも
のとして，図 21に示すように，最大値Max・切断時間Duration・力積 Impulse
の 3種類の特徴量を定義する．また，荷重波形の形状を表わすものからピーク
位置 PeakPosition・尖度Kurtosisの 2次元の特徴量を定義する．
最大値 (Max)
もっとも力がかかっている瞬間における荷重の値．質量による影響を除く
ため，最大値から切断開始時刻の荷重波形値を引く．
30
Max =te
maxt=ts
F (t) − F (ts) (1)
切断時間（Duration）
1つの切断の持続時間．
Duration = te − ts (2)
力積 (Impulse)
切断時における，切断による荷重の増加値の時間積分．
Impulse =
te∑t=ts
(F (t) − F (ts)) (3)
図 21: スケールに関する特徴量
ピーク位置（PeakPosition:PP )
31
切断時の荷重波形において，最大値を示すピークが現れる時間位置．[0-1]
で正規化しており，0に近づくほど切断の初期，1に近づくほど切断の終盤
付近にピークがあることを示す．
PP =tp
Duration (tp = arg maxte
t=tsF (t)はピーク時刻) (4)
尖度（Kurtosis）
切断時における重さの平均値／最大値であり，[0-1]で表わす．大きくなる
ほど矩形に近づき，波形が三角形であれば 0.5を示す．
Kurtosis =Impulse/Duration
Max=
Impulse
Max × Duration(5)
4.2.4 識別器
特徴抽出によって得られた 5次元の特徴量から食材認識を行う識別器につい
て考える．本研究では識別器としてサポートベクターマシン (SVM)を用いる．
SVMは，マージン最大化と呼ばれる，学習サンプル群において各サンプルとの
特徴空間での距離が最も大きくなるような超平面を求める基準を用いることで，
識別境界を学習する。本来は線形分離可能な問題にしか適用できないが，カー
ネル関数を用いることで特徴空間を拡張し，拡張された特徴空間で線形分離可
能となるような超平面を構成することができる．
32
第5章 実験
5.1 認識対象の食材食材認識を実現する上で，認識対象とする食材の種類は問題の難しさを大き
く左右する．また，有用性を議論する上では，頻出する食材を認識できること，
および頻繁に共起する食材同士を区別できることが望ましい．そこで，食材の
種類の数だけでなく，その食材の使用頻度・共起性に基づき認識対象の食材を
決定する．本研究では，妹尾が提案した食材相関図 [15]に基づいて，認識対象
の食材を決定する．この食材相関図は，家庭で利用されている主要 321品目の
食材を使用頻度に基づいて使用頻度が高い順からレイヤー 1～4に番号が振られ
た 4つのレイヤーに分割することで使用頻度を定量化する．さらに，食材間の
相関関係をコホーネン・ネットワークを用いて算出することで食材同士の共起
性を客観的に示し，木構造で表現したものである．分類結果は，酒・みりん・醤
油をベースとする＜和食＞，片栗粉・しょうが・ねぎ・ごま油をベースとする
＜アジア食＞，にんにく・バター・オリーブオイルをベースとする＜洋食 1＞，
玉ねぎ・胡麻をベースとする＜洋食 2＞の 4つの木構造で表される．
このうち本研究では，＜和食＞に使われる食材およびカテゴリを問わず頻出
する食材に着目し，その中に含まれる被切断食材を認識対象とする．具体的に
は，＜和食＞のレイヤー 1・レイヤー 2の被切断食材（豆腐・ほうれん草・しめ
じ・えのき・しいたけ・ごぼう・大根・油揚げ・鶏肉），及び，頻出食材であ
ると考えられる和食以外のすべてのカテゴリのレイヤー 1の被切断食材（レモ
ン・ジャガイモ・人参・玉葱・ニンニク・生姜・白ネギ）の計 16種類の食材を
認識対象とする．
5.2 切断検出の評価実験提案した切断検出手法が，食材の種類に依存せずに頑健に検出できることを
示すために，切断検出の精度評価を行った．評価に用いるデータとしては，食
材に寄らずに切断を検出できることそ示すために様々な種類の食材の切断が含
まれるものを使用した．また，あらゆる動作の中から切断のみを検出できるこ
とを示すためにまな板上で行われる様々な動作が行われているものを使用した．
熟練度による影響を排除するために調理はすべて同一人物が行い，包丁の動か
し方は料理本や料理の手本動画を参照した．
33
切断検出の閾値 thcは，まな板上で行われる動作による荷重の変動を考慮し
て経験的に決定した．ここでは，重い物体を瞬時に持ったときの荷重変化量を
誤検出しないようにするために，thc = 4.5kgw/sとした．検出結果の正否につ
いては，調理台上方のカメラの映像を参照し，検出したものが実際に切断時に
ものであれば正解とした．
5.2.1 適合率の評価
検出されたもののうち，包丁による切断によるものがどの程度含まれている
かを検証した．その結果を表 1に示す．
表 1: 検出された動作
動作 回数 割合 [％]切断 1282 98.1
鶏肉を押さえる 8 0.6玉葱を押さえる 2 0.15
包丁がぶつかる (ジャガイモ切断時) 2 0.15包丁がぶつかる (人参切断時) 2 0.15包丁がぶつかる (しいたけ切断時) 2 0.15
大根を持つ 9 0.69
表 1に示すように，適合率 98.1％の精度で正しく切断を検出されたことがわ
かった．誤検出となった 25件は食材を押さえただけで切断されなかったケース
や，手に持った包丁が誤ってまな板に当たったケース，重い食材 (大根)を一度
に持ちあげたケースであった．これらはいずれも，切断と比べて持続時間や荷
重の変化量が小さかった．したがって，最大値や力のかかっている時間などを
考慮することで，誤検出を抑えることができると考えられる．
また，まな板の上に置かれた食材や器具を持ったときに誤検出したのは大根
を持ったときの 9件のみであり，まな板上で起こり得ると想定された動作に対
して誤検出がほとんど発生しないことがわかった．
5.2.2 再現率の評価
食材ごとに，実際に行われた切断のうちのどれだけを検出できたかを検証し
た．結果を表 2に示す．
表 2に示すように，16種類の食材のうち 14種類において 100％の再現率を達
成し，その他の 2種類の食材に関しても 98％以上の再現率を得た．検出漏れと
なったのは，柔らかく切れやすい豆腐を切った時と，細いしいたけの石づきを
34
表 2: 食材ごとの切断検出の再現率
食材 切断数 検出数 再現率 [％]玉葱 140 140 100
ジャガイモ 132 132 100人参 135 135 100鶏肉 86 86 100白ネギ 60 60 100大根 68 68 100えのき 50 50 100ごぼう 73 73 100豆腐 52 51 98.1油揚げ 56 56 100レモン 60 60 100ニンニク 50 50 100生姜 61 61 100しめじ 60 60 100しいたけ 100 98 98.0ほうれん草 102 102 100合計 1285 1282 99.8
切った時のみであり，いずれも食材を強く押さえずに切断することができ，大
きな力がまな板にかからないケースであった．
5.3 食材認識の評価実験5.3.1 認識対象とする切断
同じ種類の食材であっても，切断する部位によって荷重波形の特徴は大きく
異なる．そこで，認識対象の食材について食材への 1回目の切断を認識対象と
する．食材ごとに最初に切断する部位を書籍などを参考に決定し，表 3に示す．
5.3.2 識別器による認識結果
本研究で用いる SVMは，使用するカーネルによって識別結果が大きく変わ
る．ここでは使用するカーネルとしてPukを採用した．カーネルのパラメータ
は σ = 0.5，ω = 0.5とした．評価方法は，採取したサンプルを 10-fold Cross
Validation方式でテストし，Confusion Matrixの形式で識別精度を評価した．
切断セグメント切り出しのための閾値 ths，the，δは荷重波形の形状から食
材によらずにセグメントを適切に取り出せる閾値を分析し，それぞれ，ths =
0.76kgw/s，the = 1.5kgw/s，δ = 1000gwとした．
各食材のサンプル数を表 4に，16種類の食材を用いた場合の識別結果を図 22
に示す．図 22において，行が正解食材，列が認識結果を表し，単位は％である．
35
表 3: 認識対象とする切断の部位
食材 切断部位玉葱 へたを落とす
ジャガイモ 中心を 2つに切る人参 へたを落とす鶏肉 横に切る白ネギ 輪切りにする大根 へたを落とすえのき 石づきを落とすごぼう 中心を 2つに切る豆腐 中心を 2つに切る油揚げ 中心を 2つに切るレモン 中心を 2つに切るニンニク 縦に切る生姜 輪切りにするしめじ 石づきを落とすしいたけ 石づきを落とすほうれん草 根に近い茎を切る
表 4: 食材ごとのサンプル数
玉葱 ジャガイモ 人参 鶏肉 白ネギ 大根 えのき ごぼう52 117 60 78 52 65 49 64豆腐 油揚げ レモン ニンニク 生姜 しめじ しいたけ ほうれん草50 56 57 49 59 59 44 51
図 22に示すように，全 16種類の食材において正解食材が他の食材よりも高
い識別値であることが分かり，上位 5種類の食材においては 80%以上の認識率
となることが分かった．
5.3.3 考察
認識結果の食材が正解食材と異なる 240通りの組み合わせのうち 200通りの
組み合わせにおいて，間違って対応づけられた割合が 5%未満となり，高精度で
識別できることがわかった．誤認識が少ない組み合わせの中には，豆腐と大根，
人参と鶏肉，ジャガイモと生姜などのように，色特徴のみでは識別が困難な例
も多く含まれている．
誤認識が多い組み合わせとしては，人参・大根・生姜の根菜類，えのき・しめ
じのきのこ類，ホウレン草・白ネギ，白ネギ・ニンニク・ジャガイモが挙げら
れる．人参・大根・生姜の切断のうち，識別が困難である例の波形を図 23に示
す．図 23において，それぞれ波形を見ても区別が困難であることがわかる．こ
れらの 3種類の食材はすべて根菜であり，食材の形状や物性が似ていることが
36
人
参
大
根
生
姜
ご
ぼ
う
え
の
き
し
め
じ
ホ
ウ
レ
ン
草
白
ネ
ギ
ニ
ン
ニ
ク
ジ
ャ
ガ
イ
モ
豆
腐
油
揚
げ
し
い
た
け
玉
葱
レ
モ
ン
鶏
肉
人参 40.0 15.0 15.0 11.7 1.7 10.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 6.7 0.0 0.0
大根 10.8 26.2 18.5 3.1 13.8 7.7 4.6 0.0 0.0 0.0 0.0 1.5 0.0 7.7 4.6 1.5
生姜 10.2 10.2 57.6 1.7 8.5 10.2 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.7 0.0
ごぼう 0.0 0.0 3.1 81.3 1.6 0.0 7.8 4.7 0.0 1.6 0.0 0.0 0.0 0.0 0.0 0.0
えのき 2.0 6.1 20.4 0.0 59.2 10.2 0.0 0.0 0.0 0.0 0.0 2.0 0.0 0.0 0.0 0.0
しめじ 8.5 3.4 1.7 6.8 5.1 66.1 0.0 0.0 0.0 1.7 0.0 0.0 0.0 5.1 1.7 0.0
ホウレン草 0.0 3.9 0.0 17.6 0.0 2.0 64.7 9.8 0.0 2.0 0.0 0.0 0.0 0.0 0.0 0.0
白ネギ 0.0 0.0 0.0 1.9 0.0 0.0 13.5 50.0 19.2 11.5 0.0 0.0 3.8 0.0 0.0 0.0
ニンニク 0.0 0.0 0.0 0.0 0.0 0.0 0.0 10.2 73.5 8.2 2.0 0.0 6.1 0.0 0.0 0.0
ジャガイモ 2.6 0.0 0.0 1.7 0.0 3.4 0.9 6.0 6.0 75.2 0.0 3.4 0.9 0.0 0.0 0.0
豆腐 0.0 2.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 96.0 0.0 2.0 0.0 0.0 0.0
油揚げ 0.0 0.0 0.0 0.0 0.0 3.6 0.0 0.0 0.0 7.1 0.0 85.7 1.8 0.0 1.8 0.0
しいたけ 0.0 0.0 0.0 0.0 0.0 0.0 0.0 15.9 15.9 4.5 11.4 11.4 40.9 0.0 0.0 0.0
玉葱 5.8 0.0 0.0 0.0 0.0 11.5 0.0 0.0 0.0 0.0 0.0 0.0 0.0 78.8 3.8 0.0
レモン 0.0 3.5 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 3.5 91.2 1.8
鶏肉 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 7.7 92.3
0～4.9% 5.0～9.9% 10.0～19.9% 20.0～49.9% 50.0～79.9% 80.0%～
正解食材
認識結果
図 22: 16種類の食材の認識結果
誤認識の原因であると考えられる．また，ごぼうは，他の 3つの根菜と比較し
て切断面の大きさが群を抜いて小さいために誤認識が少なかったと考えられる．
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
(i) 人参 (ii) 大根 (iii) 生姜
図 23: 認識が困難である例の荷重波形 (人参・大根・生姜)
37
えのき・しめじの切断のうち，認識が困難である例の波形を図 24に示す．図
24において，それぞれ波形を見ても区別が困難であることが分かる．これらの
2種類の食材はそれぞれきのこの石づきを切断しており，持ち方や食材の大き
さ・物性が似ていることが誤認識の原因であると考えられる．同じきのこ類の
中で，しいたけとしめじ・きのことの誤認識が少ないのは，しいたけは石づき
が小さいので波形で区別可能であるからと考えられる．一方で，しいたけと他
の食材 (白ネギ・ニンニク・豆腐・油揚げ)との誤認識が多いのは，しいたけは
形状の個体差が大きく，それにより波形のばらつきが大きいことが原因である
と考えられる．
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
(i) えのき (ii) しめじ
図 24: 認識が困難である例の荷重波形 (えのき・しめじ)
また，ごぼう以外の根菜類としいたけ以外のきのこ類との誤認識が多い原因
としては，食材の大きさが近く，食材の物性が均質であるという点で共通点が
あるということが考えられる．
ホウレン草・白ネギの切断のうち，認識が困難である例の波形を図 25に示す．
図 25において，それぞれの波形を見ても区別が困難であることが分かる．これ
らの 2種類の食材はそれぞれ茎の部分を切断しており，物性が似ていることが
誤認識の原因であると考えられる．
白ネギ・ニンニク・ジャガイモの切断のうち，認識が困難である例の波形を
図 26に示す．図 26において，それぞれの波形を見ても区別が困難であること
が分かる．これらの 3種類の食材は，いずれも切断面が小さくて食材が切れや
すい物性であるために波形のスケールが小さい点で共通していることが誤認識
38
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
(i) 白ネギ (ii) ホウレン草
図 25: 認識が困難である例の荷重波形 (白ネギ・ホウレン草)
の原因であると考えられる．
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
0
1000
2000
3000
4000
5000
6000
荷重荷重荷重荷重
[gw]
(i) 白ネギ (ii) ニンニク (iii) ジャガイモ
図 26: 認識が困難である例の荷重波形 (白ネギ・ニンニク・ジャガイモ)
39
第6章 結論及び今後の課題
調理アドバイスの提示を目的として，早期の作業である切断時に食材を認識
する手法を提案した．切断は食材の中に刃を通して分割する調理操作であり，食
材に変化を与えるだけでなく，切断時にさまざまな食材の特徴を取得できるこ
とが期待できる．尾原らは，切断の前後で食材の見えが変化することに着目し，
切断の前後の色の変化を用いた認識手法を提案した．また三功らは切断時に包
丁が食材を通過する際の振動音が食材の物性を反映することに着目し，切断時
の振動音を用いた認識手法を提案した．
実際の調理で切断時の特徴を用いて食材認識をするためには，切断の自動検
出が不可欠である．尾原らの手法及び三功らの手法では，切断時に発生する音
で容易に切断が検出可能と仮定し，切断検出手法を提案していなかったが，実
際の調理の場面では様々な衝突音が発生するため，音での切断検出は困難であ
る．一方で，切断時には包丁がまな板を押す力と手で食材をおさえる力の影響
で，他の動作と比べて大きな荷重がまな板にかかる．
そこで，切断を頑健に検出するために，荷重センサボードを開発してまな板
上の荷重を測定できるようにした．切断の動作の中でも，切り終わった際にま
な板にかかっていた 2種類の力が同時にかからなくなることに着目し，荷重の
急激な立ち下がりを切断とみなして検出する手法を提案した．
振動音を用いた三功らの食材認識手法では食材の内部の物性のみを食材認識
に利用していたが，切断時の荷重波形は食材の内部の物性のほかにも，食材の
大きさや形状に影響する．そこで，荷重波形から特徴量を抽出し，これを SVM
にかけることで食材認識を実現した．特徴量は，切断時の荷重波形のスケール
に関するものを 3つ，形状に関するものを 2つ抽出した．認識対象の食材は，妹
尾が提案する食材相関図に基づき，家庭の料理で頻出し，かつ共起する食材を
16種類選出した．
実際の調理を想定した場面でこれらの食材を切断して評価を行った結果，切
断検出については，適合率 98.1％，再現率 99.8％であり，食材認識については，
平均で 67.4％，上位 5種類の食材においては 80％以上の精度であった．誤認識
が多かったのは人参・大根・生姜の根菜類や，えのき・しめじのきのこ類，ホ
ウレン草・白ネギなど，形状や物性が似ている食材同士であることが多かった．
食材認識については，本研究で提案した切断検出手法により，画像を使った
40
尾原らの手法，振動音を使った三功らの手法を実際の調理に応用することが可
能となったので，提案手法で認識率が低かった食材の組み合わせについては，尾
原らの手法，三功らの手法を同時に併用することで解決することが見込まれる．
包丁による切断加工の観測に関する予備実験の結果，切断時の観測には食材・
熟練度・切り方などの自由度があり，荷重波形はそれぞれの影響を受ける事が
分かった．本研究では，調理者を固定することで熟練度の違いによる影響を排
除し，切り方については食材への第 1回目の切断では同じ個所を同じように切
るという妥当な仮定を敷いた上で，食材認識を行った．荷重特徴を用いること
で，食材・切り方による影響を固定することができれば熟練度推定が，食材・熟
練度による影響を固定することができれば切り方認識がそれぞれ実現できる見
込みがある．4つのセンサから得られる荷重の重心位置の推移については，本
研究では食材の認識に大きく影響を及ぼさないとして使用しなかったが，熟練
度推定や切り方認識においては，これを用いることで精度を向上できる可能性
がある．また，本研究では個々の切断から食材認識に用いる特徴量を独立に抽
出していたが，切断の間隔など，複数の切断からなる切断の系列を用いること
で，熟練度推定や切り方認識に有効な情報を取得できると考えられる．これら
について実験を重ねて考察を行うことが今後の課題である．
41
謝辞
本研究を行うにあたり，多くの御教示，熱心なご指導を賜りました美濃導彦
教授に深く感謝致します．また，本論文をご査読いただき有用なご意見を賜り
ました中村裕一教授に深くお礼を申し上げます．さらに，研究について数多く
助言を頂き，本論文の作成についてもご指導を頂きました美濃研究室の椋木雅
之准教授，舩冨卓哉助教に深く感謝致します．最後に，本研究を進めるにあた
り貴重な議論の場を提供していただきました認識グループの皆様，並びに，美
濃研究室の皆様に深く感謝致します．
42
参考文献
[1] しゃべる！DSお料理ナビ．http://www.nintendo.co.jp/ds/a4vj/
[2] 椎尾一郎, 浜田玲子, 美馬のゆり. ”Kitchen of the Future: コンピュータ強
化キッチンとその応用”．(＜特集＞ インタラクティブソフトウェア), コン
ピュータソフトウェア, Vol. 23, No. 4, pp. 36.46 (2006).
[3] 橋本敦史,森直幸,舩冨卓哉,角所考,美濃導彦. ”外見の変化モデルを利
用した調理中の食材追跡”．画像の認識・理解シンポジウム (MIRU2009),
PP.1285-1292, 2009-7.
[4] 三功 浩嗣, 山肩 洋子, 角所 考, 美濃 導彦. ”調理加工に起因する振動音を
用いた食材識別”．電子情報通信学会 2006年総合大会, Mar 2006．
[5] 山肩洋子,角所考,美濃導彦. ”調理コンテンツの自動生成のためのレシピ
テキストと調理観測映像との対応付け”．電子情報通信学会論文誌, Vol.90-
D, No.10, pp.2817-2829, 2007.
[6] 柴田 知秀, 加藤 紀雄, 黒橋 禎夫. ”言語情報と映像情報の統合による物体
にモデル学習と認識”．情報処理学会論文誌, Vol.49, No.3, pp.1451-1464,
2008.
[7] 村上 奨, 中内 靖. ”環境知能化による調理操作の認識と支援”．計測自動制
御学会論文集, Vol.44, No.12, 2008.
[8] 尾原 秀登, 山肩 洋子, 角所 考, 沢田 篤史, 美濃 導彦, ”視覚的特徴変化と
可能な操作の制約による食材と調理操作の推定”．電子情報通信学会 2004
年総合大会, Vol.A-16-17, 2004-3.
[9] 山肩 洋子, 尾原 秀登, 沢田 篤史, 角所 考, 美濃 導彦, ”食材に視覚的特徴
変化を生じさせる加工における食材と加工動作の同時認識”．電子情報通
信学会論文誌, Vol.J90-D No.9 PP.2550-2561, 2007-9.
[10] 大内 達矢, 金沢 憲一. ”刺身包丁の切断特性”．日本機械学会第 12回機械
材料・材料加工技能講演会講演論文集, 2004．
[11] 浅草ギ研感圧センサーの紹介http://www.robotsfx.com/robot/ForceSen.html
[12] Chi, P.-y., Chen, J.-h., Chu, H.-h. and Chen, B.-Y. ”Enabling Nutrition-
Aware Cooking in a Smart Kitchen”．Proc. CHI 2007 Extended Abstracts,
ACM Press (2007), 2333-2338.
[13] Schmidt, M. Strohbach, K. Van Laerhoven, A. Friday and H.-W. Gellersen.
43
”Context Acquisition based on Load Sensing”．In Proceeding s of Ubicomp
2002, G. Boriello and L.E. Holmquist (Eds). Lecture Notes in Computer
Science, Vol 2498, ISBN 3-540-44267-7; Springer Verlag, Gothenburg, Swe-
den, September 2002.
[14] バランスWiiボードhttp://www.nintendo.co.jp/wii/rfnj/balance/index.html
[15] 妹尾 紗恵. ”食材相関図から見た料理構造解析 ―安定性と可変性にみる日
本の家庭料理―”．日本家政学会誌, Vol.59, No.4, pp-211-219, 2006．
44
