パン画像識別システム · パン等製造会社・㈱ドンク・㈱神戸屋・㈱敷島パン・ミスタードーナツ開発委託実験連携経済産業省戦略的基板技術高度化支援事業

Copyright © 2017 BRAIN

株式会社ブレイン兵庫県西脇市鹿野町1352

第３回スマートSME（中小企業）研究会

平成29年5月17日

パン画像識別システム


企業概要

創業 1982年（昭和５７年）２月

資本金 5000万円

所在地兵庫県西脇市鹿野町1352


NHK NC9 採用 1984

円相場プロ野球速報


複数個のパンを撮影し種類と個数を識別して

金額を計算する

BakeryScan®

画像識別を精算業務に応用した世界初の実用システム


100種類

開発背景

30種類

ベーカリーショップでの実験結果

多品種の方が単位面積の販売効率が良い

1.5倍

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0CAcQjRxqFQoTCJ3f5qX-38gCFePhpgodXJ0Jqg&url=http://you-sokuhou.blomaga.jp/articles/36631.html&psig=AFQjCNGxZPhzF9CieCDi1WWRQFslx0NkzQ&ust=1445943702441447

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0CAcQjRxqFQoTCJ3f5qX-38gCFePhpgodXJ0Jqg&url=http://you-sokuhou.blomaga.jp/articles/36631.html&psig=AFQjCNGxZPhzF9CieCDi1WWRQFslx0NkzQ&ust=1445943702441447

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0CAcQjRxqFQoTCKq_rcT-38gCFaStpgodUNkAtg&url=http://k-kyoko.blog.so-net.ne.jp/2009-10-06&psig=AFQjCNGxZPhzF9CieCDi1WWRQFslx0NkzQ&ust=1445943702441447

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0CAcQjRxqFQoTCKq_rcT-38gCFaStpgodUNkAtg&url=http://k-kyoko.blog.so-net.ne.jp/2009-10-06&psig=AFQjCNGxZPhzF9CieCDi1WWRQFslx0NkzQ&ust=1445943702441447


包装販売オープン販売

オープン販売は包装販売の３倍の売上

ベーカリーショップでの実験結果

3倍

開発背景


習得期間短縮

即日、誰でも使えるレジ

開発背景

6

レジ精算スピードUP

レジ待ち行列の解消


異なる種類間でも類似性が高い

カルボナーラハムコーン細切りポテト

7

識別のポイント

7


同種間でも個体差がある

３種の豆パン

8

識別のポイント


異種間の類似性同種間の個体差

識別課題の解決

9


POS連携

2010年6月～ 2012年12月

経済産業省

POSレジメーカー・東芝テック㈱・富士通㈱・日本電気㈱

パン等製造会社・㈱ドンク・㈱神戸屋・㈱敷島パン・ミスタードーナツ

開発委託

実験連携

経済産業省戦略的基板技術高度化支援事業

株式会社ブレイン

研究開発体制

フィードバック

10


した。

季節、天候、時間等で環境光は変化する

① 照明・外光の対策

実用化の課題

11


➁ 接触したパンの自動分離（特許）

実用化の課題

12


➂ 識別信頼度の表示

識別信頼度

高緑色低黄色ゼロ赤色

類似候補表示自動学習

実用化の課題

13


④ 自動学習機能

0%

20%

40%

60%

80%

100%

識別率

個数

学習と識別率

第１位第２位まで第３位まで第４位まで

・使えば使うほど、識別率が向上

・毎日微妙に変化する製品の状態を学習し、安定した識別が可能

実用化の課題

14


（ドンク岡本グルメ館様）

初回実験・Ｌ型ポール接客に支障

⑤ 撮影装置のデザイン

実用化の課題

15


⑤ 撮影装置のデザイン

店頭で違和感がない店員の動作を妨げない放熱・埃対策

実用化の課題

16


⑥ 焼き色の影響排除（特定色）

実用化の課題

17


BakeryScan®とシームレスに連携するPOSシステム

⑦ ＰＯＳシステム

実用化の課題

18


自動釣銭機連動導入事例

パリーネ狭山店様

19


累計販売約200台 (2017/2 現在)

販売実績

20


2014～2016受賞

21


テレビ･新聞

22

・所さんの学校では教えてくれないそこんトコロ

・マツコ有吉の怒り新党

・北野たけし新・情報7days

https://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjngYnrzYTRAhVJNJQKHc_TB3EQjRwIBw&url=https%3A%2F%2Fswot.jp%2Fshinsotsu%2F19966%2F&psig=AFQjCNHIT-F2I414ywYhPfMiidb618r0ZA&ust=1482386382456679

https://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjngYnrzYTRAhVJNJQKHc_TB3EQjRwIBw&url=https%3A%2F%2Fswot.jp%2Fshinsotsu%2F19966%2F&psig=AFQjCNHIT-F2I414ywYhPfMiidb618r0ZA&ust=1482386382456679

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjr7uviyoTRAhXEnJQKHVuVCBgQjRwIBw&url=http%3A%2F%2Fwww.fujitv.co.jp%2Fsmapsmap%2F&bvm=bv.142059868,d.dGo&psig=AFQjCNGHwfV-E6Nz54gX4ESHBEMGk_bLiw&ust=1482385571216401

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjr7uviyoTRAhXEnJQKHVuVCBgQjRwIBw&url=http%3A%2F%2Fwww.fujitv.co.jp%2Fsmapsmap%2F&bvm=bv.142059868,d.dGo&psig=AFQjCNGHwfV-E6Nz54gX4ESHBEMGk_bLiw&ust=1482385571216401

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwij6vCc3ITRAhWGHJQKHfk0Al8QjRwIBw&url=http%3A%2F%2Fwww.books-nishinihon.com%2Farchives%2F4310&bvm=bv.142059868,d.dGo&psig=AFQjCNHXACzK1Vw0m87tDvhbG4UJSudhLQ&ust=1482390259571123

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwij6vCc3ITRAhWGHJQKHfk0Al8QjRwIBw&url=http%3A%2F%2Fwww.books-nishinihon.com%2Farchives%2F4310&bvm=bv.142059868,d.dGo&psig=AFQjCNHXACzK1Vw0m87tDvhbG4UJSudhLQ&ust=1482390259571123


専門誌

23

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&ved=0ahUKEwiVpoPnyITRAhXFjJQKHXL2CqgQjRwIBw&url=http%3A%2F%2Ftechon.nikkeibp.co.jp%2FMonozukuri%2F&psig=AFQjCNEf68-qO0Fz1FQPhTl566udGuU5TA&ust=1482385050048389

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&ved=0ahUKEwiVpoPnyITRAhXFjJQKHXL2CqgQjRwIBw&url=http%3A%2F%2Ftechon.nikkeibp.co.jp%2FMonozukuri%2F&psig=AFQjCNEf68-qO0Fz1FQPhTl566udGuU5TA&ust=1482385050048389

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&ved=0ahUKEwinif74yYTRAhUCFZQKHdTRDDMQjRwIBw&url=http%3A%2F%2Fsmaregi.jp%2Fmedia%2Finformation.php&bvm=bv.142059868,d.dGo&psig=AFQjCNGLniqVW20FiFLX4ikoUYwTKAYASA&ust=1482385357975202

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&ved=0ahUKEwinif74yYTRAhUCFZQKHdTRDDMQjRwIBw&url=http%3A%2F%2Fsmaregi.jp%2Fmedia%2Finformation.php&bvm=bv.142059868,d.dGo&psig=AFQjCNGLniqVW20FiFLX4ikoUYwTKAYASA&ust=1482385357975202

https://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwi1zuX2y4TRAhXHJZQKHZ56D4QQjRwIBw&url=https%3A%2F%2Ftwitter.com%2Findus_eizojoho&bvm=bv.142059868,d.dGo&psig=AFQjCNHDdpfvxl4G9TbPnUfU5Rb-JZRXTw&ust=1482385882764796

https://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwi1zuX2y4TRAhXHJZQKHZ56D4QQjRwIBw&url=https%3A%2F%2Ftwitter.com%2Findus_eizojoho&bvm=bv.142059868,d.dGo&psig=AFQjCNHDdpfvxl4G9TbPnUfU5Rb-JZRXTw&ust=1482385882764796


海外

24


バーコードキラー

アメリカのIT専門誌 WIRED

25


世界最大の製パン国際見本市

海外への事業展開

26

ラスベガス

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjhk-zRn9rRAhWCVZQKHVk3DioQjRwIBw&url=http%3A%2F%2Fwww.ibie2016.com%2Fpress-release-november-5-2015%2F&psig=AFQjCNFF4pb6D_9WSsUoH6NeYVh0EBIqwA&ust=1485328793851228

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjhk-zRn9rRAhWCVZQKHVk3DioQjRwIBw&url=http%3A%2F%2Fwww.ibie2016.com%2Fpress-release-november-5-2015%2F&psig=AFQjCNFF4pb6D_9WSsUoH6NeYVh0EBIqwA&ust=1485328793851228

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjHxpW0zt7RAhUMWLwKHeVOC6cQjRwIBw&url=http%3A%2F%2Fwall.kabegami.com%2Fdetail%2F160594958%2FLas%2520Vegas%2520Strip%2520at%2520twilight%2C%2520Las%2520Vegas%2C%2520USA&bvm=bv.145063293,d.dGc&psig=AFQjCNEhB8wU-riBY7KyOQITJUm7COCwAg&ust=1485478894406085

http://www.google.co.jp/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjHxpW0zt7RAhUMWLwKHeVOC6cQjRwIBw&url=http%3A%2F%2Fwall.kabegami.com%2Fdetail%2F160594958%2FLas%2520Vegas%2520Strip%2520at%2520twilight%2C%2520Las%2520Vegas%2C%2520USA&bvm=bv.145063293,d.dGc&psig=AFQjCNEhB8wU-riBY7KyOQITJUm7COCwAg&ust=1485478894406085


食事識別精算･カロリー栄養計算

ジェットエンジン検査理化学研究所 SACLA 画像解析

微細ネジ締め機薬剤鑑査システム

セルフレジ

Dive into UKIYO-Eお札・お守りレジ

画像識別技術機械学習技術

新しいビジネスへの展開

27


理化学研究所様

700m

ＳＰｒｉｎｇ８

ＳＡＣＬＡ

長さ700㍍のX線ﾚｰｻﾞｰ顕微鏡

1555万枚の画像解析に活用

SACLAの画像解析

28

応用事例①


錠剤をカメラで識別するシステム

湯山製作所様薬剤監査装置

29

応用事例


応用事例

トレイ上の複数の料理と食器を識別

• 専用食器（RFID）が不要• 体積計測• 食材識別

→カロリー・栄養素を算出

社員食堂・学食レジレストラン・ファーストフード病院など配膳ミス防止栄養管理アスリート食事指導

食事識別

30

特長

応用


31

ジェットエンジン検査

高速回転での共振防止のため各ネジのサイズ等は異なる

ワイヤー接続ミス

応用事例


応用事例セルフレジ

32リンゴや青物等の種類を識別


お札･お守りレジ

33

応用事例

内部にカメラ設置

靖國神社様導入


応用事例

34

浮世絵の人数をカウントする。で放送

Dive into UKIYO-E

Documents

パン画像識別システム · パン等製造会社 ・㈱ドンク ・㈱神戸屋 ・㈱敷島パン ・ミスタードーナツ 開発委託 実験連携 経済産業省戦略的基板技術高度化支援事業

パン画像識別システム · パン等製造会社・㈱ドンク・㈱神戸屋・㈱敷島パン・ミスタードーナツ開発委託実験連携経済産業省戦略的基板技術高度化支援事業