パーソナル人工知能 SENSY と機械学習技術

カラフル・ボード株式会社2017. 07.29

パーソナル人工知能 SENSYと機械学習技術

© Copyright COLORFUL BOARD 20171

自己紹介氏名：岡本卓

所属：千葉大学大学院工学研究院電気電子工学コース准教授カラフル・ボード株式会社人工知能技術アドバイザー

2017年10月からカラフル・ボード株式会社CRO（Chief Research Officer）兼SENSY 人工知能研究所代表としてJoin予定。

専門：システム工学，最適化理論，ソフトコンピューティング，計算知能，複雑系


AIとCI

（今の）人工知能（Artificial Intelligence: AI）

計算知能（Computational Intelligence: CI）

（強い）人工知能数理論理学に基づいて人間と同じ「知性」をアルゴリズムによって構築しようとするアプローチ

計算知能機械学習や最適化技術を用いて，人間が行うような情報処理をコンピュータの（大規模な）計算によって代替させるアプローチ

データや問題設定は人間が（結構噛み砕いて）与える人間が行う情報処理を「学習」する最適な解を計算によって見つけ出す


「感性」を学習するパーソナル人工知能：SENSYSENSYは、ユーザーの自由な時間を生み出すために、「2人目の自分」として24時間働いてくれる自分の分身のような人工知能ロボットである。

感性を覚えさせる

コンテンツを届ける

感性

パーソナル人工知能ユーザー

私の好きなファッション私の好きな

デザート

仕事中に聞くミュージック夏休みに行きたい

観光地

生活データ


クラウド上にパーソナル人工知能のプラットフォームを構築

Fashion

Cosmetics

Gourmet

Movie

HairHealthcare

Travel

Book

App

Advertisement

News

Music


あらゆるビジネスの変革も通じて、ライフスタイルを変えていくSENSYはコンシューマー向けにサービス開発するのみならず、あらゆるビジネスパートナーの変革も通じて人のライフスタイルを変えていく。

ビジネスコンシューマー

サービス提供

サービス提供パートナリング


既に9つのプロダクトをリリース、さらに3つを開発中ビジネス向け、コンシューマー向けを含めて、既に8つのプロダクトをリリース、さらに3つを開発しており、今後も企画開発を加速していく。

ビジネスコンシューマー

R&D MD Marketing Sales CS

SENSY BOT

SENSY CLOSET

SENSY (Fashion)

SENSY Sommelier

SENSY CLOSET@shop

SENSY Sommelier@shop

SENSY POS

SENSY BOTfor Biz

SENSYChat-Desk

SENSY MarketingBrainSENSY MDSENSY COOK

Life

DevelopingReleased Planning

その他企画中の案件多数


SENSYで使われているCI技術 Neural Networks

Convolutional Neural Networks (CNN) / Auto-encoder— 特徴量抽出器（Encoder）としての利用がメイン

Multi-Layered Perceptron (MLP) / Radial Basis Function Networks (RBFN)— メインの予測器，識別器— Marketing Brain, CLOSET, Sommelierなど

Recurrent Neural Networks (LSTM, GRU)— 時系列データの予測（需要予測，言語処理）— MD, BOTなど

（他の）機械学習技術クラスタリング法（k-means, Neural Gas）— ユーザセグメンテーション，代表色抽出など

決定木型アンサンブル学習器（Random Forest, Gradient Boosting Decision Tree）— 規模が大きくない学習，需要予測など

最適化・進化計算予測器の出力を最適化・制約を満たす組み合わせを探索— CLOSETなど


SENSY CLOSET（β版）


SENSY CLOSET店頭アプリ：導入事例


SENSY CLOSET @shop：導入事例


SENSY CLOSETサービス全体概要

SENSY CLOSET＠STORE（店頭）

スタッフがお客様のアイテムや店舗別の在庫を把握しながら、アイテムやコーディネートをお薦め

アイテム・作成したコーディネートお気に入り登録が可能

SENSY CLOSET（ユーザーアプリ）

ユーザーが自分のクローゼットのアイテムや日々のコーディネートを登録・管理

店舗・ECで作成したコーディネートをアプリに保存

My Closet呼び出し

購買アイテム・お気に入りコーデ保存

SENSY CLOSET＠shop（EC）

ECでユーザーが自分のアイテムを呼び出してECアイテムとコーディネート

アイテム・コーディネートをお気に入り登録

My Closet呼び出し

購買アイテム・お気に入りコーデ保存

アイテムをMy Closetに登録

SENSY CLOSETサービスは、ユーザーアプリ・店頭アプリ（タブレット端末）・オンラインショップ（EC）の３つが連動して、店舗アイテム・ユーザーのクローゼットが連動したコーディネート・お薦めを提供できるプラットフォームです。


あるECサイト導入事例ではコーディネート提案の導入により、コンバージョンレートが39%、購入単価が36％向上し、結果ユーザー訪問当りのマネタイズ価値は90%向上した。

コンバージョンレート購入単価セッション当り期待売上

39%up 36%up 90%up

SENSY CLOSET @shop：実績


コーディネート自動生成エンジン (1) アイテムごとに特徴量を算出

コーディネートカテゴリ (トップス, ボトムス, 靴など) F値 (Formalness) (スーツ：10, ポロシャツ：6，スウェット：1) A値 (Assertiveness) (自己主張の激しいアイテムは1) W 値 (Color Weight) (明るい：0，暗い：1) 色比率 (暖色，寒色，無彩色，中性色) 季節タグ (夏物，冬物)

カテゴリ：トップスF値：6A値：1W 値：1色比率：0.4, 0.05, 0.5, 0.05


コーディネート自動生成エンジン (1) アイテムごとに特徴量を算出

コーディネートカテゴリ (トップス, ボトムス, 靴など) F値 (Formalness) (スーツ：10, ポロシャツ：6，スウェット：1) A値 (Assertiveness) (自己主張の激しいアイテムは1) W 値 (Color Weight) (明るい：0，暗い：1) 色比率 (暖色，寒色，無彩色，中性色) 季節タグ (夏物，冬物)

カテゴリ：トップスF値：6A値：1W 値：1色比率：0.4, 0.05, 0.5, 0.05


コーディネート自動生成エンジン (1) コーディネート算定問題

minimize  F値平均値 F値目標値

subjectto  にユーザの指定したアイテムが含まれる

  max∈

min∈

 ∈

 上半身W 平均値下半身W 平均値  に夏物と冬物が同時に含まれない  がコーディネート配色制約を違反しない  がコーディネートが成立する組み合わせである

：番目のカテゴリに割り当てられたアイテム（0は割当なし）e.g. ：ハットのアイテム，：トップスのアイテム，…

：アイテムが割当られた（0でない）カテゴリ番号集合組合せ最適化問題→ 遺伝的アルゴリズムを用いてコーディネートを探索


コーディネート自動生成エンジン (2) コーディネートスコア学習器

CNN based encoder

アイテム画像※ コーデが成立するように選択

RBFN

アイテム特徴量

［コーデスコア］

［画像］

Encoder（Conv. layers, Pooling layers）

［アイテムカテゴリ］

Affine

Sigmoid

Affine

Softmax

MLP(Fully connected)

スタイリスト / ユーザのスコアリング結果を学習


コーディネート自動生成エンジン (2) コーディネート探索問題

maximize コーディネートスコア

subjectto  にユーザの指定したアイテムが含まれる  がコーディネートが成立する組み合わせである

：コーディネートを表現するアイテムIDベクトル— アイテムID → アイテム画像→ 学習器に入力

組合せ最適化問題遺伝的アルゴリズムを用いてコーディネートを探索


人工知能がセンスを学習するアプリ

Engineering

パーソナル人工知能 SENSY と機械学習技術