柴田研究室 人工知能・機械学習研究室

内容

1.柴田 8分

• 研究室概要

• 卒業研究/修論研究の事例紹介

• 最近の実績

2.守屋 くん (修士1年) 4分 • 大学院と研究について

3. 町田 くん (4年) 3分

• 研究室の雰囲気について

←2018年度CS総代(!)

どんなところ？柴田研究室 FAQ

1. 機械学習と深層学習を用いた様々な研究に取り組んでいる研究室。 • 自然言語処理 • 画像認識・生成 • データ分析

2. 深層学習を軸に、共同研究を内外でたくさん取り組んでいる研究室。 • 学内，東北大，統計数理研究所、CMCセンター，東大など

• 企業: トヨタ，デンソーITラボラトリ，三機工業，福岡大学病院など

3. 計算資源に恵まれている研究室。 4. 人的資源(先輩)に恵まれている研究室。

• 優秀な４年生、大学院生 • 論文発表や受賞歴も結構ある研究室

• やる気次第で海外(国際会議)など行けます！

企業、外部機関 共同研究産学連携の共同研究一覧

• 「自然言語処理の教師なし学習のための基盤技術」 with デンソー • 構文解析などの基礎的な技術を共同研究(ツイッターやブログなどソーシャルデータ)

• 「材料データ(CT画像など)への深層学習・画像認識技術の応用」 with 内閣府SIP(CMCセンター)

• CMCという、カーボン+セラッミクの複合材料(ジェットエンジンなど)

• CT画像を深層学習で解析して、弱いポイントなどを発見する技術（予定）

• 「周産期医療のためのデータ分析」 with 福岡大学病院 産婦人科教室

• 胎児の状態をディープラーニングで予測

• 胎児心拍陣痛図 、胎児心拍数計

• 「画像認識による仕様検査自動判定モデル」 with トヨタ自動車

• 「多様なスタイルの業務報告文から帳票を生成するシステム」 株式会社 ビズオーシャン

•

　学内・外部研究機関 共同研究　共同研究一覧

• 教育ビッグデータ解析 with 教養学環(稲葉 先生, 安藤 先生) : • 演習時の対話ログ、moodle ログ、座席ログ

• 自動評価、要ケア学生の早期抽出、など

• CNNを「騙す」ための画像生成技術 with U先生: • 深層学習に耐性のあるCAPTCHA

• 対話文生成(自然言語処理の応用) in 先進AIプロジェクト • 「雰囲気」の理解とその説明文・対話文の生成

• 深層学習の内部状態の統計的手法による表現と新しい学習手法の構築 with 持橋先生(統計数理研究所) & 吉仲先生(東北大学情報科学研究科)

• ドローン等ロボットの行動学習 with 田胡先生 • 画像認識、深層強化学習

卒業研究/修論研究 研究事例

前年度(2018年度)の卒業研究一覧表1

卒論タイトル 研究分野要人が行う SNS 上での発言による影響の予測 自然言語処理Very Deep CNN による 文書分類におけるトピック分布を用いた事前学習 自然言語処理対話生成と感情分析を用いた超短編小説の自動生成 自然言語処理特許請求に関する自動要約 自然言語処理GM 補助のための TRPG シナリオ自動生成 自然言語処理深層学習を用いた雑談チャットボット 自然言語処理画像認識による農作物の仕分け 画像認識CNN による表情認識 画像認識猫の顔写真による雌雄判断 画像認識物体認識を使った水難事故の早期発見 画像認識路面標示の Segmentation 画像認識YOLOv3 を用いた見えづらい道路標識の認識 画像認識深層学習を用いたイラスト生成 画像生成自律移動ロボットにおける行動予測機構の実装 データ分析・機械学習胎児心拍数陣痛図データからの胎児のアシドーシス予測 データ分析・機械学習プロ野球選手の年俸推定 データ分析・機械学習ディープクラスタリングによる音源分離 データ分析・機械学習

自然言語処理

畳み込みニューラルネットによる絵文字(感情ラベル)の推定絵文字の予測と感情推定

= 5

9

.0 )

.(3 100

感情を表す絵文字

Tweet などの 単文

絵文字 (感情ラベル)

予測結果例テキスト 予測結果

25いいねありがとう !:88% ":14% #:2% $:1% %:0% &:0%

伊達巻好きな女子多くて嬉しいもちろん私も好き

!:77% ":20% $:4% #:2% %:1% &:0%

テレビ見てたら、波田陽区さんとその息子さんがデュエマやってて笑ったｗとても微笑ましい

!:85% &:6% ":5% %:4% $:3% #:2%

そんなんきいてないもん！！ #:82% ":7% %:5% $:5% &:4% !:0%

絶対言われる日本人じゃないでしょ？？失礼でしょ

#:87% %:3% &:3% $:3% !:1% ":1%

絵文字を科学する���� �����

����

����

��

より意味のわかりやすい顔文字の抽出

t-SNEによる２次元マップとクラスタ

予測精度の向上

深層学習を用いた自然言語処理RNNを用いた文の学習/生成 RNN(リカレントニューラルネット)：記憶を保持しながら入力を受け取り出力を行う。時系列からの学習に適した構造を持つ。

朝食 で お素麺 を 食べ た あと 、大学 に 来て x1 x2 ・・・　 講義 を 受けた ん だ けど 、暑かっ た の で やっぱり お昼 ご飯 にも また [X] を 食べ ました。 ・・・ x27 x28 x29

LSTM(長短期記憶) : 強力なニューラルネット

seq2seq翻訳や対話文生成に広く使われる構造

https://github.com/nicolas-ivanov/debug_seq2seq

重みの異なるLSTM (Encoderと Decoder)を2つ用意してつなげる :• セルの状態ベクトル : CENC -> CDEC • 出力ベクトル : yENC -> yDEC

LSTM

LSTM

LSTM

LSTM

LSTM

LSTM

新しい電気自動車が発売された

LSTM

LSTM

[] A

LSTM

LSTM

LSTM

LSTM

A new

… …

… …

… …

… …

electric car was released

new electric car was

Encoder Decoder

LSTMを用いた生成モデル(SEQ2SEQ)

LSTMを使った様々な文生成系の研究

------------ (2) no . i 'm sorry , i 've got to go back early . 正解: ごめんなさい。早く帰らなくちゃ。 翻訳: 悪いから、もう帰ります。------------ (3) she wrote to me to come at once . 正解: 彼女は私にすぐ来いとの便りをよこした。 翻訳: 彼女はすぐに私に来てと命じた。

機械翻訳

対話文生成

短編小説生成

その他，要約，シナリオ生成 など..

DONEC QUIS NUNC

リカレントニューラルネットを用いた対話文生成�#��RNN

���� CNN

��� �#���

��+���� ��&�

�#

��%��

�,0�"#�-$ �� .�� %*

Twitter から取得した対話データ(10万文~)

学習結果:

���B���B

深層学習：LSTMを用いたseq2seqモデル

大規模対話データを用いたダイアログアクト(対話役割)の抽出

• webから約400万文(数千万単語)の対話構造をもつ小説群を収集.

特徴：

ユーザが作成した自由な口語体の作品群

→構文解析:難(あまり意味がない)

ダイアログアクト(発言の役割)のようなものの自動抽出

→対話文を HMM で学習

状態 = 1つの発言

16

つづき：学習結果の意味の解釈• 学習したHMM => 対話文候補の評価に利用

17

大規模小説群を用いたテンプレート作成による話題・感情を考慮した会話文の生成

• 前述と同じ400万文のデータ

• 話題単語・固有表現単語・感情単語を抽出する:

JUMAN, KNP, ML-Askといったツールを利用.

→ 約120万個のテンプレート.

単語の分布表現(word2vec等)を用いて連想変換やスコアリングを行う

18

今後の方針：LSTMに代表されるリカレントニューラルネットワークなど ディープラーニングの手法の適用によってより自然な対話を目指す．

構文解析による議事録のマインドマップへの変換• 文書からのマインドマップの生成

議事録等の記録文書 歴史などの教科書

マインドマップ キーワードのグラフ表現で思考の整理を行うもの.

対象：議題ごとに箇条書きされた実在の議事録. 方法：KNPによる構文解析 および キーワードの決定. 現状はまだまだ初歩的な段階 → やりたいこと:

日時やイベント等のカテゴリーごとに色分け等の表現する. 重要キーワードにはwebから自動抽出した画像を付加する. など.

19

• 企画チームは今週中にトークテーマとタイムラインを確定させる．

• 片付けや準備の時間をもう少し配慮して． • 必要な物品があったらリストアップしてね． • タイムラインは決まったので， 進行台本の作成

と，メールの返信とリマインドメールのテンプレ作成．

議事録の例 (あるイベントに関するもの)

議事録のマインドマップ化(理想)

生成されたマインドマップ(現状)

画像認識・生成

畳み込みニューラルネット(CNN)

自転車自動車

猫犬アイス

ケーキ道路教室

…

…

下位層 上位層

畳み込みプーリング 全結合プーリング畳み込み 畳み込み プーリング

• 畳み込み(convolution)層 + pooling層 + 全結合

畳み込み層• 小さいフィルタを多数かける • どんなフィルタ？→自動的に学習される

猫の雌雄判定

事前学習 -> ResNet

雄猫の例 雌猫の例

雄猫の顔の形 雌猫の顔の形

雌雄の顔の違い

雄

雌

雄と判断 雌と判断

人間の判別精度：57% Resnet の精度 : 70%

正解率で人間の識別精度を超える！

DONEC QUIS NUNC

柴田研究室

物体検出を使った水難事故の早期発見

• 日本では毎年1000人を超える水難事故

• 海水浴場やプールの監視の多くは人力 → 領域検出技術による早期の注意喚起

2018/11/20

DONEC QUIS NUNC

柴田研究室

水難事故の可能性の自動検出

2018/11/20

Yolo による事故の可能性のある人の領域検出

DONEC QUIS NUNC

DNNによる農作物の仕分け

•農作物が傷んでいるかどうかを自動で仕分ける技術

Generative Adversarial Network(GAN)の研究• 「いたちごっこ」モデル

• Generator:偽物を生成するCNN

• Discriminator:本物か偽物かを判定するCNN

26

本物画像(用意したデータ)

Generator は騙せるように徐々に本物に近くなる。

http://yusuke-ujitoko.hatenablog.com/entry/2017/05/09/211400

Discriminator は本物の特徴をよりしっかり捉えるようになる。

偽物画像 (生成した画像)

/31

Conditional GAN• 条件付き(Conditional) GAN • 低次元のベクトルをGenerator に入力. • ベクトルに意味をエンコードできる。→ ベクトル操作で、画像の操作が可能に！

27

メガネをかけた男性 - メガネをかけてない男性別　＋メガネをかけた女性 = メガネをかけた女性

年齢ベクトルと元画像のベクトルを入力して生成

元画像

ランダムベクトルを入力して ベクトル自体を学習

/31

�����

CycleGAN• 元画像を変換し、更に逆変換を行う

• 逆変換画像が元画像と見分けられるか判断

• 長所：ペアの画像がなくて良い

例：馬をシマウマにしたい

2018/2/8 �28https://arxiv.org/pdf/1703.10593.pdf

シマウマReal

馬Fake(再構築)

馬Real

シマウマFake

深層学習による背景自動着色• GAN(生成的敵対ネットワーク)

• Generator: • 着色した画像の生成

• Discriminator: • 生成したもの(フェイク)と本物を分別する

• 自然な着色に最適なGANは？ • Cycle GAN • Stack GAN • etc…

GANによる棒人間→人物イラスト• webサイト「いらすとや」にある人物イラスト700枚に棒人間を描く

• Stack GAN という構造を使って、針金人間から人物イラストを生成させる

生成結果

/31

GANを使ったイラストの生成

3Dキャラの2Dイラスト化

ACGAN+SRResNetによる画像生成

データ分析 ・機械学習

周産期医療のためのデータ分析と胎児の状態予測[目的] CTG(胎児心拍数陣痛図)より胎児のアシドーシス等を予測

陣痛

心拍数

正常異常 (2%)

福岡大学病院との共同研究 複数の病院から数万の症例の提供

[手法] 異常の数が極少 → Auto Encoder(AE)による異常検知

� �AUC��������AUC

深層強化学習とロボットの行動学習

実機：距離センサー + Arduino + android ↔ サーバ

学習用シミュレータ

DQNのためのCNNの構造

+ ↔

DONEC QUIS NUNC

その他

Kinect -> 3Dポリゴン 家庭内に身近にあるもの(既存のデータには存在しないもの)をCNNで分類 -> 10枚ほどの画像で、ほぼ100%分類可能label : chair

label : cup

ロボットによる家庭内の物体認識• 探し物など

DCGAN(敵対的学習)によるモーション生成公開されているモーションデータ-> モーションをDCGANで学習DCGAN:

� .Alec Radford & Luke MetzUNSUPERVISED REPRESENTATION LEARNING WITH DEEPCONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS

近年の外部研究予算獲得の実績

36

年月 内容2018年4月～ 科学研究費補助金 基盤研究(C) 深層学習における内部状態の統計的手法による表現と新しい

学習手法の構築 (研究代表者)2018年4月～ 科学研究費補助金 基盤研究(C) 機械学習による誤りが引き起こす情報セキュリティ問題に関

する研究 (研究分担者)2017年4月～ 科学研究費補助金 基盤研究(B) 大規模学習データの分析・可視化と介入機能を有する知的

PBL学習環境の運用と評価 (研究分担者)2016年4月～ 科学研究費補助金 基盤研究(C) ディープラーニングを用いた教育ビッグデータ解析による要

ケア学生の早期抽出の実践 (研究分担者)2014年4月～2019年3月

科学研究費補助金 若手研究(B) Distributional学習に対するノンパラメトリックベイズの適用と応用 (研究代表者)

2019年4月～ 科学研究費補助金 基盤研究(A) 結晶成長界面の制御のキーファクター=ステップ物性:その計測と熱力学モデル構築 (研究分担者)

2018年 4月~ 企業からの受託研究 (株式会社ビズオーシャン) 多様なスタイルの業務報告文から帳票を生成するためのモデルの構築 (研究分担者)

2016年10月~ 企業との共同研究 (株式会社デンソーアイティーラボラトリ) 自然言語処理基盤技術の教師なし学習手法構築 (研究代表者)

2017年12月~ 2018年 6月

企業からの受託研究 (株式会社ムラウチドットコム) ｍuragon等におけるAI（人工知能）的アプローチ (研究分担者)

2018年10月~ 企業との共同研究 (三機工業株式会社) 機械学習を用いた空調負荷等の予測に関する研究(研究代表者)

2018年 5月~ 企業からの受託研究 (Fx coin株式会社) シナリオベースのAIチャットシステムを実現するための技術・技法の開発と評価 (研究分担者)

2019年 1月～ 企業との共同研究 (トヨタ自動車) 画像認識による仕様検査自動判定モデルの作製(研究代表者)

近年の受賞歴

37

年月 内容2014年 7月 PAutomaC (Probabilistic Automata Learning Competition) 優勝 (ICGI 2014 主催)2016年10月 The Sequence PredictIction ChallengE (SPiCe) 優勝 (ICGI 2016 主催)

2017年3月 Best Paper Award (The Ninth International Conference on Mobile, Hybrid, and On-line Learning earning)

2017年8月 優秀論文賞(DICOMO2017, 情報処理学会)

2018年5月 Best Paper Award (The Ninth International Conference on Mobile, Hybrid, and On-line Learning earning)

2018年9月 2018年度CIEC学会賞 論文賞(コンピュータ利用教育学会)

• 受賞以外にもちろん、ジャーナル論文や国際会議、学会での発表などを通して多数の成果を出しています。

• 卒論生であっても、やる気次第で海外(国際会議)など行けます．

• 先端的なAIの知識・技術を学び，先端的な研究成果を出そう． (結果就職先もよくなる．)