de:code 2019 AI06

OCR案件でAzure Computer Vision と

他社サービス含めて徹底検証してみた日本システムウエア株式会社

サービスビジネス事業本部 ビジネスイノベーション事業部

デジタルテクノロジー部 マネージャー

小河原 智

セッションの目的＆ゴール

目的

ゴール

自己紹介

会社紹介

• もう同じものを探したくない！

•

•

•

•

•

• もう同じものを探したくない！画像図面検索の課題

•

•

•

•

•

画像図面検索の課題

過去の図面が探せない

⇒解決アプローチ：図面管理システムの導入

発生アクション：人力で図面ごとにタグ付けを行う

課題１管理が煩雑で大変に・・・

課題２

タグ名が属人的で

ヒットしない・・・

画像図面検索の課題

過去の図面が探せない

⇒解決アプローチ：AI を用いたシステムの導入

課題１図面検索を AI をどうやって使えばいいの？

課題２

そんな都合いい

サービスなんてある

の？

案件事例

AIを活用した類似図面検索システム

AI-OCR

類似図面検索

• もう同じものを探したくない！画像図面検索の課題

• AIによる解決アプローチ• AI-OCR

•

•

•

AIを活用した類似図面検索システム

AI-OCR

類似図面検索

今回はココ

Azure Cognitive Services

NEW NEW NEW

カスタム カスタム カスタムカスタム カスタム

Azure Computer Vision APIとは？

• 画像分析

– オブジェクト、カラー、画像/絵、アウトライン化

– 顔: 年齢/性別/表示位置

• 画像から文字データの読み取り

– 対象ファイル：PDF ファイル、画像（JPEG、PNG、GIF、BMP）

– 数多くの言語（25か国語）に対応A GOAL WITHOUT

A PLAN IS

JUST A WISH

その他のOCRサービスやソフトウェア

OCRサービスやソフトウェア仕様比較

サービス名

比較項目

Azure

Computer

Vision

Google

Cloud Vision

Tesseract－

OCR

対象ファイル

PDF 、 JPEG 、

PNG 、 GIF 、

BMP

PDF 、TIFF 、

PNG、 GIF 、

JPEG

PDF 、TIFF 、

PNG、 GIF 、

JPEG

対応言語日本語含む

25ヶ国語

日本語含む

56ヶ国語

日本語含む

161ヶ国語

価格 $1.50/1,000枚 $1.50/1,000枚 無償（OSS）

検証データ

検証方法

結果の考察

Azure Computer Vision

• なぜ全然ダメダメだったのか？

• 言語の自動認識が英語＋日本語の混在が出来ない

• Azureは顧客データの2次利用を行わない方針のため、学習が足りていない？

https://ascii.jp/elem/000/001/634/1634324/

• 今回のフォントは縦横サイズを変更しているものだった

結果の考察

Google Cloud Vision API

• 日本語認識精度は高い

• 英語＋日本語の混在においても認識できている

Tesseract－OCR

• それなりの認識精度があった

• 英語＋日本語の混在においても認識できている

• フォントの追加学習により認識精度が上がる可能性あり

結果の考察

OCR エンジンの選定の考え方

• 今回、図面の内容は要保護情報であるため、2次利用をしない Azure か Tesseract を選定※Google Cloud Vision の認識精度よりも優先

• 認識精度としてはフォントの追加学習が可能なTesseract を 採用する

• もう同じものを探したくない！画像図面検索の課題

• AIによる解決アプローチ•

• 画像判別特徴量抽出

•

•

AIを活用した類似図面検索システム

AI-OCR

類似図面検索

今回はココ

画像判別特徴量抽出アプローチ

画像判別特徴量抽出

特徴量データ（バイナリデータ）

属するグループ

Group 1

0101101110101010111010101010101110100010000100001000000111101110101010101010101

抽出処理

画像例

• もう同じものを探したくない！画像図面検索の課題

•

•

•

• “AI”実用化のためのポイント

•

“AI”実用化のためのポイント

独自開発は目的に合ったチューニング

サービスがダメなら独自開発（OSS推奨）

サービスへ投げるデータ条件を変えて試す

サービスがあれば積極的に採用する

入力画像の前処理

• 入力画像のノイズ除去（スキャン時のごみ、汚れ、明暗調整等）

追加フォントの学習

• 使用 CAD フォントによる JIS 第一水準の文字一覧を学習

誤認識しやすい単語やフレーズの補正

• 辞書を用いて、誤認識しやすい単語やフレーズを補正

独自開発は目的に合ったチューニング

• 入力画像の前処理

独自開発は目的に合ったチューニング

• 追加フォントの学習

独自開発は目的に合ったチューニング

図面種類 平均認識率

学習フォントと異なるフォントを使用している図面 52％

学習したCADフォントを使用している図面 82％

学習済みフォント 類似フォント例

• 後処理（誤認識しやすい単語やフレーズの補正）

独自開発は目的に合ったチューニング

１）ルールによる補正処理半角を全角に変換

空白の削除

空行の削除

２）辞書による補正処理誤認識しやすい単語などを補正するための

辞書を用いる

AIを活用した類似図面検索システム

AS400

Virtual

Machine

AI-OCR

図面類似度算出

図面データ 図面類似度

分類タグ

BLOB

Storage

Cosmos

DB

Web

Apps

Azure

Search

図面検索

• もう同じものを探したくない！画像図面検索の課題

•

•

•

•

• まとめ

まとめ

目的

ゴール

© 2018 Microsoft Corporation. All rights reserved.

本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。

© 2019 NIPPON SYSTEMWARE CO.,LTD. All rights reserved.

本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場合があります。

本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。