1

自動病理診断のための癌細胞領域自動病理診断のための癌細胞領域自動病理診断のための癌細胞領域自動病理診断のための癌細胞領域抽出に関する画像処理技術抽出に関する画像処理技術抽出に関する画像処理技術抽出に関する画像処理技術

東京理科大学東京理科大学東京理科大学東京理科大学 理工学部理工学部理工学部理工学部 機械工学科機械工学科機械工学科機械工学科

准教授准教授准教授准教授 竹村竹村竹村竹村 裕裕裕裕

2

社会的背景社会的背景社会的背景社会的背景

癌の罹患者数は年々増加 病理診断件数の増加

病理診断

癌の確定診断であり

病理専門医が行う

病理専門医の慢性的な不足→ 病理専門医1人に対し癌罹患者数343人に相当

多くの自動病理診断開発の研究

3

従来技術とその問題点従来技術とその問題点従来技術とその問題点従来技術とその問題点

既に実用化されているものには，病理医の判断プロセスを模したヒューリスティックと，機械学習技術の組み合わせによる手法等があるが，

・染色の程度に起因するが色の違いの発生

・教師データの作成方法の不便さ

等の問題があり，広く利用されるまでには至っていない．

4

胃リンパ節の顕微鏡写真胃リンパ節の顕微鏡写真胃リンパ節の顕微鏡写真胃リンパ節の顕微鏡写真

5

顕微鏡写真顕微鏡写真顕微鏡写真顕微鏡写真

• 細胞を染色

–ヘマトキシリン・エオジン（HE）染色

–細胞核⇒青紫、 細胞質・赤血球など⇒赤

• 癌細胞は核が大きい

6

一般的な従来技術一般的な従来技術一般的な従来技術一般的な従来技術

• グレースケール化RGB表色系のR• 正常な核を取り除く：閾値の調整

• ラベリング処理：一定以上の大きさのみ検出

�検出されない細胞核がある

�正常な部分がノイズとして残る

�背景色が違うため閾値が画像によって異なる

細胞核のみを取出し

大きさで判別する

7

新技術新技術新技術新技術 （複数の色空間を利用）（複数の色空間を利用）（複数の色空間を利用）（複数の色空間を利用）• 背景を抽出 ‐HSV表色系のS（彩度）を二値化

• 細胞質と赤血球を抽出 ‐RGB表色系のB（青）をR（赤）で除算、二値化

• 健常な細胞核を抽出 -YCｒCb表色系のCr（赤）をCb（青）で除算、二値化

• ノイズを除去 ‐局所二値化法で輪郭線ノイズの除去

• ラベリング ‐一定以上の大きさの領域を抽出

背景，細胞質，赤血背景，細胞質，赤血背景，細胞質，赤血背景，細胞質，赤血

球，健常な細胞核の球，健常な細胞核の球，健常な細胞核の球，健常な細胞核の頑健な抽出を実現！頑健な抽出を実現！頑健な抽出を実現！頑健な抽出を実現！

機械学習の前処理として効果大

8

新技術の応用新技術の応用新技術の応用新技術の応用～病理～病理～病理～病理診断支援診断支援診断支援診断支援システム～システム～システム～システム～

1920 x 1080 pixelsモニターの2400倍

病理診断支援のための病理診断支援のための病理診断支援のための病理診断支援のための

バーチャルスライドバーチャルスライドバーチャルスライドバーチャルスライドを利用した癌の自動検出を利用した癌の自動検出を利用した癌の自動検出を利用した癌の自動検出

� 顕微鏡画像をスキャナで取り込んだデジタルデータ• 特殊な画像形式• 超高解像度

出典：浜松ホトニクス,NanoZoomer 2.0-HT C9600-13, <http://www.hamamatsu.com/jp/ja/C9600-13.html>

9

バーチャルスライドの問題点①バーチャルスライドの問題点①バーチャルスライドの問題点①バーチャルスライドの問題点①

1.企業毎の異なる特殊な画像形式企業毎の異なる特殊な画像形式企業毎の異なる特殊な画像形式企業毎の異なる特殊な画像形式

� 画像形式毎に専用のソフトウェアを利用

Aperio SVS，Aperio TIFF，Hamamatsu VMS，Hamamatsu VMU，Hamamatsu NDPI，Leica SCN，MIRAX MRXS (“MIRAX”)・・・

2. 超高解像度超高解像度超高解像度超高解像度

� 癌領域検出手法を直接適用不可

癌領域検出手法癌領域検出手法癌領域検出手法癌領域検出手法

ビューア

10

バーチャルスライドの問題点②バーチャルスライドの問題点②バーチャルスライドの問題点②バーチャルスライドの問題点②

3. 教師データ作成に多大な労力とコンピュータメモリ教師データ作成に多大な労力とコンピュータメモリ教師データ作成に多大な労力とコンピュータメモリ教師データ作成に多大な労力とコンピュータメモリ� 機械学習手法では必要な過程

4. 取得画像がモニターサイズに依存取得画像がモニターサイズに依存取得画像がモニターサイズに依存取得画像がモニターサイズに依存� スクリーンキャプチャ機能を利用� 癌検出領域サイズの制限

病理診断専門医及び研究者病理診断専門医及び研究者病理診断専門医及び研究者病理診断専門医及び研究者を支援するを支援するを支援するを支援する病理病理病理病理診断支援診断支援診断支援診断支援システムシステムシステムシステム

(i) Loading virtual slides

(iii) Learning image

feature

(ii) Making a supervised

database

(iv) Detecting cancerous area

(v) Displaying results of

detection

(i) Loading virtual slides

for Researcher for Pathologist

*Support System of Pathological Diagnosis（P-SSD）

*Takumi Ishikawa, Junko Takahashi, Mai Kasai, Takayuki Shiina, Yuka

Iijima, Hiroshi Takemura, Hiroshi Mizoguchi, Takeshi Kuwata, "Support

system for pathologists and researchers," Journal of Pathology

Informatics, Vol.6, Isseue 1, pp.34-40, 2015 11

(i) Loading virtual slides

(iii) Learning image

feature

(ii) Making a supervised

database

(iv) Detecting cancerous area

(v) Displaying results of

detection

(i) Loading virtual slides

for Researcher for Pathologist

病理診断専門医及び研究者を支援する病理診断専門医及び研究者を支援する病理診断専門医及び研究者を支援する病理診断専門医及び研究者を支援する病理診断支援システム病理診断支援システム病理診断支援システム病理診断支援システム

*Support System of Pathological Diagnosis（P-SSD）

12

(i) Loading virtual slide

�OpenSlideライブラリを導入 [Gooden, 2013]

P-SSD

(ii) Making a supervised database

�ペイントツールにより教師付

�保存形式：テキストスタイル

�画像データで保存するよりも必要コンピュータメモリを削減

Aperio SVS

Aperio TIFF

Hamamatsu VMS

Hamamatsu VMU

Hamamatsu NDPI

Leica SCN

MIRAX MRXS (“MIRAX”)

Sakura SVSLIDE

Trestle TIFF

Generic tiled TIFF

VSIのののの10画像形式に対応画像形式に対応画像形式に対応画像形式に対応

複数のバーチャルスライドに同様な処理が可能＋直接画像の加工可能

13

(i) Loading VSI

(iii) Learning image

feature

(ii) Making a supervised

database

(iv) Detecting cancerous area

(v) Displaying results of

detection

(i) Loading VSI

for Researcher for Pathologist

病理診断専門医及び研究者を支援する病理診断専門医及び研究者を支援する病理診断専門医及び研究者を支援する病理診断専門医及び研究者を支援する病理診断支援システム病理診断支援システム病理診断支援システム病理診断支援システム

*Support System of Pathological Diagnosis（P-SSD）

14

P-SSD

(iii) Learning image feature＆(iv) Detecting cancerous area

ソースプログラムの学習・識別のアルゴリズムを変更可

→ 自動癌領域検出手法の適用可自動癌領域検出手法の適用可自動癌領域検出手法の適用可自動癌領域検出手法の適用可

(v) Displaying results of detection

検出した癌領域を表示 → 病理診断のダブルチェックに利用可

ダブルチェックダブルチェックダブルチェックダブルチェック

見逃しなし

見逃しあり

診断決定診断決定診断決定診断決定

Default：特徴量 HLAC，Wavelet

機械学習 SVM

15

P-SSD使用例使用例使用例使用例 （ビデオ）（ビデオ）（ビデオ）（ビデオ）

16

開発システム（開発システム（開発システム（開発システム（P-SSD）の応用例）の応用例）の応用例）の応用例～複数～複数～複数～複数倍率を用いた癌領域検出倍率を用いた癌領域検出倍率を用いた癌領域検出倍率を用いた癌領域検出手法～手法～手法～手法～

縮小縮小

Feature calculation area128 x 128 pixelsCancer detection area128 x 128 pixels (x20)

(a) 20倍倍倍倍

(b) 10倍倍倍倍(c) 5倍倍倍倍

各倍率128 x 128 pixels領域毎に形状特徴と周波数特徴を計算→ 各倍率で特徴量計算後に統一

統合特徴量

17

評価実験評価実験評価実験評価実験

• 評価用画像10枚

• 倍率の組み合わせ

（20倍，10倍，5倍，2.5倍，1.25倍，0.625倍）

20倍，20～10倍，20～5倍，20～2.5倍，20～1.25倍，

20～0.625倍

• クロスバリデーションにより推定精度を算出

• 評価項目

18

評価実験結果評価実験結果評価実験結果評価実験結果各倍率組み合わせでの推定精度

最大感度： 79.10%（20～0.625倍）→ 従来手法より向上

感度（感度（感度（感度（%）））） 特異度（特異度（特異度（特異度（%））））

20倍 37.18 99.57

20～10倍 53.14 99.54

20～5倍 61.24 99.57

20～2.5倍 70.40 99.53

20～1.25倍 75.17 99.37

20～0.625倍 79.10 99.34

Nosato et al. 54.34 88.08

Ishibashi et al. 47.29 53.85

19

20

新技術の特徴・従来技術との比較新技術の特徴・従来技術との比較新技術の特徴・従来技術との比較新技術の特徴・従来技術との比較

• 従来技術の問題点であった，染色の程度による影響を改良することに成功した．

• 本技術は，既存の機械学習システム等の前処理に利用でき，既存のシステムの精度向上につながる．

• 教師データの作成支援ツールを開発し，より詳細な正解データを作成することができるようになり，細胞単位での認識を可能とすることが期待される．

21

想定される用途想定される用途想定される用途想定される用途

• 本技術の特徴を生かすためには，既存の顕微鏡用のスライドをデジタル化する装置に組み込み，付加価値を付けるのがメリットが大きいと考えられる．

• 上記以外に，HE染色された組織のデジタル

データの識別にも応用できるため，造血器疾患（造血不全やがん）の診断に展開することも可能と思われる．

22

実用化に向けた実用化に向けた実用化に向けた実用化に向けた課課課課題題題題

• 現在，感度（見落とし）７９％，特異度99.３％（過検出）が可能なところまで開発できているが，見落としが多いのが課題である．

• 並列計算を導入して学習時間の短縮，能動学習機能追加を行っていく．

• 実用化に向けて，未解決の見落とし精度が100％で，その上で過検出精度を向上できるような技術を確立する必要がある．

23

企業へ企業へ企業へ企業への期待の期待の期待の期待

• 未解決の見落とし100％については，大規模

な教師データベースの作成により克服できると考えている．

• データベース構築の技術を持つ企業や顕微鏡等の自動撮像装置開発企業との共同研究を希望している．

• また，顕微鏡下での物質や細胞の計数，識別分野への展開を考えている企業には，本技術の導入が有効と思われる．

24

本技術に関する本技術に関する本技術に関する本技術に関する知知知知的的的的財産権財産権財産権財産権• 発明の名称 ： 癌細胞領域抽出装置、方法、及びプログラム

• 出願番号 ： 特開2013-238459• 出願人 ： 学校法人東京理科大学

• 発明者 ： 竹村裕，高橋潤子

おおおお問い合わせ問い合わせ問い合わせ問い合わせ先先先先

東京理科大学 研究戦略・産学連携センター

URA 酒見 卓也

ＴＥＬ 03-5228-7431 (ext.1448)

e-mail ura@admin.tus.ac.jp