視覚障害者向け触覚ディスプレーによる 振動提示技術と力覚...

02

視覚障害者向け触覚ディスプレーによる振動提示技術と力覚誘導提示技術清水俊宏　　坂井忠裕†　　半田拓也

†（一財）NHKエンジニアリングシステム

Vibration Presentation and Powered Mechanical Leading Methods Using Tactile Display for Visually Impaired People

Toshihiro SHIMIZU, Tadahiro SAKAI† and Takuya HANDA

† NHK Engineering System

要　約

視覚に障害のある人に図形やグラフなどの情報を音声のみで理解してもらうことは非常に難しく，伝える場合に時間も要する。このような２次元空間に配置された情報を手や指の触覚に対して提示するための装置として，触覚ディスプレーが開発されている。本稿では，触覚ディスプレー上に表示されている図形ごとに振動周波数を変え，それを触ったユーザーが振動周波数の違いを手がかりにして図形を区別する振動提示技術について報告し，データ放送の地震・津波情報への応用例を紹介する。また，視覚障害者教育では，しばしば晴眼者である介助者が視覚障害者の手や指を誘導して，触図として表示されている図形の輪郭やグラフの線をなぞらせることがある。この手法により，重なり合って表示されている個々の図形や交差している複数のグラフの特定の形状を理解させることができる。当所では，視覚障害者の手や指を図形の輪郭やグラフの線の上に機械が誘導してなぞらせることで，介助者の誘導と同様の効果が得られる力覚誘導提示技術を開発した。評価実験によってその有効性を確認したので，併せて報告する。

ABSTRACT

It is difficult to explain a diagram or a graph only in

words to visually impaired people; it also takes a lot

of time to explain such images. The tactile display

was developed to present geometric information

to visually impaired people. This article describes

a vibration presentation method with a different

frequency for each object on the tactile display and

an application for presentation of information on

earthquakes and tsunamis in a data broadcasting

service. In education of visually impaired people,

sighted helpers often help visually impaired persons

trace, using their hand or finger, the contours of a

diagram or distinguishable lines of graphs, displayed

as tactile graphics. A powered mechanical leading

method was developed that can mechanically lead

a visually impaired person’s finger when tracing

contours of a diagram or individual lines of a graph

and its effect was evaluated in an experiment.

30 NHK技研 R&D/No.154/2015.11

１．はじめに

視覚に障害のある人に図形やグラフなどの情報を音声のみで理解してもらうことは非常に難しく，それらを言語化しながら伝える場合に時間も要する。晴眼者の場合，数値データをグラフ化することにより，全体の傾向を瞬時に把握でき，色分け表示によって，図形やグラフ等の注目させたい箇所の強調や，複数の情報の区別も可能である。

視覚に障害のある人に対して２次元空間に配置された情報を提示するためのツールとして，「触図」＊１と呼ばれるものがある。しかし，触図は一般的に紙媒体や金属製のため，提示情報を容易に変更できない。一方，２次元に配置されたピンを電子的に上下させることで，提示する情報を逐次変更可能な触覚ディスプレーが開発されている１）。触覚ディスプレーを用いれば，視覚障害者が音声読み上げ機能と併せて触察動作＊２によって，地図や図形およびグラフ等の全体像を迅速に把握できる。しかし，一般的な触覚ディスプレーは２値化表示（ピンの上下による表示）のため，晴眼者であれば理解できる重なった図形の色分け表示や交差したグラフ等を区別して提示することが困難であった。そこで当所では，触覚ディスプレーに表示する図形やグラフごとに振動周波数を変えて提示することで，複数の情報を触覚によって区別して認知できる振動提示技術を開発した２）。

また，晴眼者である介助者が触図を使用して図形やグラフ等を伝えるとき，視覚障害者の手や指を誘導することがある。これは，介助者が視覚障害者の指を誘導して図形の輪郭や複数のグラフの線を区別してなぞらせることで，個々の図形や交差しているグラフ等を理解させる

ためである。当所では，図形の輪郭やグラフの線をなぞるようにして視覚障害者の指を機械的に誘導する力覚誘導提示技術も併せて開発した３）。本技術によって，上記の介助者と同様の方法で，視覚障害者が全体の構成を把握することができる。力覚誘導提示技術は，どの部分の情報を詳しく取得する必要があるかを視覚障害者が判断するための情報を前もって与えることができ，力覚誘導の後に自身の意志によって自由に触察することで知りたい情報を取得するものである。

本稿では，視覚障害者に触覚ディスプレーを用いて図形やグラフ等をより分かりやすく提示するための振動提示技術と，データ放送サービスでの地震・津波情報における応用例，更に力覚誘導提示技術について報告する。

２．局所的な振動提示が可能な 触覚ディスプレー

２．１　触覚ディスプレーにおけるコンテンツ記述法１図に触覚ディスプレーの外観を示す。触覚ディスプ

レーの触察面には，圧電素子により上下するピンが96×64ドット（2.5mm間隔）の２次元平面上に配置されている。また，ピンが配置された面の外枠には光学式のタッチセンサーが設置されており，常に指とピンの接触状態および指の位置を検出している。例えば，ピンの上下によって四角形を表示させてメニューボタンに見立て，そこを指で触れることで合成音声によってボタンの意味を

＊１紙や金属プレート等に突起を形成して，図形や地図等を触覚によって提示し，視覚障害者が触って理解できるようにしたもの。一般に，文字を点字にして説明を入れる。

＊２触って観察すること。手や指を動かして物体の材質感や形状等を認知したり，触覚によって探索することで能動的に情報を取得したりする動作。

１図　触覚ディスプレーの外観

31NHK技研 R&D/No.154/2015.11

読み上げたり，ボタンに設定した機能を実行させたりすることも可能である。そのため，インタラクティブなコンテンツを視覚障害者に提示できる。

触覚ディスプレーに表示するコンテンツは，当所での研究成果を基に視覚障害者向けに必要な機能を定義したXML（Extensible Markup Language）＊３で記述している４）５）。XMLで記述したコンテンツは，触覚ディスプレーに接続された制御用PC（Personal Computer）上で起動しているブラウザーによって変換され，音声読み上げやピンにより，図形や点字として表示される。

更に，２．３節で説明する「視覚障害者向けデジタル放送受信機」を用いれば，液晶モニター等を接続して，弱視＊４の人向けに文字等を拡大表示し，文字サイズや色および背景色等を見やすいようにリアルタイムで自由に変更できる。

２．２　振動提示個々の図形や，グラフ内の交差する複数の線を異なる

周波数で振動させることによって，重なる図形やグラフの各線を視覚障害者に区別して提示する技術を開発した。振動させたい図形および振動周波数を指定する方法としては，各図形の描画形状等をXMLで記述する際の属性として，タグで振動周波数のID（Identification）番号を指定する方法と，描画図形の指定領域内の色情報を自動検出して，色に対応した周波数で振動させる方法を開発した２）。前者は，XMLで描画指定する図形形状の全体が振動する方法である。XMLで記述可能な図形は単純な形状であるため，複雑な形状は画像データを読み込んで表示する。後者の色検出による方法は，画像データを読み込んで触覚ディスプレーに表示させる場合や，

図形の一部などの複雑な形状領域を振動させるときに使用する。

２図に局所的な振動提示を行う場合のシステム構成を示す。同図の「非マークアップ記述データ」（XMLで記述されていないデータ）は，画像データを読み込んで表示する場合の入力画像ファイルに該当する。「画像データ変換」は，入力された画像データの明度・色相・彩度を計算し，「色領域検出」は，特定の色相の領域を検出する。「色→振動パターン」は，検出された色相に対応する振動パターンを出力する。また，「触覚提示XML」と「オブジェクト抽出」は，XMLで記述された描画図形の場合でも個々の図形（オブジェクト）の色相を検出して振動させるためのものである。「オブジェクト→振動パターン」は，XMLで各オブジェクトの振動パターンを指定する場合の振動パターンを出力する。「触覚刺激ピン駆動データ生成」は，触覚ディスプレーのピンを上下させるための２次元の時系列データを生成する。

振動パターンとしては，単一周波数による連続振動だけではなく，間欠振動や，複数の周波数を組み合わせた振動パターンを提示できる。各種の振動パターンを定義するために，振動周波数と無振動期間の組み合わせを定義した「振動定義XML」を，触覚提示XMLとは別に用意した。コンテンツの内容を記述した触覚提示XMLにおいては，上記の振動パターンのID番号をタグで指定

f1 f2

f1 f2

振動パターン

振動パターン

触覚ディスプレー

マークアップ記述データ

触覚提示XML

画像データ変換（明度・色相・彩度）

非マークアップ記述データ

オブジェクト抽出

色領域検出 色→振動パターン

触覚刺激ピン駆動データ生成

オブジェクト→振動パターン

振動定義XML

振動定義XML

２図　触覚ディスプレーによる局所振動提示の構成

＊３「タグ」と呼ばれる特定の文字列によってデータの意味を定義し，コンテンツやデータの構造を記述するための汎用的なマークアップ言語（タグで囲って命令を記述するプログラミング言語の一種）。

＊４さまざまな病因によって眼鏡等での矯正が難しく，極度に見えづらい回復困難な視覚障害のこと。なお本稿では，全盲と区別し，弱視を医学的に正確な分類によらず広い意味で用いている。

32 NHK技研 R&D/No.154/2015.11

報告 02

する。色情報と振動パターンを対応させる方法としては，

360°で表された色相を８等分（45°分割）し，８個のID番号で各色相の振動パターンを指定した。振動周波数の上限は，制御用PCと触覚ディスプレーとの通信速度や，触覚ディスプレーの描画速度に依存するが，20Hz程度である。

３図に，重なった図形や交差するグラフを，異なる周波数で振動させる場合の例を示す。

振動提示技術は，地図等の提示にも有効である。触覚ディスプレーの解像度が低いことや触覚による弁別能力を考慮すると，地図等のコンテンツでは，細かい図形をそのまま提示しても触覚では認知が難しい。そのため，模式化された表示の方が分かりやすいことから，建物等は単純な四角形で表示している。この場合，駅や病院等のランドマークとなるいくつかの建物を区別するために，異なる周波数で振動提示することによって，視覚障害者は目的地を迅速に見つけることができる。

２．３　データ放送での地震・津波情報への応用例デジタル放送による新しい放送サービスの１つにデー

タ放送がある。データ放送では，ニュースや気象情報などのさまざまな情報をいつでも見ることができる。テレビのリモコンを使って「d」ボタンを押すとデータ放送のメニュー画面が現れ，リモコンの矢印キーによって見たい情報のメニューまで移動させて決定キーを押すとコンテンツが表示される。しかし，視覚に障害のある人は，テレビ画面を見ながら自分が選択したいメニューを見つけることができない。更に，データ放送のニュースや気象情報もテレビ画面に表示されるため，内容を知ることができない。

そこで当所では，画面を見なくても音声読み上げによってメニュー操作ができるとともに，データ放送コ

ンテンツの内容を音声読み上げや点字で伝える「視覚障害者向けデジタル放送受信機」（VIA-TV：Visually Impaired Assist TV）を開発した４）５）。４図にVIA-TVの外観を示す。点字については，４図のVIA-TVに触覚ディスプレーを接続して提示する。VIA-TVは，視覚障害者に対する音声読み上げや点字変換機能のほか，データ放送のコンテンツを記述するマークアップ言語であるBML（Broadcast Markup Language）を，２．１節で説明した触覚ディスプレーに表示するための触覚提示XMLに自動変換する機能も持っている。

VIA-TVに触覚ディスプレーを接続し，２．２節で説明した振動提示技術によって，データ放送の地震・津波情報を視覚障害者に分かりやすく伝える技術を開発した６）。NHKデータ放送の地震情報と津波情報では，地名と震度，沿岸地域名と津波に関する注意報・警報の種類がテレビ画面に文字で表示される。VIA-TVでは，視覚障害者に地名と震度，沿岸地域名と注意報・警報の種

（a） 重なった図形を異なる周波数で振動 （b） 交差するグラフを異なる周波数で振動

図形１（周波数１）

図形２（周波数２）

グラフ１（周波数１）

グラフ２（周波数２）

３図　振動提示によって区別させる図形とグラフの例

４図　VIA-TVの外観

33NHK技研 R&D/No.154/2015.11

類を音声で読み上げることもできるが，震度情報の地名や津波情報の沿岸地域名の数は非常に多く，読み上げに時間がかかるとともに，市町村名や沿岸地域名からその場所をイメージするのは難しい。テレビのニュース番組であれば，地図上に震度マップが表示されることが多く，津波情報も日本地図上に注意報・警報の種類を色分けして見やすく表示される。当所では，このような地図とともに表示される震度マップや，日本地図の沿岸線を色分けした津波情報のように，視覚障害者にも同様の分かりやすい提示ができないか検討した。そこで，VIA-TVを用いて触覚ディスプレーに地図を表示し，震度に応じた周波数で振動させる手法を開発した。また，津波情報は，日本地図の沿岸線を注意報・警報の種類に応じた周波数で振動させて提示することとした。

５図に，触覚ディスプレーで関東地方の地図上に振動提示させた地震情報の例を示す。同図では，関東地方の各都県の位置にある四角形を震度に応じた周波数で振動させている。震度情報は，都道府県震度や市町村震度などのように，提示する範囲をメニュー選択で指定することができる。また，都道府県震度の場合は，各都道府県の最大震度を表示するようにした。地震情報の震度データは，VIA-TVによってデータ放送から自動的に得ているため，データ放送と連動して最新の震度情報を触覚ディスプレーに表示できる。震度の階級は９段階であるが，触覚による周波数の弁別および記憶能力等を考慮し，５段階の振動周波数で震度を表した。すなわち，震度１と２を２Hz，震度３と４を４Hz，震度５弱と強を16Hz，震度６弱と強を16Hz+B1，震度７を16Hz+B2とした。「16Hz+B1」は16Hzの振動でON期間150ms/OFF期間450msにした間欠振動であり，「16Hz+B2」は16Hzの振動でON期間75ms/OFF期間225msにした間欠振動を表す。触覚による振動提示によって，視覚障害者は震

度の大きさと分布を直感的にイメージできるとともに，振動している四角形の領域を指で触れると震度と地名を音声で提示するため，さらに正確な情報を伝達できる。なお，振動周波数の違いを知覚させるためには２乗以上の周波数差が必要なことから，触覚ディスプレーの周波数上限を考慮して，今回は震度と周波数を上記のように対応づけたが，周波数を組み合わせた振動パターンによる提示や，弁別可能な振動パターンの最適数については，今後の評価で明らかにしていく。

また，津波注意報，津波警報，大津波警報を，色分けした画像の色相を検出して，振動により提示する手法を開発した２）６）。触覚ディスプレーに表示された日本列島の沿岸線に沿ったライン上に，津波注意報，津波警報，大津波警報を振動提示させる。津波情報は，広範囲な沿岸地域に発令されるため，地震情報のような都道府県単位や関東地方のような地方単位の選択表示とせずに，日本列島全体の表示とした。振動周波数は，津波注意報を２Hz，津波警報を４Hz，大津波警報を16Hzとした。津波データも地震情報と同様にデータ放送から自動的に得ているため，リアルタイムで情報が更新される。

３．触覚ディスプレーによる力覚誘導提示技術

晴眼者である介助者が触図の内容を伝えるときには，しばしば視覚障害者の手や指を誘導しながら説明する。これは，視覚障害者が自らの意志で触察動作を行う前の全体像の把握に有効である。当所では，図形の輪郭やグラフの線をなぞるようにして視覚障害者の指を機械的な力で誘導する力覚誘導提示技術の研究を進めている３）７）。力覚誘導提示を，２章で述べた振動提示や音声提示とともに用いることで，視覚障害者に図形やグラフ等を分かりやすく伝達することができる。

５図　関東地方の地図上に振動提示させた地震情報の例

34 NHK技研 R&D/No.154/2015.11

報告 02

力覚誘導無し 力覚誘導有り

折れ線グラフ

市街地図

台風 津波

駅構内図

天気図

0 １ 2 3 4 5

６図に，力覚誘導提示装置を触覚ディスプレーとともに用いた場合の外観を示す。力覚誘導提示部には，市販の３次元形状力覚提示装置を用いた。この装置は，本来は，仮想的な３次元形状の表面に指が触れたときにモーターの力で反力を与えることによって仮想物体に触れた感覚を生じさせる製品であるが，これを応用して，あらかじめプログラムされた軌跡に沿ってモーターの力で指を誘導させる方式を実現した。

力覚誘導提示の有効性を確認するための評価実験を実施した。実験では，触覚ディスプレー上に提示したコンテンツについて，従来の凹凸のみの提示の場合と力覚誘導した場合を，「迅速な把握のしやすさ」の観点から比較した。評価したコンテンツは，「駅構内の案内図」，「市街地図」，「津波注意報・警報の図」，「天気図」，「台風予想進路図」，「折れ線グラフ」の６種類である。「駅構内の案内図」ではトイレや改札口の位置などの主要な設備の位置を力覚誘導によって教え，「市街地図」では学校や病院などのランドマークとなる建物の位置や道順などを力覚誘導で教えた。「津波注意報・警報の図」では，日本列島の沿岸線上に発令された注意報・警報の種類を教えるために，沿岸線を力覚誘導した。「天気図」および「台風予想進路図」では，低気圧の位置を教え，台風の予想進路等は進路をなぞって誘導した。「折れ線グラフ」では，交差する２本のグラフを別々に誘導した。主観評価では，早期失明者２名と中途失明者５名，計７名の視覚障害者によって，これらのコンテンツを「５：非常に迅速に把握しやすい」，「４：迅速に把握しやすい」，

「３：どちらともいえない」，「２：迅速に把握しにくい」，「１：非常に迅速に把握しにくい」の５段階で評価した。

評価実験では，力覚誘導無しの場合について評価した後，力覚誘導有りの場合について評価してもらった。７図

は，提示された各コンテンツに対する評価結果である７）。同図は，６種類のコンテンツの評価結果をすべて表したレーダーチャートであり，１〜５の数値を表すラインは評価値を示す。力覚誘導を用いない自由な触察のみによる場合と比較して，力覚誘導提示した場合では評価値が高く，迅速に把握できていることを示している。

晴眼者は，視野内の視覚情報を空間的に並列処理することによって瞬時に情報を把握できるが，視覚に障害のある人は，これまで音声読み上げや点字等の言語による説明によって情報を取得していたため，理解に時間がか

６図　力覚誘導提示装置の外観

７図　力覚誘導提示の主観評価の結果

35NHK技研 R&D/No.154/2015.11

かっていた。しかし，触覚ディスプレーと力覚誘導提示技術を用いることによって，視覚情報による空間的な並列処理に少しでも近づけることのできる，触覚による迅速な情報の取得が可能であることが明らかとなった。

４．おわりに

本稿では，視覚に障害のある人による情報の取得を，晴眼者による視野内の視覚情報の空間的な並列処理に少しでも近づけるための触覚提示技術について報告した。

振動提示技術においては，触覚ディスプレーに表示する図形やグラフごとに振動周波数を変えて提示することで，複数の情報を触覚によって区別して認知できることを示した。また，視覚障害者向けデジタル放送受信機とともに触覚ディスプレーによる振動提示技術を用いることによって，データ放送の地震・津波情報をより分かりやすく提示する技術を紹介した。

さらに，晴眼者である介助者が視覚障害者の手や指を誘導して図形の輪郭や複数のグラフの線を区別してなぞらせることで，個々の図形や交差しているグラフ等を理解させるのと同様の効果を実現する力覚誘導提示技術に

ついても報告した。この力覚誘導提示技術と振動提示技術を用いることによって，空間的に情報を配置したコンテンツにおいても，視覚に障害のある人が晴眼者に近い迅速な情報把握を行える可能性を示した。

今後は，早期の実用化を目指し，触覚提示技術の応用先の１つとして，教育コンテンツを対象としたフィールド評価実験を行い，本手法の有効性および課題を明らかにしていく予定である。

本稿は，電子情報通信学会技術報告に掲載された以下の論文を元

に加筆・修正したものである。

坂井，半田，清水，村山：“局所的な振動が可能な触覚ディスプ

レイ提示方式の開発 －視覚のように一覧性のある情報伝達を実現

するために－，”信学技報，WIT2013-39，Vol.113，No.195，pp.85-90

（2013）

清水，坂井, 半田：“視覚障害者向けデータ放送からの地震・津波

情報の触覚ディスプレイによる振動提示，”信学技報，WIT2012-68，

Vol.112，No.475，pp.133-138（2013）

坂井，半田，清水：“力覚誘導の提示条件が空間認知に与える影

響の評価，”信学技報，WIT2013-90，Vol.113，No.481，pp.127-132

（2014）

36 NHK技研 R&D/No.154/2015.11

報告 02

１）半田，坂井，清水：“視覚障害者向けデジタル放送受信機の開発，”映情学年次大，18-2（2012）

２）坂井，半田，清水，村山：“局所的な振動が可能な触覚ディスプレイ提示方式の開発 －視覚のように一覧性のある情報伝達を実現するために－，”信学技報，WIT2013-39，Vol.113，No.195，pp.85-90（2013）

３）坂井，半田，清水：“力覚誘導の提示条件が空間位置認知に与える影響の評価，”信学技報，WIT2013-90，Vol.113，No.481，pp.127-132（2014）

４）K. Matsumura，T. Sakai and T. Handa：“Restoring Semantics to BML Content for Data Broadcasting Accessibility，”Proc. HCI2007，Universal Access in HCI Part III，No.LNCS4556，pp.88-97（2007）

５）坂井，半田，大河内，伊福部：“視覚障害者向けデジタル放送受信機とUIの開発評価，”信学HCGシンポジウム，HCG2011-B3-4，pp.154-159（2011）

６）清水，坂井，半田：“視覚障害者向けデータ放送からの地震・津波情報の触覚ディスプレイによる振動提示，”信学技報，WIT2012-68，Vol.112，No.475，pp.133-138（2013）

７）坂井，坂尻，半田，比留間，清水，大西：“教育コンテンツによる触覚／力覚誘導提示方式の効果の実証評価，”信学技報，WIT2014-96，Vol.114，No.512，pp.61-66（2015）

参考文献

清し

水みず

俊とし

宏ひろ

1987年入局。岡山放送局を経て，1989年から放送技術研究所において，視覚情報処理機構，広視野立体画像の他覚的評価，視覚障害者向け放送バリアフリー技術等の研究に従事。2004年から2006年までATR人間情報科学研究所に出向。現在，放送技術研究所ヒューマンインターフェース研究部上級研究員。博士（工学）。

半はん

田だ

拓たく

也や

2001年入局。岡山放送局を経て，2005年から放送技術研究所において，情報バリアフリー受信技術，触力覚提示技術等の研究に従事。現在，放送技術研究所ヒューマンインターフェース研究部に所属。

坂さか

井い

忠ただ

裕ひろ

1977年入局。帯広放送局を経て，1982年から放送技術研究所において，記録技術，ヒューマンインターフェース，視覚障害者支援技術，触覚の情報受容等の研究に従事。現在，（一財）NHKエンジニアリングシステム先端開発研究部チーフエンジニア。博士（工学）。

37NHK技研 R&D/No.154/2015.11