SPARQLとMashup環境（年岡先生）

SPARQLとMashup環境

年岡晃一中部大学

LODチャレンジJapan実行委員東海地区支部長 [email protected]

SparqlEPCU 2014/09/07 1

http://lodcu.cs.chubu.ac.jp/SparqlEPCU/ 2014/09/07

http://lodcu.cs.chubu.ac.jp/SparqlEPCU/

contents

I. LOD開発の現況 II. LODとは III. プログラミング無しで

1. データ登録と更新 2. 検索

IV. プログラミングして 1. Mashup 2. サンプルコード

V. SPARQLを学ぶ VI. さらに学ぶには（今回パス）


9/13 LODチャレンジデー2014 in 名古屋でも話します

I．LOD開発の現況


LOD構築の実際


行政学術機関

民間民間・学術機関

データ作成者 RDFデータ公開者

アプリ開発者 SPARQL Endpoint提供者

SPARQL利用 RでもOK

データ提供

データ収集

LinkData

DBpedia DBpediaJapanese SparqlEPCU LODAC Museum ・・・

RDFstore

Sparql Timeliner LOD Browser ・・・

エンドユーザー

多くはSPARQLコマンド画面を用意している

LOD構築の実際


行政学術機関

民間民間・学術機関

データ作成者 RDFデータ公開者

アプリ開発者 SPARQL Endpoint提供者

SPARQL

csv,xls,xml

csv,ttl

LinkData

csv,ttl

DBpedia DBpediaJapanese SparqlEPCU LODAC Museum ・・・

RDFstore

Sparql Timeliner LOD Browser ・・・

エンドユーザー

GUI

LOD catalog

CKAN

Fuseki virtuoso

II．Linked Open Data(LOD)とは


RDFとは (Resource Description Framework ) SPARQLとは (SPARQL Protocol and RDF Query Language)

rel:participant

bibo:organizer

RDF(Resource Description Framework)

CodeForNagoya Meeting foaf:name

2014-09-27

http://codeForJapan.org/conf19

dc:date

http://www.facebook.com/kawaguchi

河口信夫

foaf:name http://codeForeJapan.org/

http://www.facebook.com/miyauchi 宮内元 foaf:name

CodeForNagoya

foaf:name nco:representative

foaf:knows

事物をURIで指定する事物間の関係を意味的リンクで結ぶグラフでデータを表現する（モデル）

規則ノードはURIで特定できる（世界で只１つ）プロパティもURIなので関係性の意味定義も唯一が保証される

WEB上の知識（リソース）を URIで特定し、「意味定義が唯一」が保証

された述語で表現していきましょうLOD

RDFとは


名古屋愛知

河村

橋本

県

市長

友人

グラフ表現による知識ネットワーク

実世界

メタデータ

検索 SPARQL

select ?s, ?o where{ ?s 県愛知 . ?s 市長 ?o . }


?s

愛知

?o

県

市長

検索はグラフ探索だが上記テーブルの自己結合で出来る

愛知県にある市の市長は誰？ subject predicate object

名古屋県愛知

松阪県三重

千種市名古屋市

松本町市春日井市

担当教員町松本町

名古屋市長河村

松本町町長佐藤

このトリプルが知識の最少単位

LODデータ

Webアプリケーションサイト(LODアプリ)

エンドユーザ

CLOUD


LODアプリサイト

がマッシュアップで作れるわ♪

グーグルマップの環境と同じ

III．先ずはプログラミング無しでデータ格納とデータ検索


誰でも手軽にRDFをアップロードしてSPARQLでクエリかけられる

http://lodcu.cs.chubu.ac.jp/SparqlEPCU/

コース順


データの登録

データの検索

プログラミング無しで、RDFの登録・検索を体験

データの登録

データの検索

JavaScriptを書いて、

RDFの登録・検索を体験

csv形式緯度・経度

csv形式緯度・経度

CSV形式でＲＤＦ登録データを準備する

• addCSV.html


@学生, 学籍, 名前, mail ID09038, 藤木晋太郎, [email protected] ID09000, 青山哲也, [email protected] ID09001, 伊藤信士, [email protected] ID09002, 遠藤京子, [email protected]

クラス属性

個々のデータ

_id 学籍

名前

学生

ID09xx

藤木ｘｘ

fujiki@xx mail type

CSV形式でＲＤＦ登録 (subjectIDを付けて)

• addCSV2.html


@学生, SubjectID, 学籍, 名前, mail http://aaa/, ID09038, 藤木晋太郎, [email protected] http://bbb/, ID09000, 青山哲也, [email protected] http://ccc/, ID09001, 伊藤信士, [email protected] http://ddd/, ID09002, 遠藤京子, [email protected]

クラス属性

個々のデータ

http://aaa/ 学籍

名前

学生

ID09xx

藤木ｘｘ

fujiki@xx mail type

先頭属性がsubjectIDであれば、指定URLのRDF登録になります

データを登録する


登録したデータを検索してみる


IV．ここからはプログラミング


JavaScript jQuery LODを簡単に扱うためのJSライブラリサンプルコードをダウンロード

マッシュアップ環境

SlideShare http://www.slideshare.net/KohichiToshioka/sparql-epculod-28065847

SparqlEPCU RDFstoreにアクセスするJavaScript APIを公開


LODデータ

Webアプリケーションサイト(LODアプリ)

エンドユーザ

認証システム OAuth

CLOUD


LODアプリサイト

がマッシュアップで作れるわ♪

SparqlEPCUでは、各LODデータ

セット毎にアクセス権設定を行えるようにしている

JavaScript APIをつかう RDFの登録 RDFの更新 RDFの削除

RDFの検索（SPARQL実行）


Zipを解凍してindex.htmlをダブルクリック

開発にあたっての前提知識

• RDFに関する知識 • JavaScript, jQuery, JSON • RDF登録の入力データ形式

– CSV – TURTLE – N3 – RDF/XML – N-TRIPLE

• RDFダウンロード – TURTLE – N3 – RDF/XML – N-TRIPLE


LOD登録script <script type="text/javascript"> //インスタンスの宣言 var rdfmgr = new RDFmgr( rdfserver_project ); function goData(){ rdfmgr.insertInstance({ // CSV形式のデータをSparqlEPCUに送信 rdfdata: $("#csvdata").val(), success: function(){ alert("成功しました。"); } , error: getErrorMsg, overwrite: false }); } //エラー表示用関数 function getErrorMsg ( eType,eMsg,eInfo ){ alert(eMsg+"¥n¥n"+eInfo); } </script>


LOD検索script function sparqlSend () { var stext = $(“#sparql”).val(); // 検索式を入力フィールドより持って来る rdfmgr.executeSparql ( { // SPARQL検索を行う sparql: stext, // 検索式 inference: false, // 推論を行うか行わないかを指定する success: maketable, // 処理が終わった時に表示関数を呼び出す指定 error: getErrorMsg // 例外が起きた時にエラー処理関数を呼び出す }); } function maketable(re) { // 検索結果のJSONデータを、イテレータを使用して取り出して表作成する $("#disp").empty(); var str = new String("<tr>"); for(var i=0; i<re.getKeyListLength();i++){ str += “<td>”+re.getKey(i)+“</td>”; } str += "</tr>"; while(re.next()) { for(var i=0; i < re.getLength();i++) { str += “<td><pre>”+re.getValue(i)+“</pre></td>”; } str += "</tr>"; } $("#disp").append(str); }


http://lodcu.cs.chubu.ac.jp/SparqlEPCU/RDFServer.jsp?reqtype=api&project=nagoyadata&query=select * where{?s ?p ?o}&output=JSON

DeleteInstance

GET http://lodcu.cs.chubu.ac.jp/SparqlEPCU/RDFServer.jsp? sparqlCallback=xxx& hostname=& reqtype=manage& type=removeInstance& graphID=null& project=test2& subject= http://lodcu.cs.chubu.ac.jp/SparqlEPCU/project/test2#id_2


APIs

• CSV形式で登録されたインスタンスの操作 – rdfmgr.insertInstance() – rdfmgr.updateInstance() – rdfmgr.deleteInstance()

• 検索 – rdfmgr.executeSparql ()

• ３つ組みとしての操作

– rdfmgr.insertStatement() – rdfmgr.updateStatement() – Rdfmgr.deleteStatement()


LOD Browserで検索してみる


緯度、経度情報があればgoogleマップ上に表示します。この画面で編集も出来ます。

SparqlEPCUの今後

• NamedGraphの利用 – 現バージョンでも使える

• FederatedSearchへの対応 • GoogleRefineや語彙のNegotiation • ScaleOut


V．SPARQLの機能いろいろ


SQLに似ている

SPARQLの諸機能

• DISTINCT • COUNT • LIMIT OFFSET • OPTIONAL • ORDER BY • GROUP BY • FILTER


SPARQL 1.1の追加機能 • CONSTRUCT • ASK • DESCRIBE • NAMED GRAPH

基本クエリ


SELECT * WHERE { ?s ?p ?o . }

?s

?p

?o

主語

述語

目的語

SELECT ?s ? p ?o WHERE { ?s ?p ?o . }

SELECT ? p ?o WHERE { ?s ?p ?o . }

左と同じ主語は結果表示に含めない

DISTINCT 重複を取り除く


select DISTINCT ?o where { ?s lodcu:駅 ?o }

?s

駅

?o

COUNT データ総数を返す


select (count(?o) as ?c) where { ?s lodcu:駅 ?o }

?s 駅

?o

select (count( distinct ?o) as ?c) where { ?s lodcu:駅 ?o }

上記では同じ駅が何回でも出て来るので

集約関数他にSUM,AVG,MAX.MINなども

select (count(?s) as ?c) where { ?s ?p ?o }

すべてのトリプルを数える

LIMIT OFFSET


SELECT * WHERE { ?s ?p ?o . } LIMIT 5 offset 10

?s

?p

?o

ORDER BY


SELECT * WHERE {?s ?p ?o . } ORDER BY ?o

?s

?p

?o

降順なら ORDER BY DESC( ?o)

FILTER


SELECT * WHERE { ?s ?p ?o . FILTER (?o >2 && ?o <5) }

?s

?p

?o

条件で絞り込む

FILTER + regex


select * where { ?s ?p ?o. FILTER ( regex(?o,"名", "i")) }

?s

?p

?o

文字列検索

OPTIONAL


SELECT * WHERE { ?s rdfs:label ?o . OPTIONAL{ ?s lodcu:TEL ?o2 . } }

?s

?p

?o

在ればそれも出すという付帯的な条件

ラベル付きが必須だが、電話が無くてもリストには出る。外部結合に相当する

GROUP BY+ count グループごとに集約関数


?s

?p

?o

SELECT ?o (count(?s) as ?cnt) WHERE {?s lodcu:駅 ?o . } GROUP BY ?o

BIND


select distinct ?o ?strlen where { ?s lodcu:駅 ?o . BIND (STRLEN(?o) as ?strlen) } order by desc(?strlen)

?s

?p

?o

他に

• 多言語用にラベルを用意 • 深いパスへの探索 • 複数LODサイトにSPARQLを実行してもらう


Thank you


Technology

SPARQLとMashup環境 （年岡先生）

SPARQLとMashup環境（年岡先生）