Ims@sparqlではじめるr markdownとgitbookによるレポート生成

takemikamiʼs note ‒ http://takemikami.com/

ims@sparqlではじめるR Markdownとgitbookによるレポート⽣成

Copyright (C) Takeshi Mikami. All rights reserved. 1

みかみんP(フリーランスITエンジニア) twitter: @takemikamas2017.9.2 あいますえんじにあ Meetup in 京都R RMarkdown SPARQL im@sparql


副業紹介

• みかみんP (@takemikamas)• フリーランスITエンジニア• データ分析及び機械学習等の応⽤システム開発• マーケティングデータ分析基盤のシステム開発

• 略歴• 確率論・情報通信ネットワーク @ 甲南⼤学理学部応⽤数学科• Web系システムの開発・構築 @ NEC系SIer• 旅⾏系ECサイトのマーケティングデータ分析 @ DeNA• データ分析及び機械学習等の応⽤システム開発 @ フリーランス

• 最近扱っている技術領域• Hadoop&Spark, Scala, Python, hivemall, AWS


発表者の副業を紹介します

P


im@sparqlとは


im@sparqlの紹介をします

im@s + sparql = im@sparql• アイマスワールドのデータベース• WebやアプリからSPARQLでアクセス可能


R Markdownとは

• Markdown形式の⽂書で、⽂書中のRのコードを実⾏し、結果を確認することが出来る• RMarkdownから

実⾏結果を埋め込んだMarkdown⽂書に変換することが出来る


R Markdownの紹介をします

Rの実⾏結果の埋め込みが出来るMarkdown形式の⽂書


R Markdown中のコード実⾏

• 埋め込んだRのコード部分でShift+Control+Enterで実⾏


RStudioでR Markdown中のコードを実⾏するイメージを⽰します


gitbookとは


gitbookの紹介をします

gitとmarkdownによる書籍⽣成ツール• Markdownで記載したドキュメントから、

いろいろな形式の書籍を⽣成出来る。• HTML• PDF• ePub

• gitbook.comという書籍公開のプラットフォームもある


レポート作成の仕組みの全体像

• RStudioでデータを分析し、その結果からpdf等を⽣成します。


レポート作成の仕組みの全体像を⽰します

htmlpdf

Rmd md

分析のプロセス

gitbookR/knitrレポート⽣成のプロセス


Rからim@sparqlにクエリを投げる

• SPARQLのライブラリ⽂字化けしたので、tidyjsonとcurlでなんとかした


Rからim@sparqlのendpointにクエリを投げてみました

library(dplyr)library(curl)library(tidyjson)imasparql <- function(q) {endpoint <- https://sparql.crssnky.xyz/spql/imas/queryrequrl <- paste(endpoint , "?query=" , URLencode(q, reserved=TRUE), sep="")result <- curl_fetch_memory(requrl)rtnarray <- rawToChar(result$content) %>% enter_object('results') %>% enter_object('bindings') %>%

gather_arrayreturn(rtnarray)

}

df <- imasparql(“※ここにSPARQL※")%>% spread_values(name=jstring("name", "value"), sum = jstring(”sum", "value") )%>% select("name", ”sum")

ここにクエリ

ここにとりたいカラムここにとりたいカラム


RStudioで分析しているイメージ


RStudioで分析しているイメージです

CuCoPaの得票数ヒストグラム

都道府県別⼈⼝とアイドル数のプロット


⽣成したレポートのイメージ


⽣成したPDFレポートのイメージです


分析例

• 東京出⾝アイドルは多いが、⼈⼝との⽐率でみても多いのか？


im@asparqlを⽤いた分析例を紹介します

東京→やっぱり多い

→都道府県別⼈⼝

アイドル数↑


分析例

• ⼈⼝⽐では、⾼知・⽯川・福井など東京より多いところが９県




アイドル数↑

この辺りが気になる


分析例

• 愛知・⼤阪・福岡などは⼈⼝に対してアイドルが少ない




アイドル数↑

逆に少ないとこは？

→もっとスカウトした⽅がよいのか？

Software

Ims@sparqlではじめるr markdownとgitbookによるレポート生成