Upload
taku-yamaguchi
View
301
Download
4
Embed Size (px)
DESCRIPTION
今回は、ストリームデータ処理の観点で検討。 人の知的活動を信号処理するという切り口。最先端は教育分野のEDUPUBであるという認識。 相互運用可能な作文計測システムの設計 - リアルタイムモニタリングに向けて – Designing Interoperable Writing Measurement System for Real-time Monitoring 2014-09-25、第60回情報システム研究会
Citation preview
相互運用可能な作文計測システムの設計 - リアルタイムモニタリングに向けて ‒
Designing Interoperable Writing Measurement System
for Real-time Monitoring
○山口琢、大場みち子、高橋修 公立はこだて未来大学
Taku Yamaguchi, Michiko Oba, Osamu Takahashi Future University Hakodate
v1 2014-09-25 http://www.slideshare.net/yamahige
1 2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate
BACKGROUND
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 2
Big Data: large-scale and long-term data accumulation and analysis
for intellectual activity is realized by i15y and s13n • From lock-in to interoperability (*) • Benchmarking
– Many researches, practices; methods for teaching, learning and reviewing
– Measurement – Synthesize data and results
(*) Tsuneo Yamada, The MOOC phenomenon ‒ The issues of the forthcoming online course platforms in post-MOOC, JOHO KANRI Vol. 57 (2014) No. 6 pp.367-375
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 3
Sensing intellectual activity • thinking aloud protocols • produced text analysis – Natural language processing
• recording/logging – video recording, whole desktop operations logging
– keystroke, mouse, ... logging – activity modeling and logging
• eye tracking • neurologicals: MRI 2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 4
Activity sensing for e-book
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 5
Standardization for e-book activity sensing
IDPF: International Digital Publishing Forum IMS/GLC: IMS Global Learning Consortium 2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 6
学習・教育 ↓ Webとの融合 IMS/GLC: Caliper
読書 ↓
電子書籍
IDPF: EPUB
電子教科書
EDUPUB
知的活動
SCENARIO
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 7
自己紹介文の作成を観察 • つまずきをリアルタ
イムにキャッチして指導に反映する。
• その仕組みをアクセシブルにする
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 8
自分 エントリー 科目 性格
志望動機 力を注いだ科目は、xxxです。そこで、志望動機yyyです。
希望職種 aaaな性格なので、bbb職を希望します.
▲▲ ▲▲ ▲▲▲▲ ▲▲ ▲▲▲▲ ▲▲▲ ▲▲▲ ▲▲▲
▲▲▲ ▲▲ ▲▲▲ ▲▲ ▲▲▲ ▲▲
時間
操作の 種類
時間
操作の 種類
時間
操作の 種類
時間
操作の 種類
MEASUREMENT AND REAL-TIME MONITORING OF WRITING
Concept
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 9
writing research methods
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 10
text edi=ng system
writing xxx
xxxx xxx xxx xx xx xxxx
matrix type opera=on sensor
researcher
other writer
instructor
writer
monitoring, analysis
produced text
matrix
operations and their targets
▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲
keystroke logging
recording whole
opera=ons
time
測定機能 測定機能 more senors
• thinking aloud protocols • produced text analysis • recording, logging • eye tracking • Neurologicals
this research
Measurement of writing activity
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 11
text edi=ng system
editing operations
xxx xxxx xxx xxx xx xx xxxx
log
researcher
other writer
instructor
writer
produced text
edi=ng opera=on sensor
▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲
monitoring, analysis
cf. Measurement of written outcome
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 12
text edi=ng system writing xxx
xxxx xxx xxx xx xx xxxx
corpus
researcher
other writer
instructor
writer
Natural Language
Proccessing
produced text
monitoring, analysis
▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲
"Signal processing" for writing activity
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 13
text edi=ng system
editing operations
xxx xxxx xxx xxx xx xx xxxx
ac=vity repository
researcher
other writer
instructor
writer
produced text
wri=ng ac=vity sensor
▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲
analytics, monitoring
e.g. called Sensor API in IMS/GLC Caliper
e.g. SPARQL query lang. for DB stored in RDF format, SQL-like syntax
Signal processing for writing activity stream
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 14
text edi=ng system
editing operations
xxx xxxx xxx xxx xx xx xxxx
ac=vity stream
researcher
other writer
instructor
writer
produced text
wri=ng ac=vity sensor
▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲
real-time monitor
e.g. Continuous SPARQL
stored ac=vity
log
pattern scenario
analytics mining
▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲
e.g. SPARQL
Our focus: information model for writing
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 15
text edi=ng system
editing operations
xxx xxxx xxx xxx xx xx xxxx
ac=vity stream
researcher
other writer
instructor
writer
produced text
wri=ng ac=vity sensor
▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲
real-time monitor
stored ac=vity
log
pattern scenario
analysis mining
▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲
Informa=on model for wri=ng ac=vity
Information model for writing
• What are activities of writing? – of reading: annotations, page/block use, media use, lookups
• How are they described? – activity type/name, time stamp, ...?
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 16
information model • 「書き込んだ」 + • 「どこに」
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 17
自分 エントリー 科目 性格
志望動機 力を注いだ科目は、xxxです。そこで、志望動機yyyです。
希望職種 aaaな性格なので、bbb職を希望します.
▲▲ ▲▲ ▲▲▲▲ ▲▲ ▲▲▲▲ ▲▲▲ ▲▲▲ ▲▲▲
▲▲▲ ▲▲ ▲▲▲ ▲▲ ▲▲▲ ▲▲
時間
操作の 種類
時間
操作の 種類
時間
操作の 種類
時間
操作の 種類
INTEROPERABILITY
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 18
システム構成: SaaS型テキストエディタ • 編集操作ログを保存、モニタ・分析 • 文章データは自・サードパーティのク
ラウドストレージに保存
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 19
モバイル、PCの ブラウザ
サーバ(SaaS)
編集操作ログ (ビッグデータ、
オープン データ)
クラウドストレージ
書き手 サーバ 処理
テキストエディタ
Webサイト
ワークシート (XHTML、CSS)
指導者
研究者
文章データ (XHTML、CSS)
モニター
分析
サーバ処理
自身・他の 書き手
xxx xxxxxxxxxxxx
システム構成: SaaS型テキストエディタ • 編集操作ログを保存、モニタ・分析 • 文章データは自・サードパーティのク
ラウドストレージに保存
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 20
モバイル、PCの ブラウザ
サーバ(SaaS)
編集操作ログ (ビッグデータ、
オープン データ)
書き手 サーバ 処理
テキストエディタ
指導者
研究者
モニター
分析
サーバ処理
自身・他の 書き手
xxx xxxxxxxxxxxx
スマホ、タブレット、PC
文書Y xxxxxxxxxxxxxxxx xxx
without interoperability
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 21
スマホ、タブレット、PC サーバA
編集操作ログ
書き手A
サーバ 処理
サーバB
編集操作ログ サーバ 処理
モニター
サーバ処理
文書Xのログ
文書Yのログ
書き手Aのグラフ
書き手Bのグラフ
None
書き手Aのグラフ
None
書き手Bのグラフ
モニター
サーバ処理
書き手B
文書X xxxxxxxxxxxxxxxx xxx
"ワープロ戦争"再び?
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 22
スマホ、タブレット、PC
ベンダーBのクラウド
編集操作ログ
文書Y xxxxxxxxxxxxxxxx xxx
書き手
サーバ 処理
ベンダーAのクラウド
編集操作ログ サーバ 処理
文書X xxxxxxxxxxxxxxxx xxx
モニター
サーバ処理
文書Xのログ
文書Yのログ
文書Xのグラフ
文書Yのグラフ
(なし)
文書Xのグラフ
(なし)
文書Yのグラフ
モニター
サーバ処理
"ワープロ戦争"再び?
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 23
スマホ、タブレット、PC
ベンダーBのクラウド
編集操作ログ 書き手
サーバ 処理
ベンダーAのクラウド
編集操作ログ サーバ 処理
文書X xxxxxxxxxxxxxxxx xxx
モニター
サーバ処理
文書Xのログ
文書Xのログ
文書Xのグラフ
文書Xのグラフ モニター
サーバ処理
スマホ、タブレット、PC
文書Y xxxxxxxxxxxxxxxx xxx
標準化による相互運用
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 24
スマホ、タブレット、PC
ベンダーAのクラウド
編集操作ログ
書き手A
サーバ 処理
ベンダーBのクラウド
編集操作ログ サーバ 処理
サーバ処理
文書Xのログ
文書Yのログ
書き手Aのグラフ
書き手Bのグラフ
モニター
サーバ処理 書き手B
文書X xxxxxxxxxxxxxxxx xxx
想定すべき前提: 疎結合 • 新規作成・完了を捉えてるとは限らない。 • 途中の欠損があるかもしれない。 – 「ベンダーBクラウド」がダウン、とか
• もちろん、このシステムを利用する個々の人文学・社会科学の実験は,データの欠損がないようにアレンジされるだろう。
• ここで論じているのはシステムの要件であって,実験の要件ではない。
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 25
APPROACH
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 26
Technology push strategy Technology push
- Iterative and incremental - Demand pull
- waterfall -
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 27
model model learning/research learning/research data
nees/requirement
deploy
Proof of concept: the first itera=on
hypothesis
analysis
evaluation
problems
DESIGNING INFORMATION MODEL FOR WRITING
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 28
Designing writing information model
information model • activity • conceptual information structure on which those
activities are based 2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 29
(2) which provide with fruitful analysis
• humani=es • instruc=on • learning • document review/ management
(1) What are information models of writing
x x x x x
(3) and can be supported by new and existing applications
apps/systems and the model
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 30
• humani=es • instruc=on • learning • document review/ management
(1) What are information models of writing
x x x x x
Various implementation • New/existing • Full/partial support • Native/activity-translation
(3) and can be supported by new and existing applications
focus here
(2) which provide with fruitful analysis
Matrix type information model for "writing"
• Worksheet model of Explicit/implicit guidelines/instructions for "planning". – "Write y, as section a1, a2, ... or aN; considering b1, b2, ... and/or bN; audience are c1, c2, ... and/or cN; it will be reviewed by criteria d1, d2, ... dN; ..."
– axis a = { a1, a2, ... }, axis b = { b1, b2, ...}, ... – cell y = f(a, b, c, d, ...)
• Activity – matrix: editing axes, items of an axis, text in a cell – editing text which is not associated with a cell
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 31
Conceptual two dimensional matrix セルの内容 = f("エントリー", "自分")
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 32
自分 エントリー
科目 性格 卒研
志望動機 力を注いだ科目は、xxxです。そこで、志望動機yyyです。
希望職種 aaaな性格なので、bbb職を希望します.
1) 記入
2) 列追加 = 「自分」軸に「卒研」視点を追加
#1: Reference implementation provide researchers and engineers with a graphical UI to understand the abstract model
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 33
planning produced text
This writer (1) wrote this part of text (2) as a part of "Results" considering "BYOD" in CFP, (3) And the writer considers that "BYOD" is an item of "Call for
Paper" axis and "Results" is an item of "IMRAD" axis.
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 34
planning in matrix view produced text
(1) (2)
(2)
(3) (3)
Submitting activity log
Request Method: POST … Request Payload … Content-Disposition: form-data; name="edit_log" {"vr":"0.7","level":"detail","console":false,"saveClear":"true","log":[{"op":"cc_cellText","cnt":{"element":{"id":"cc_764","tagName":"P"},"matrix":{"id":"cc_705","tagName":"TABLE"},"td":{"id":"cc_725","tagName":"TD"},"axes":[{"axis":"cc_743","item":"cc_720"},{"axis":"cc_744","item":"cc_749"}]},"dt":"2014-09-09T04:42:16.736Z"}]}
"op": "cc_cellText", "cnt": { "td": { "id": "cc_725", "tagName": "TD" }, "axes": [ { "axis": "cc_743", "item": "cc_720" }, { "axis": "cc_744", "item": "cc_749" } ] },
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 35
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 36
(1) (2)
(2)
(3) (3)
"op": "cc_cellText", "cnt": { "td": { "id": "cc_725", ← (1) "tagName": "TD" }, "axes": [ { "axis": "cc_743", ← (3) "item": "cc_720" ← (2) }, { "axis": "cc_744", ← (3) "item": "cc_749" ← (2) } ] },
#2, #3: Editing pattern 1
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 37
matrix operations done, posted
type
s of editin
g op
erations
time line
paragraphs headings operations
matrix operations
other operations
Editing patter 2
• less matrix operations,
• ceased at the early stage
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 38
matrix operations
In case of a proceeding
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 39
9 Jun. paper submission
4 Jul. acceptance no=fica=on
16 Jul. camera ready submission
matrix operations
Till paper submission
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 40
9 Jun. paper submission
matrix operations; planning composition
from notification to camera ready
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 41
16 Jul. camera ready matrix
operations
No matrix operations, so the writer may not change the construction of the text
DISCUSSION
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 42
Redundancy – "axes"は不要では? tdがどのaxesに属するかは、最初から継続観察してればわかる
– 「最初から継続」の保証がない – モニタリング処理のコスト増
Uniqueness of ID throughout editing
– 削除したオブジェクトのIDを再利用してはならない
– 通常、IDは、その瞬間にユニークならばよい
2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 43
"op": "cc_cellText", "cnt": { "td": { "id": "cc_725", ← (1) "tagName": "TD" }, "axes": [ { "axis": "cc_743", ← (3) "item": "cc_720" ← (2) }, { "axis": "cc_744", ← (3) "item": "cc_749" ← (2) } ] },