「105年度政府開放資料研究案」品質評鑑專家會議簡報 V1 20160317

資料集品質評鑑機制(草案)：2016.03.18 1

壹、前言

貳、文獻探討

參、研究目的

肆、研究範圍

伍、預計執行作法

陸、資料盤點結果

柒、資料集現況分析

捌、建議評鑑機制

玖、附錄

簡報大綱

2

壹、前言

3

• 依據國家發展委員會資料開放行動策略指出下一階段所面臨的課題為：

1.主動性及價值認知不足

2.資料品質與開放格式具改善空間

3.與民間應用鏈結較薄弱

• data.gov.tw之資料現況：

1.目前階段為推動大量資料的開放

2.缺乏資料建構標準流程，資料品質不一

貳、文獻探討-1

一、資料品質的定義-1

• 適於使用。

4

分類面向

資料品質

本質上的資料品質(Intrinsic Data Quality)

可信度(Believability)

正確性(Accuracy)

客觀性(Objectivity)

聲譽(Reputation)

資料與使用時機相關性的資料品質(Contextual Data Quality)

具附加價值(Value-added)

相關性(Relevancy)

適時性(Timeliness)

完整性(Completeness)

適當的資料量(Appropriate amount of data)

資料呈現特性的資料品質(Representational Data Quality)

可解釋性(Interpretability)

易於瞭解(Ease of understanding)

呈現的一致性(Representational consistency)

精簡的呈現(Concise representation)

可取得的資料品質(Accessibility Data Quality)

可取得性(Accessibility)

取得安全性(Access security)

資料來源：Wang, R. Y., & Strong, D. M. (1996). Beyond Accuracy: What Data Quality Means to Data Consumers. Journal of Management Information Systems, 12(4), pp5-33.


一、資料品質的定義-2

• 若資料對於特定目的的使用上適於操作、決策和規劃時，及為高品質的資料。高品質的資料是正確的、可被取得的、完整的、符合標準的、具一致性的、有可信度的、可被處理的、具相關性且適時的。

5

面向

資料品質

準確性(Accuracy) 可信度(Credibility)

一致性(Consistency) 可被處理(Processability)

可取得(Availability) 相關性(Relevance)

完整性(Completeness) 適時(Timeliness)

符合標準(Conformance)

資料來源：Open data Support (2014). Open Data & Metadata Quality. Available from: http://www.slideshare.net/OpenDataSupport/open-data-support-service-description. (last access 2016/1/30)

http://www.slideshare.net/OpenDataSupport/open-data-support-service-description


二、資料品質評估與資料生命週期-1

6圖1 資料品質評估在資料生命週期中的情境圖



7

評估標準描述

準確性(Accuracy) 一組資料數值與其所對應的正確數值之符合程度

完整性(Completeness) 數值在所需屬性上的呈現程度

一致性(Consistency) 與事實符合或具邏輯一致性，不會有變異或矛盾

精確度(Precision) 在定義好的範疇與目標中，精確的程度或狀態

可靠性(Reliability)與其他相似資料進行比較時允許合理關聯的邏輯一致性

與時俱進(Temporal Relatability) 意義與語意能夠隨著時間轉變

適時性(Timeliness) 在所需或特定的時間內能透提供資料項目

獨特性(Uniqueness)資料的值被限縮在一組獨特的範疇中，每一個值在該範疇中均是唯一的

有效性(Validity) 資料的值是符合標準的，以避免出錯的可能性

資料品質評估標準(Piprani, B. & Ernst, D., 2002)



8

星等描述

一星採用開放授權，讓手上的資料（任何資料格式）可以在網路上取得

二星讓這份資料能以結構化的方式取得（例如用Excel取代掃描的表格）

三星使用開放格式取代專屬格式（例如用CSV取代Excel）

四星使用固定網址來表示資料，使其他人可以連結到資料在資料網絡中的位置

五星鏈結你的資料到其他資料，以提供資料之間的脈絡關係，例如兩份資料間的相等關係

開放資料五顆星分類架構(Berners-Lee, T., 2006)


三、本章總結

9

有鑒於目前國內在政府開放資料的工作流程並無一致的SOP，因此，基於以上資料品質之定義與資料品質評估之各個面向，本研究將評鑑的核心從資料產出者的角度，在資料集與資料集後設資料的內容標準化、格式可量化的標準為主，做出以下定義：

• 資料品質定義：符合標準且適於使用

• 資料品質評估面向：

資料品質面向指標描述


符合標準(Conformance) 資料名稱、描述、欄位格式符合標準

一致性(Consistency) 在特定時間內，同屬性之資料維持一致性

適於使用(Usability)

可取得(Availability) 資料能夠公開取得，且是長期能夠取得的狀態

可被處理(Processability) 資料可以透過自動化的過程進行處理

參、研究目的

10

1. 檢視目前平臺上資料集之現況，如：資料集分類及內容屬性、所提供之資料資源連結及格式、資料集內容之欄位呈現方式…等。

2. 蒐集國內外相關研究，訂定大類別之資料品質標準。

3. 依據資料品質標準訂定評鑑指標。

4. 擇定3個機關的資料集進行評鑑，評估「資料集品質評鑑機制」可行性。

肆、研究範圍

11

1. 資料集量化：截至2016/01/13前平臺上的所有上架資料集，數量為13,512筆。

2. 資料集評鑑：針對資料集盤點結果，依照資料屬性結合國際檢視規範，從資料內容的廣度、深度、多樣性於中央二級單位、中央三級單位、地方政府中各擇一個單位之資料集進行評鑑。

伍、預計執行做法-1

12

執行流程圖：

伍、預計執行做法-2

13

資料盤點暨分析步驟：

陸、資料盤點結果-1

14

1.透過結巴(JIEBA)斷詞系統及TF-IDF加權技術針對資料名稱(title)及描述(field_body_value)進行斷詞統計：

1-1.第一次斷詞結果(2016/2/3)：

斷詞數量 10,295組

出現該斷詞的資料集筆數統計

資料集筆數斷詞數量

1501以上 1

1001~1500 3

501~1000 15

101~500 152

100以下 10,124

1-2.透過人工選取45組斷詞，選取基準為：資料集筆數需在100筆以上，斷詞需具有意義，且不涉及數字、地名及單位名稱。


15

1-3.使用SQL語法將資料集依據斷詞進行分類，分類結果如下：

斷詞筆數斷詞筆數斷詞筆數斷詞筆數

資料 1227 研究 282 調查 149 作業 123

資訊 1001 會計報告 275 類別 145 目錄 122

統計表 995 統計資料 269 名單 141 預算表 117

人數 553 報告 258 平衡表 141 決算書 113

預算 486 內容 217 病例 138 總額 110

決算 437 公告 213 欄位 136 說明 109

預算案 373 件數 211 概況 134 現金流量 103

普查 341 函釋 171 經費 133 狀況 103

情形 324 種類 170 政策 131 總預算 101

分析 301 明細表 164 單位預算 131 分類 101

人口 297 年齡層 154 戶數 123 無法被歸類 3554


16

1-4.透過人工進行斷詞刪除與合併後，再使用SQL語法將資料集依據斷詞進行分類，分類結果如下：

斷詞筆數斷詞筆數

人口人數學生數教師數 797 旅遊觀光 84

預算決算 1,762 目錄資訊 83

函釋法規行政規則決議書法令 372 名錄名單名冊清冊清單 483

案件 646 名詞 145

統計表統計資料統計情形統計年報 1,783 水質監測 16

普查 397

研究計畫報告書計畫書執行計畫計畫要點施政計畫作業要點調查報告論文集白皮書會議紀錄

346

會計報告 342 指標 224

電子地圖位置地理資訊地理圖資村裡界地點據點點位

329 指數 86

最新消息公告新聞課程資訊採購資訊快訊簡介

508 無法歸類 6,210


17

1-5.依據MyEGov OPEN分類檢索服務「服務分類」進行斷詞及人工進行斷詞合併後，再使用集群分析進行分類，結果如下：

分類代碼斷詞筆數

100 生育保健懷孕產前人工生殖生產娩假陪產假坐月子中心育嬰流產 99

200 出生收養新生兒母乳哺育預防接種親子關係生父子女原住民身分 51

300

幼兒教育托兒所幼稚園國中國小九年一貫學區高中高職推薦甄試大學指定科目考試技能檢定建教學程學位學術產學校園徵才留學遊學兵役證明特殊教育在家教育補習終身學習數位學習函授教育教育補助學雜費獎學金助學貸款工讀學費僑生外籍學生校園安全大專院校教育技專

616

400兵役志願役服役義務役役男入營免役替代役退伍令國民兵國防役後備軍人退伍

43

500

求職就業職業訓練專業證照師資培育職業登記求才工作教師甄試外籍勞工看護科技人才足額進用公益彩券按摩業特考勞工工會公會職業團體勞資職場勞動工安職業災害職業傷害升遷職場勞保

518

600 事業創業公司營業事業發票商標專利稅務人力招募雇用 696

(續下頁)


18


700 婚姻結婚婚前婚假離婚監護權贍養費 22

800 投資理財財務個人信用卡債節稅金融股票保險上櫃交易所證交所 951

900

休閒旅遊觀光住宿餐飲入山入園護照簽證貨幣機場安全物品申報娛樂大眾媒體視聽運動體育健身藝術文化表演民俗節慶博物館美術館圖書出版

552

A00

交通通訊鐵路高鐵火車捷運公路運輸電子收費客運公車計程車加油站國道停車場號誌車禍航空機場飛機航班航線飛航河運海運渡輪郵輪港口碼頭監理汽車機車汽機車駕照牌照稅燃料稅車子電信

528

B00就醫健康保險健保重大傷病醫療衛生門診掛號住院轉診診斷病歷保健健康檢查病患用藥藥物藥品傳染病疫情檢疫疾病病友醫院

721

C00購屋遷徙房屋土地建物法拍地價仲介搬家遷出遷入移民定居國籍重劃

234

D00 選舉投票 28

(續下頁)


19


E00

生活安全人身安全財物安全家庭暴力性侵受虐失蹤詐騙社會救助食品居家社區環境空氣水質噪音廢棄物垃圾資源回收環保公害消費者

401

F00 退休志願服務長住 58

G00 老年安養敬老老農老人長期照護長照安養 24

H00 生命禮儀死亡除籍器官捐贈殯葬生前遺產繼承喪葬 38

I00

公共資訊政府財政稅收公債預算決算政府統計統計資料普查政府採購政府新聞政策政府出版公報資訊服務入口網電子地圖法律服務法律扶助義務辯護調解

2,707

無法歸類 5,225


20

1-6.依據「主題分類」進行斷詞及人工進行斷詞合併後，再使用集群分析進行分類，結果如下：

分類名稱斷詞筆數

生活地圖生活地圖居住地工作地座標服務處服務業務承辦公司機構服務 1,232

觀光旅遊觀光旅遊景點遊憩休閒交通運輸介紹農場公園旅客文化園區原住民

581

災害防救災害天災水利防洪水土救援土石套繪預報氣象警戒水庫淹水潛勢風險 Google Earth

382

生活品質監測食品安全環境空氣水質 217

藝文活動藝文電影音樂演唱會展覽綜藝文物故宮銅器類地理緯度經度文化Google map

436

政府統計報表統計所得統計表申報分位金額性別稅額感染病例 3,148

政府預算預算預算案預算表歲入預算員額經費 1,089

統一代碼代碼編碼科目 183

諮詢小組紀錄開放諮詢會議政策 242

政府支出會計月報決算基金平衡表經費類決算書經費現金出納 1,602

無法歸類 6,440


21

2.透過Python程式語法檢視資料資源連結之有效性與資料檔案格式：

2-1.資料資源連結有效性：

連線狀況回傳代碼

連線狀況代碼說明

筆數

2016/2/22 2016/2/23 2016/3/2 2016/3/15

-1 HTTP連線失敗 1,613 2,075 901 905

-2 檔案格式判斷失敗 6,328 6,360 6,363 2,212

200 成功 13,660 13,217 14,367 18,514

204 No Content 1 2 2 2

400 Bad Request 0 1 1 1

401 Unauthorized 1 1 1 1

403 Forbidden 13 13 13 13

404 Not Found 167 169 189 189

500 Internal Server Error 32 33 34 34

502 Bad Gateway 4 4 4 4

503 Service Unavailable 57 1 1 1

總計 21,876 21,876 21,876 21,876


22

2-2.資料檔案格式一致性：

機關填列與實際之檔案格式筆數

符合 10,192

不符合 8,313

其他(-1, -2, 204, 400, 401, 403, 404, 500, 502, 503) 3,371

總計 21,876

【備註】HTTP連線失敗之因素包含：

• 讀取時間過長，超過10秒

• 有SSL安全協定

• Port沒有開放


23

2-3.資料檔案格式統計：

檔案格式數量檔案格式數量檔案格式數量

7z 276 kmz 10 xlb 180

cap 2 ksh 259 xls 184

csv 5,695 obj 1,134 xlsx 143

doc 345 ods 94 xml 2,290

docx 361 odt 100 zip 996

geojson 21 pdf 1,655 空白 469

gif 1 png 18

html 884 rar 227

jpe 3 rss 5

json 1,345 txt 36

kml 45 wsdl 208 總計 16,986

柒、資料集現況分析-1

24

1.依據資料集名稱及資料集描述，無法進行有效的屬性分類。透過資料名稱與資料描述之斷詞結果，不可被歸類的資料集約佔

46%。

透過主題分類與該主題之資料名稱與資料資源描述之斷詞結果，不可被歸類的資料集約佔48%。

透過服務分類與該服務之資料名稱與資料資源描述之斷詞結果，不可被歸類的資料集約佔39%。

• data.gov.tw所提供的分類是否適當？• 各機關所提供之資料是否符合data.gov.tw之分類？• 各機關針對資料集的命名與描述是否能夠真實對應到其分類？


25

2.資料檔案格式之符合程度與資料可被自動化處理情形：機關填列與實際所提供之資料檔案格式相符合的佔47%，不符合的佔38%，無法判別的佔15%。

資料檔案格式中可被自動處理的佔58%。

檔案類型描述筆數百分比

可被自動處理csv, geojson, json, ods, xls,

xlsx, xml9,772 58%

不可被自動處理

7z, cap, doc, docx, gif, html,

jpe, kml, kmz, ksh, obj, odt,

pdf, png, rar, rss, txt, wsdl, xlb,

zip, 空白

7,214 42%

總計 16,986 100%

• 各機關在填列檔案資料格式時是否確實？資料審查者是否有進一步核對？

• 是否應限制資料檔案上傳僅能為可被自動處理的檔案格式？


26

3.可被自動化處理之檔案格式不一致，無法進行有效的欄位判斷：有標題 vs. 無標題

欄位名稱在列 vs. 欄位名稱在行

欄位名稱單行/列 vs. 欄位名稱多行/列

一份資料僅1則資訊呈現 vs. 一份資料多則資訊呈現

……

• 各機關所提供之資料檔案是否應符合統一之資料格式？

玖、建議評鑑機制

27

資料集之內容資料因涉及各單位之專業，因此今年度僅就可量化之部分進行評鑑，項目如下：

資料品質面向指標項目比重(%)



資料集之填列內容是否符合data.gov.tw公告之填列標準(Manual_v2.pdf)？

10

資料集是否開放授權？ 5

一致性(Consistency)

同屬性之資料是否維持一致性？ 5

所填列之資料檔案格式是否與實際檔案格式符合？ 5

適於使用(Usability)

可取得(Availability)

資料資源是否能夠線上取得？ 5

資料資源是否能夠直接下載？ 15

資料是否免費？ 5

資料是否定期更新？ 10

可被處理(Processability)

資料資源是否屬於csv、json、ods、xls、xlsx、xml、gml的格式？

20

資料是否符合data.gov.tw規定之規範註1？ 15

資料是否符合該領域之資料格式註2？ 5

註1：請見簡報第28-30頁；註2：請見簡報第31-34頁。

附錄、資料規範-1

28

• 依照資料集盤點的結果，茲將資料規範區分為：

通用性資料欄位規範

領域資料規範

• 領域資料規範則區分為以下幾個領域：

國土資訊類

會計類

活動公告類

文字內容類


29

csv, ods, xls, xlsx json, xml, gml

於第一列依序標註下列文件資訊：

文件標題(string)

更新時間(YYYY-MM-DDThh:mm:ss)

資料筆數(int)

資料欄位筆數(int)

資料欄位位置(int,int)

資料起始位置(int,int)

文件標題(string)

|-更新時間(YYYY-MM-DDThh:mm:ss)

|-資料筆數(int)

|-資料欄位筆數(int)

|-資料編號(int)

| |-資料欄位1

| |-資料欄位2

| |.....

|-/資料編號|-資料編號(int)

| |-資料欄位1

| |-資料欄位2

| |.....

|-/資料編號|.....

/文件標題

參考資料：本研究整理、ISO 8601(https://en.wikipedia.org/wiki/ISO_8601)、W3C(https://www.w3.org/TR/xmlschema-2/#time)

• 通用性資料規範：


30參考資料：本研究整理、ISO 8601(https://en.wikipedia.org/wiki/ISO_8601)、

W3C(https://www.w3.org/TR/xmlschema-2/#time)

• 通用性資料欄位標準框架表：

類別欄位名稱英文欄位名稱內容格式選填條件附註

資料資訊Datainformation

檔案名稱 filename 文字必填

更新時間 updatetime 日期必填

引用自ISO 8601標準。日期格式規定為YYYY-MM-DD，如：2016-03-11；若為日期+時間則需在時間前面加一大寫字母T，如：2016-03-

11T13:33:20

資料筆數 datacount 整數必填

資料欄位筆數 fieldcount 整數必填

資料欄位Datafield

資料編號 identifier 整數必填

內容描述 content 文字選填

附錄、領域資料規範-國土資訊類

31

參考資料：國土資訊系統標準制度入口網站(https://standards.moi.gov.tw/5rza)

• 國土資料標準規範：

國土資料標準共同規範土地使用分區資料標準

行政區域界線資料標準土壤資源空間資料標準

控制點資料標準植物資料標準

高程資料標準水資源空間資料標準

門牌位置資料標準道路路網資料標準

地名資料標準環境品質地理資料標準─土壤汙染類及廢棄物類

交通網路資料基本標準公共設施管線交換資料標準

環境品質地理資料標準─空氣品質類及水質類環境品質地理資料標準─汙染防治類、環境衛生類、噪音振動類及非屬原子能游離輻射類

地籍資料標準礦業資料標準

正射影像資料標準統計區分類系統資料標準

土地利用資料標準通用版電子地圖資料標準

基本地質資料標準共通示警協議標準

公共設施管線共同規範資料標準天然災害事件名稱資料標準

附錄、領域資料規範-會計類

32

參考資料：本研究整理、 ISO 8601(https://en.wikipedia.org/wiki/ISO_8601)、Fiscal Data Package (http://fiscal.dataprotocols.org/spec/)、行政院主計總處政府會計(https://www.dgbas.gov.tw/lp.asp?ctNode=258&CtUnit=154&BaseDSD=7)





引用自ISO 8601標準。日期格式規定為YYYY-MM-DD，如：2016-03-11；若為日期+時間則需在時間前面加一大寫字母T，如：2016-03-11T13:33:20




預算名稱 name 文字必填

開始日期 startdate 日期選填引用自ISO 8601標準及Fiscal Data

Package。日期格式規定為YYYY-MM-DD，如：2016-03-11結束日期 enddate 日期選填

預算來源 source 文字選填

預算狀態 phase 文字選填

科目 item 整數必填引用自行政院主計總處之中央政府第一級至第三級用途別科目分類定義及計列標準表

金額 amount 整數必填

附錄、領域資料規範-活動公告類

33

參考資料：本研究整理、Event Content Model(http://gsa.github.io/Open-And-Structured-Content-Models/models/event-model.html)、ISO 8601(https://en.wikipedia.org/wiki/ISO_8601)、TGOS(http://tgos.nat.gov.tw/tgos/Web/Address/TGOS_Address.aspx)、schema.org(http://schema.org/Event)


資料資訊Datainforma

tion







標題 title 文字必填

描述 description 文字必填

活動類型 eventtype 文字必填

開始時間 startdatetime 日期必填引用自ISO 8601標準。日期格式規定為YYYY-MM-DDThh:mm:ss，如：2016-03-11T17:29:59結束時間 enddatetime 日期必填

聯絡資訊 eventcontact 文字必填

活動地點 location 文字必填引用自TGOS地理圖資雲服務平台中之門牌檔範本，如：新北市中和區平和里1鄰連城路260號1樓

附錄、領域資料規範-文字內容類

34

參考資料：本研究整理、Article Content Model(http://gsa.github.io/Open-And-Structured-Content-Models/models/article-model.html)









標題 title 文字必填

描述 description 文字必填

資料來源sourceorganiza

tion文字必填

主題 topics 文字必填可有多個主題

內文 articlebody 文字必填

段落標題 sectiontitle 文字必填

段落內文 sectionbody 文字必填

謝謝！敬請指導！

35

Data & Analytics

「105年度政府開放資料研究案」品質評鑑專家會議簡報 V1 20160317