Embed Size (px)
Citation preview
校務研究經驗分享:從商業智慧到人工智慧
王蒞君
國立交通大學
大數據研究中心 主任
暨電機系 講座教授
2018.11.23
大綱 交大大數據研究中心簡介 BEST創新服務概念 資料倉儲建置 範例應用 大學排名剖析及預測 結語
國立交通大學大數據研究中心簡介
建立宗旨 目標 組織架構 願景
設立宗旨
整合全校校務相關資料庫
運用資料庫協助輔導學生課業學習與生涯規劃
建構校務專業管理的大數據決策系統
掌握國際高等教育改變的脈動發現本校的優勢與潛力，洞卓先機
善用資料分析工具協助教授量化個人研究能量與世
界該領域研究趨勢分析比較
目標
• Big Data Research Center (BDRC) produces official NCTU statisticsfor NCTU Office of the President, the NCTU community, highereducation partners, ranking institutions, the media, the government,and the broader public.
• BDRC provides information to support university decision-makingand planning through a variety of analytic activities, data-gatheringtasks, and research projects.
• Goal: Accurate, Timely, Insightful • Analytical Intelligence (分析智能) Issue Intelligence(議題智能)
Contextual Intelligence(脈絡智能)
組織架構
校長
(校務策略發展委員會)
王蒞君 主任
劉奕蘭 副主任
校務研究
資訊組
校務研究
發展組
校務研究
行政組
註：指導委員係會由校長擔任召集人，成員包括副校長、教務長、學務長、總務長、研發長、國際長
Our Vision用BEST創新服務理念，從「感覺」走向「實證」，展現交大亮點，永續發展。
創新服務概念
Business
瞭解需求
Experience
改善使用者經驗
Service
結合理論與實務，創新資料分析服務
Technology
強化校務資料庫整合與管理，建構友善的資料倉儲系統和分析平台。
Business –瞭解需求
與校長室、教務處、學務處、研發處、國際處、總務處密切溝通
與各學院教師密切溝通
與學生密切溝通
與畢業校友密切溝通
業務單位需求分析與回饋流程
註：流程會依據不同之分析議題與涉及之相關業務單位，有些微調整。
大數據研究中心提供議題分析報告
給相關業務單位
電話或面對面說明報告內容
業務單位擬定相關措施
經單位主管同意及相關必要程序後
付諸執行
提供QS學科排名報告給一級行政單位主管及各院院長
召開院長會議說明報告內容、擬定排名提升策略，於行政會議中向全體簡要報告
大學排名
由各學院再另行開內部會議擬定具體作法；研發處針對排名指標內容增修獎勵辦法（如：獎勵國際合作）
Experience –使用者經驗的改善
智慧化的校務研究
智慧資料倉儲系統–校務研究系統建置教、學、研、國、總等處室資料庫與外部資料庫整合
智慧分析平台–資料探索分析 (DDPP)描述 Descriptive、診斷 Diagnostic、預測 Predictive 與處方 Prescriptive
議題智能：提供決策者佐證依據 For Policy決策機制的一環 As Policy
對內：策略規畫、績效指標、考核 對外：以數據展現本校特色與定位
交大大數據研究中心『資訊分析服務』議題即刻分析及資料申請服務流程
議題分析需求或資料申請 確認申請內容
資料整理及進度回覆 結案
回饋分析結果或提供去識別化資料
校務資料申請分析數據
發揮大數據的價值，大學將會變得更好
Descriptive
Reporting what happened
Diagnostic
Analyzing why it happened
Real-Time
Monitoring what is happening
Predictive
Forecasting what will happen
Prescriptive
Determining what should be done
Most colleges and universities are here
Many are trying to get here
Chester, T., Gagliardi, J., & Johnson, G. (2018). A Collaborative IR/IT Model to Enhance Data-Informed Decision Making. Symposium conducted at the meeting of the 2018 AIR Forum Impact Session. Denver, The United States.
Service –服務
校務資訊公開化
校務管理專業化
協助深耕計畫推動
校務研究資料分析人才訓練
教務處
註冊率
新生入學統計
新生畢業學校分佈
休學人數
退學人數
生師比
境外生人數
雙主修、跨域人數
各學制畢業人數
學務處
獎助學金
工讀生TA
弱勢生分析
畢業生流向
學生輔導記錄
學生期中預警
學生社團
學生操行
學生住宿
總務處
全校水、電、瓦斯費結報及統計
財產與物品管理
土地房舍管理
公教貸款
電器設備之維設保養及管理
校園安全管理
研發處
世界大學排名
各類科研計劃金額
國際期刊發表數
論文被引用
專利申請數
專書統計數
產學合作數
國際處
校級雙聯學位
出國短期研究獎學金
MOU&交換學生合約
學海計畫/學海築夢
外籍生來校交換計畫
境外生獎學金
境外生輔導記錄
常規
議題
常規性校務研究議題
任務型校務研究議題
任務
議題
校務人才培育
開辦資料庫教育訓練課程(SQL Server)，培育中心資訊技術
人才
定期與教育所、統計所教授交流校務研究議題與研究方法，
提升研究能量
參與美國AIR年會，掌握全球校務發展趨勢
參與校外舉辦之校務研究相關講座及研習
校務研究專題講座及教育訓練
專題講座• 107/10/17大數據之資訊安全與去識別化• 107/07/20教育部對校務研究的未來藍圖及發展策略
教育訓練• 107/11/12「ETL資料應用教育訓練II」• 107/10/29「ETL資料應用教育訓練I」• 107/10/03大數據分析與人工智慧機器學習軟體Tableau實作課程
• 107年7-8月「SQL Server資料倉儲」教育訓練課程
Technology –技術
• 智慧校務大數據倉儲系統與分析平台
• 智能化校務資料分析AI決策系統• 時空重疊分析• AI 適應引擎• 成因分析• 決策支援
• Agent –Human-Teaming Technology
藉由聊天機器人Chatterbot解決問卷調查的人力成本和效果
取至網路：https://chatbotsmagazine.com/why-the-world-needs-chatbots-ae0c4abc33d5
資料庫倉儲建置
建立校務資料倉儲的目的 建立校務資料倉儲的考量面向 線上交易資料庫v.s.資料倉儲 建立校務資料倉儲的作業規劃 遵循「採、 編、典、藏、用」原則 ETL (Extract Transform Load)
萃取轉置載入的步驟 智慧校務大數據倉儲系統與分析平台 資料倉儲軟硬體規格
交大建立校務資料倉儲的目的扮演好校務研究辦公室扮演的五大角色
資訊權威者 : 描述機構資料 公關顧問者 : 呈現最佳亮點 政策分析者 : 分析各種政策方案 學術研究者 : 提供績效的客觀證據 知識管理者 : 整合資訊、創造新知、分享知識
資料倉儲可以協助我們
全面了解全校各單位校務資訊系統建置 蒐集資料來源的脈絡 整合跨單位的資料 保存資料 統一數據產生的規則
國立交通大學 大數據研中心
資料倉儲 積極與各級單位溝通
協助提高校務決策品質
建立校務資料倉儲的考量面向• 個資法的適法性• 資料盤點、資料取得• 資安架構與資料流• 歷史資料的處理方式• 資料清洗的規則
時間 溝通
費用人力• 研究人員(決定資料長相)• IT人員(去識別化、維護資通訊安全)
• 委外廠商(技術支援)• 校內聯絡(協助釐清資料定義)
• 計畫支援• 長官支持
• 立即性議題• 中程規劃• 長遠運作
國立交通大學 大數據研中心
線上交易資料處理 OLTP @ 資料庫 v.s.線上資料分析處理 OLAP@ 資料倉儲
OLTP OLAP
目標 維持日常運作(交易) 決策支援(分析)
操作屬性 讀/寫(update、delete) 讀(scan、join、aggregates、sort)
使用資料來源 單一 多元
每次操作的資料量 少(幾筆record) 大(數千~數千萬筆)
資料特性 當前資料；須保持更新 歷史資料；需長期的正確性
使用者人數 多 少
資料庫大小 100 MB~GB 100 GB~TB
S. Chaudhuri, U. Dayal, "An Overview of data warehousing and OLAP technology," ACM SIGMOD Record, vol. 26, pp. 65-74, 1997. 國立交通大學 大數據研中心
建立校務資料倉儲的作業規劃
國立交通大學 大數據研中心
需求訪談
確認窗口釐清責任劃分資料清單確認分析議題確認相關時程確認
資料盤點
格式一致性與維護性欄位完整性與規範統一性資料提供者、更新方法與頻率資料表關聯與描述一致性
邏輯確認
Unique Key確認非預期狀況的處理同義詞及代碼轉換邏輯反正規化詮釋資料擴充
開發設計
規格設計程式撰寫
測試驗證
運作測試數據驗證
採、編、典、藏、用
資料採集：依重要性及需求納入校內112個資料庫、資料集及校外資料。
資料彙編：運用ETL(Extract、Transform、Load)，技術建立資料轉換規則。
資料字典：依據資料庫或主題分析資料表建立編碼說明書(資料字典)。
資料儲藏：建立資料備份(交換備份及異地備份)與備援(虛擬機複寫備援)等機制。
資料使用：依管理、應用及研究層級提供不同層次的資訊支援服務。
國立交通大學 大數據研中心
ETL的步驟
多元資料源
中繼資料庫
（去識別化）
開發機
（複本一）反正規化
資料篩選
(依欄位)
資料擷取建構新的
資料結構
資料轉換
資料倉儲
國立交通大學 大數據研中心
智慧校務大數據倉儲系統與分析平台
１倉儲規模:
整合校內112
個資料庫、資料
集與校外資料。
２AI
決策系統:
結合資料探勘、統計預測、
人工智慧技術，形成視覺化觀測系統。
３資料科學家:
團隊由電機、資工、教育及
統計專家組成。
資訊技術服務中心 大數據研究中心資料放置處：
國立交通大學 大數據研中心
資料倉儲軟硬體規格
中繼資料庫 開發機 資料倉儲機 分析機
硬體 -CPU: Intel Xeon 2cores 2.4GHz
Memory: 32GBHD: 60G + 500G
CPU: Intel Core i7-7700Memory: 32GB
HD: 250G SSD + 1T SATA
軟體 DB: SQL Server 2016 OS: Windows Server 2012 R2 Datacenter DB: SQL Server 2016
OS: Windows Server 2016/Windows 10
DB: SQL Server 2016分析軟體：Tableau、SPSS、
Excel
主要工作
1.建立資料庫複本2.去識別化
ETL 1.資料倉儲2.資料市集
資料分析
設置地點
資訊中心 資訊中心 資訊中心 大數據中心
3.平均每月收入-學院(人)1.工作狀況
2.待業時間
範例1：畢業流向分析
國立交通大學 大數據研中心
大學排名剖析與預測
Beyond boundaries: How to maximize research impact in a changing world
Brian Schmidt, Vice-Chancellor, Australian National University
Keynote Speaker of 2018 Time Higher Education Academy World Summit @ Singapore
2011年，施密特與亞當·黎斯平分諾貝爾物理學獎一半獎金，另一半獎金由索羅·珀爾穆特獲得，以表揚他們「透過觀測遙遠超新星而發現宇宙加速膨脹」
Conclusion from Brian Talk about “Rankings”
Rankings are looked by our respective students, our future students, our staff and our society, which conclude as to how successfully we are fulfilling our mission. Despite the visibility, it is my belief that we university leaders cannot be slaved by to the rankings and their evolving methodologies; rather, we must have the confidence to do the best that we can at our missions and hope the rankings successfully reflect our successes and failures. Noting each of our institutions, more than anything, universities going forward must place themselves at the epic center of society, guide the transformations that must occur if humanity is to achieve a globally sustainable future. I believe the alternative, for me, is not worth contemplating.
綜合性排名─各排名系統評比指標
國立交通大學 大數據研中心
QS(6月) THE(9月) 上海軟科(原上海交大)(8月) US News(10月)
• 學術聲譽（40%）• 雇主聲譽（10%）• 師均論文被引數（20%）
• 生師比（20%）• 國際教師比（5%）• 國際學生比（5%）
• 教學-聲譽、生師比、師均教學經費等（30%）
• 研究-聲譽、論文師均數量與研究經費（30%）
• 論文引用（30%）• 國際化-國際教師/學生比例、國際合作論文（7.5%）
• 產業收入（2.5%）
Nobel和Fields獎校友數（10%）
Nobel和Fields獎教師數（20%）
HiCi人數（20%） Nature和Science論文數
（20%） SCIE/SSCI論文數（20%） 上述指標得分的師均值
(10%)
全球學術聲譽（12.5%） 地區學術聲譽（12.5%） 論文/出版品表現計量（75%）
如：學術文獻(Publications)數量(10%)、論文平均被引數(10%)、總被引次數(7.5%)、Top 10%高被引文章數(12.5%)、國際合作論文比例(5%)…等
除上海軟科外，在各排名系統中權重比例最高的指標為 ─ Reputation , Citations
學科排名─各排名系統評比指標
國立交通大學 大數據研中心
QS THE 上海軟科(原上海交大)
• 學術聲譽（約40-90%）• 雇主聲譽（約10-30%）• 論文平均被引數（約0-25%）• H-index（約0-25%）
• 教學-聲譽、生師比、師均教學經費等（約27.5-30%）
• 研究-聲譽、論文師均數量與研究經費（約27.30%）
• 論文引用（約27.5-35%）• 國際化-國際教師/學生比例、國際合作論文（約7.5-9%）
• 產業收入（約2.5-5%）
論文總數（約100-150%） 論文被引用影響力（約50-100%） 國際合作論文比例（約10-20%） 頂尖期刊論文數（100%） 教師獲權威獎項數（約0-100%）
註：單一指標權重最高為150%，加總後總分可能大於100分。
• 分為5大領域，共48門學科(有人文與藝術領域，醫學與生命科學為同一領域，該領域共有9門學科)
• 分為11個領域，共33門學科(有人文與藝術領域，將醫學與生命科學分為兩個領域，共計6門學科)
分為5大領域，共54門學科(沒有人文與藝術領域，將醫學與生命科學分為兩個領域，共計10門學科)
依據不同學科特性，各指標權重分配略有不同。
如何預測學校的排名變化趨勢（以上海軟科大學排名為例）
國立交通大學 大數據研中心
各評比指標 2019排名表現預估方法
Nobel和Fields獎校友數（10%） Nobel和Fields獎教師數（20%） HiCi人數（20%）
Nature和Science論文數（20%） SCIE/SSCI論文數（20%）
國內目前僅台大與清大曾有校友(李遠哲院士)曾獲諾貝爾獎國內目前無教師獲獎可藉由科睿唯安於前一年(2018)11月公告的高被引學者名單，預估下一年(2019)的HiCi指標得分使用WOS資料庫查詢近5年(2014-2018年)發表於N/S上的論文篇數使用WOS資料庫查詢前1年(2018)收錄於SCIE/SSCI中的論文數
運用上述工具，即可事先瞭解下一年的排名變化趨勢
問題討論
1. 校務研究辦公室是否有邀請哪些利害關係人擬定議題分析計畫呢?2. 校務研究辦公室如何和資訊中心同仁一同參與所擬定的議題分析計畫？3. 是否有針對會發生的議題舉行定期會議嗎?4. 是否曾經在校務研究辦公室、資訊中心和校務發展辦公室討論擬定的
議題分析計畫的責任分工？如果有，有甚麼樣的經驗可以分享？5. 有哪些資源可以共享及作業流程的改進，可以促成校務研究辦公室和
資訊中心的密切合作，幫助學校發揮大數據分析的價值，促進校務發展？
• 人工智慧的基礎建設？• 資料
• 如何豐富校務研究的面向？• 結合校庫資料與外部資料如UCAN資料、就業網站資料、或政府資料。
• 影響學生的就業因素？• 學生特質的「質」、職訓中心的「訓」、學校的「學」、就業的「用」等。
• 如何找出校務資料欄位中不同屬性間之關聯？• 機器學習技術中的關聯法則。
• 如何探索校務資料庫中的時間序列資料分析？• 深度學習技術中的遞歸神經網路
AI for IR
結論
• 發揮大數據的價值，大學將會變得更好• Data-Informed Decision Making 必須藉由 Institution
Research (IR) 和 Information Technology (IT) 的合作來強化。• 校務研究建議從研究走向服務導向的趨勢，交大BDRC 採用
BEST創新服務導向。• Business Intelligence is the first step toward AI-empowered
IR。• 實現人工智慧研究必須先有資料，再透過機器學習及深度學習進行的關聯性及分析
