Personal Rehabilitation Exercise Assistant with Kinect and

Dynamic Time Warping

Chuan-Jun Su

International Journal of Information and Education Technology, Vol. 3, No. 4, August 2013

復健醫學◦ 傳統的復健治療◦ 以家庭為背景的復健治療

提出使用 Dynamic Time Warping 演算法及fuzzy Logic 完成透過 Kinect 以家庭為背景的復健治療方法

研究背景

相關研究

Kinect 簡介

Kinect

3D 深度影像 ( 透過左右兩顆鏡頭 )

彩色影像 ( 透過中間那顆 RGB 鏡頭 )

聲音 ( 透過陣列式麥克風 )

馬達

歐氏距離可以簡單的比較兩個序列，但是每個病患完成同樣動作的時間會有所不同。

因此透過需要不具有上述歐氏距離的方法，來確認患者與標準動作的正確性，這邊使用到 DTW 演算法來完成。

DTW(Dynamic Time Warping)動態時間校正演算法 

定義 : 用來測量時間或速度可能會有所不同的兩個序列彼此間的相似性。

最初是用來進行語音識別的技術，後來應用到許多領域。

DTW(Dynamic Time Warping)動態時間校正演算法 (續 ) 

當醫生在復健治療評估動作正確性時往往是根據自己的經驗，不能設定一個標準值。

與傳統邏輯差別在於，傳統二元邏輯不是真就是假，模糊邏輯則可能有一個值，並取其在某範圍之間

因此希望透過收集醫師的經驗以及 DTW 演算法的數據幫助建立模糊推理的算法

模糊邏輯

研究方法

近年來已演變為一個可行的替代住院復健方式，其目的為提供一種在家庭復健治療的服務◦ 肌肉力量和耐力訓練◦ 治療性訓練◦ 平衡訓練◦ 行走訓練◦ 物理治療◦ 復健醫學

以家庭為基礎的復健治療

系統架構圖為使用者提供透過 Kinect 在家進行復健治療的功能

使用資料庫、使用者資料

包含了幾個功能， (1) 擷取使用者的動作 (2) 重播使用者在家進行的情形 (3) 復健治療評估功能

(1) 擷取使用者的動作◦ 透過 Kinect 擷取並記錄

儲存擷取到的骨架三維座標資訊

以 Kinect為基礎的復健管理模組

(2) 重複播放功能◦ 允許使用者播放在醫院的復健醫療影片◦ 記錄使用者在家進行復健治療的影片◦ 供之後進行復健治療的評估

以 Kinect為基礎的復健管理模組

(3) 復健治療評估

以 Kinect為基礎的復健管理模組

DTW(Dynamic Time Warping)動態時間校正演算法  

有二個向量 X 和 Y ，其長度分別為 m 和 n ， DTW 的目的就是希望找出一條路徑 P 經過 p1,p2,p3….pk ，其中 pk

的形式為 (xi,yj) ， i 表示向量 X 中第 i 個點， j 表示 Y 中第 j 個點。

端點關係 :DTW 計算須滿足起始點是 p1=(x1,y1) 及終點是 pK=(xm,yn)

局部關係 :DTW 計算滿足當 pk=(xi,yj), 其鄰近點需為pk+1=(xi’,yi’) , i<=i’<=i+1 ,j<=j’<=j+1

DTW(續 )

Dist(P)=

Dist(pki,pkj) 為任一可計算二點距離的方式， Dist(P)為 DTW 演算法計算結果。

Dist(P) 越低，代表其相似程度越高

K

kkjki ppDist

1

),(

DTW(續 ) 進行 DTW 計算時通常會先建立一個矩陣 D ，其維

度為 m*n ，接著根據端點關係的條件來填入D(1,1) ，然後再根據遞迴的方式，逐行或逐列算出D(i,j) 。

因此在實際計算時，通常會使用遞回的方法進行運算，如下表示 :D( i , j )=Dist( i , j )+min[D( i-1 , j ), D( i , j-1 ), D( i-1 , j-1 )]

A-向量 a1 a2 a3 a4

x座標 2 5 3 7

y座標 3 4 2 5

假設 A,B 兩向量如下表 :

B-向量 b1 b2 b3

x座標 6 4 2

y座標 4 2 2

首先我們會算出 A 及 B 向量中，任二點彼此間所花費的距離成本

12.4)43(62 22

a1 a2 a3 a4

b1

b2

b3

a1=(2,3),b1=(6,4)

距離成本

2.24

1

1

2.24

3.61

3.61

1

1

1.414

4.24

5.83

DTW結果

C 1 2 3 4

1

2

3

D( i , j )=Dist( i , j )+min[D( i-1 , j ), D( i , j-1 ), D( i-1 , j-1 )]

C 11=(a1, b1)C12=(a2, b1)+ C 11

C13=(a3, b1)+C12

C14=(a4, b1)+ C13

C21=(a1, b2)+C11

C22=(a2, b2)+ Min(C11,C21,C12)

C23=(a3, b2)+ Min(C12,C13,C22)

C21=(a4, b2)+ Min(C13,C14,C23)

C31=(a1, b3)+C21

C32=(a2, b3)+ Min(C21,C22,C31)

C33=(a3, b3)+ Min(C32,C22,C23)

C34=(a4, b3)+ Min(C23,C33,C21)

左手關節點座標

DTW 結果

通常醫師在進行治療時通常根據經驗來判斷，以”你的手臂位置太高”，”你移動得太快”等字詞來表示

輸出入定義輸入軌跡 : 相似、不相似輸入速度 : 速度太快、恰到好處、太慢輸出評價 :優秀、良好、不好

模糊規則 :規跡相似和速度恰到好處 -> 評價是優秀規跡相似或速度太慢 -> 評價是良好規跡不相似或速度太快 -> 評價是不好

模糊推理的設計

用來儲存復健治療資料以及用戶資訊

活動資料 : 儲存所有復健的活動紀錄，醫師可為他們的復健活動進行修改

使用者資料 : 儲存使用者的姓名、性別、身高體重等等以及在家進行治療的紀錄

資料儲存庫模組

在家進行復健治療能加快恢復 KRHD 可以幫助病人準確的復健治療 可以解決不便前往診所定期治療的問題

結論