Upload
lamque
View
228
Download
7
Embed Size (px)
Citation preview
인체데이터를 이용한 수술 계획 및 훈련 시뮬레이터 개발
박세형 바이오닉스연구단
KIST
컴퓨터 기반 수술 요소기술
의료영상 3차원 모델 영상유도 수술 수술로봇
Computer Aided Brain Surgery
Multimodal Imaging and Brain Map Generation
Simulation-based Surgery Planning
Surgery Guidance based on Marker-less
Navigation
6DOF
robot arm 3D scanner
drill needle
3D model
End-effector
Fixation device Hematoma
멀티모달 브레인 맵 생성
MRA - TOF(Tetralogy of Fallot) MRI -Bone
CT – Bone, brain fMRI
정합된 브레인맵
• MRI, MRA, CT, F-MRI, DTI 등의 영상에서 필요한 정보를 각각 추출
• Segmentation된 영상을 Registration
시뮬레이션 기반 수술 계획
다중 모달 영상 정합 (CT+MR)
영상에서 해부학적 구조물 분할
3차원 통합 가시화
바늘 삽입 경로 생성
의료정보 집약적 GUI
삽입경로 충돌감지
사용자 친화적 경로 편집 기술
바늘 굽힘 모델링 기술
생체 조직의 변형 모델링 기술
영상 기반 수술 가이드
환자-영상-로봇 위치 무마커 위치 정합 기술
수술 중 환자 얼굴의 3차원 형상 정보 획득을 위한 스캐닝 기술 개발
로봇 자동 정밀 포지셔닝 기술 – visual servo
수술 도구의 실시간 정밀 추적 기술 (컴퓨터 비젼 기반 위치 보상)
의료영상 정합 오차 및 환부 움직임 등을 고려한 동적 오차 : 1.5 mm 이하
3D scanner
Pre-OP plan
(Path to target)
Patient
Point cloud from scanner
Pre-OP 3D model
Weighted ICP를 이용한 무마커 환자-영상 정합 (左) 및 중간 결과 (右) 수술 도구 실시간 추적
(컴퓨터 비젼 기반 위치 보상)
• 의사나 간호사 등 의료인력을 훈련시키거나 평가하기 위하여 실제 환자를 보살피는
것과 유사한 환경을 만들기 위한 장치나 소프트웨어.
• 마네킹
• 가상환경 (VR)
• 햅틱장치
• 실제 환자를 대상으로 하는 훈련에 따른 위험을 줄일 수 있음.
• 응급처치 훈련
• 주사기 삽입 등 기능 훈련
• 진단훈련
• 수술훈련
의료 시뮬레이션
의료 시뮬레이션
Eye surgical simulation
Temporal bone surgery
Cardiovascular stent simulation
Haptic I.V Simulator
Control
System
Haptic Interface
Haptic
Rendering
GUI
IV Simulation • Friction-based haptic hardware
• Realistic user interface MCU
Motor & Encoder
Tilt sensor
IV Simulation : Video
IV Simulation : Future works
Epidural injection simulation by Medic Vision Liver biopsy
• Perform user studies to identify the impact of each feedback on
user experience
• Expand into another medical simulation
(Biopsy, spinal anesthesia)
Geometric model Anatomical
information
Volumetric modeling Haptic rendering Tangible
workbench
Medical information
(CT,X-Ray)
Dental simulation Evaluation
Dental Simulation
Volumetric Haptic Model Adaptive Polygonization
Dental Drilling Simulation
Dental Simulation : Technology
Haptic Dental
Training System
Dental Simulation : Video
15
Laparoscopic Surgery Simulation Laparoscopic surgery , also called minimally invasive surgery (MIS)
is a modern surgical technique in which operations in the abdomen
are performed through small incisions (usually 0.5–1.5 cm) as
compared to the larger incisions needed in laparotomy .
Haptic
Hardware
훈련 평가
훈련 시나리오
작성
Report
Trainer
Display
Trainee
Haptic
Rendering
3D Deformable
Modeling
Graphic
Rendering
3D Human Body
and Organ
Modeling
Evaluation
Training
Scenario
Seoul National University
KIST
CubikTech NTResearch
Laparoscopic Simulation : Components
Visual model
Behavior/collision model
Real Time Deformation Modeling
Multi-layer data structure : Behavior/collision model, visual model
Barycentric mapping between behavior and visual models
Boundary-element method and FEM based real-time behavior model
Ray-traced collision model and force computation
Barycentric mapping
Collision detection/force
computation
Laparoscopic Surgery : Deformation modeling
Behavior model(BEM, FEM)
Polygon model for visualization Spring model for behavior computation
Surgical operation simulation
Liver- Gallbladder Connective-tissue modeling
grasping cauterizing Haptic rendering
Laparoscopic Simulation : Operation simulation
Color change
Laparoscopic Simulation :Visualization
Bleeding algorithm
Bleeding animation
Cauterizing mesh generation
Cauterizing animation
Smoking effect
Bleeding effect
Burning effect by cauterizing
Laparoscopic Simulation : Video2
관절경수술
뇌심부수술 : Endoscopic
Endonasal Approach
내시경 수술
인체정보의 활용
활용 분야
영상 기반 수술 소프트웨어 개발 시 테스트 용 환자 정보로 활용
의료 시뮬레이션 개발
의료용 교재 개발
추가 요구 정보
텍스춰 정보
재료특성 (material property) 정보
다양한 질병에 대한 정보