2015년도

「제17회 한국지능로봇경진대회」

BARAM_HELPER :

사용자와 협업하는 Robot Arm

2015. 10.

〔참가팀 소개〕

No. 구분 성명 소속 전공 학년

1 팀장 주인호 광운대학교 로봇학부 정보제어시스템 3

2 팀원 김태경 광운대학교 로봇학부 정보제어시스템 3

3 팀원 전명환 광운대학교 로봇학부 정보제어시스템 4

4 팀원 정래훈 광운대학교 로봇학부 정보제어시스템 3

5 팀원 이승민 광운대학교 로봇학부 정보제어시스템 3

요 약 본

개요

팀 명 BARAM

로 봇 명 HELPER : 사용자와 협업하는 Robot Arm

활용분야 Service / Housework / Automation

개발목표 사람과 로봇팔의 상호작용 및 협업

개발

내용

필요성

및

목적

▪ 인공지능 필요성 (로봇팔 기준)

→ 스스로 판단가능, 여러 Task 수행 가능,

작업 변경 시 편리함, 물리적 및 기회비용 감소.

▪ 사람과 로봇간의 상호작용을 통해 협업을 하는 것

→ HRI(Human Robot Interaction) 구현.

주요기능

▪ Robot

1. DLS방식을 활용한 Inverse Kinematics과 Null Space Motion

2. 로봇 팔 End Effector 경로 생성 (Path Planning)

▪ HRI

1. 안전성 & 공존

1) 사람인식 및 회피기능

(1) 2대의 Kinect를 사용한 Dead Zone 축소 및 좌표계 일치

(2) 사람 인식 및 회피

2. 협업

1) 음성인식 기능

2) 물체 특징 매칭을 통한 물체인식

3) Passive Compliance

(3) End Effector의 새로운 FT Sensor 제작

소요예산 ▪ 로봇 제작비용 약 1500만원

기대효과

▪ 기존 산업용 로봇팔의 문제점 개선 → pHRI적용 안전성 보장, 로봇팔과 협업 가능

▪ 1인 사업자 편의성 증대

→ 제 3의 팔로서 편의성 증대

▪ 기존 서비스용 로봇의 문제점 개선

→ 사용자와 로봇팔간의 직접적인 Interaction 가능

로봇

특징

▪ End Effector부분의 새로운 FT Sensor 제작

→ 사용자가 FT Sensor의 축을 잡고 이동 시 로봇팔은 사용자가

이끄는 방향으로 순응하며 × 의 수식으로 따라옴.

→ 총 6개의 압력 Sensor를 사용하여 받은 힘의 크기를

벡터 합으로 3차원의 모든 방향과 힘의 정도를 알 수 있음.

- 1 -

로 봇 이 미 지

❍ 로봇사진

전체 사진 전체 구성도

❍ 설계도면

로봇 설계도면(전체) FT Sensor

- 2 -

구성 및 특징

❍ 로봇 소개

개발 동기

·인공지능의 필요성 (로봇팔 기준)

인공지능 개발 이전 인공 지능 개발 이후

· 로봇 스스로 판단 불가 · 로봇 스스로 판단 가능

· 단순 반복 작업 · 여러 테스크 수행 가능

· 작업 변경 시 인건비 발생 · 작업 변경 시 편리함

· 물리적 및 기회비용 증가 · 물리적 및 기회비용 감소

·사람과 로봇팔의 상호작용(HRI : Human Robot Interaction)의 효과

→ 사람 혹은 로봇 단독으로 수행 할 수 없는 작업을 효율적으로 진행.

·사람과 로봇팔이 한 공간에서 안전성이 보장되어 협업을 할 수 있게 함

→ cHRI(Cognition Human Robot Interaction)와

pHRI(Physical Human Robot Interaction)를 구현함.

개발 목표

1. Robot

1) DLS방식을 활용한 Inverse Kinematics과 Null Space Motion

2) 로봇 팔 End Effector 경로 생성 (Path Planning)

2. HRI

1) 안전성 & 공존

(1) 사람인식 및 회피기능

① 2대의 Kinect를 사용한 Dead Zone 축소 및 좌표계 일치

② 사람 인식 및 회피

2) 협업

(1) 음성인식 기능

(2) 물체 특징 매칭을 통한 물체인식

(3) Passive Compliance

① End Effector부분의 새로운 FT Sensor 제작

- 3 -

❍ 시스템 구성

개발 내용

·H/W

Linear Yaw arm1 arm2 arm_roll arm_pitch end_Yaw

motorYASKAWA 400W AC motor

(Torque=1.27 N.m 3000rpm)

MX-106

(Torque=10 N.m 55rpm)

MX-64

(Torque=7.3

N.m

78rpm)

RX-24F

(Torque=2.6

N.m

126rpm)gear ratio X 1:50 1:25 1:2 X 1:1 XDegree

of Freedom6+1(Linear actuator) => 7

하중 Maximum: 700g specified: 450g전체 크기 가로: 1219mm 세로: 1640mm 높이: 1440mm

(Axis & Link data) (Work Space)

·S/W

- 4 -

1. Robot

1) DLS방식을 활용한 Inverse Kinematics과 Null Space Motion.

(1) DLS방식을 활용한 Inverse Kinematics

:목표위치 :현재말단위치 :목표관절각속도 :가중치행렬

:자코비안행렬 :Damping상수 :Null Space Motion

① DLS방식은 행렬 요소에 일정 값(Damping)을

더하여 특이점 부근에서의 안정성을 증대함.

② 가중치를 지정, 각 관절의 활성도를 조정, 움직임을 최소화 함.

(2) 안전성 증대를 위한 Null Space Motion

① DLS 수식에서 값을 조정하여 Null Space Motion을 수행할 수 있음.

② 여러 Null Space Motion을 동시에 수행하기 위해 다음 수식을 사용하며,

각 은 가중치를 주어 에 미치는 영향을 조정, 우선순위를 지정함.

③ 안전성 증대를 위해 다음 세 개의 Null Space Motion을 할당하며

우선순위를 장애물회피, 특이점회피, 조작성 증대 순으로 지정함.

⓵ 장애물 회피 : 자석간의 척력원리를 이용하여 장애물이나

사용자와의 충돌을 방지하여 안전하도록 함.

× k=가중치, L=조작량, p=조인트위치, o=장애물 위치

⓶ 특이점 회피 : 기구적으로 불안정해지는 특이점을

회피하여 로봇팔의 안전성을 높임.

det k:가중치

- 5 -

⓷ 조작성 증대 : 로봇팔 관절 각도를 관절 움직임 범위의

중앙으로 오도록 하여 조작성을 최대화 함.

:가중치 :관절현재각도 :관절중심

:관절최대각도 :관절최소각도

2) 로봇 팔 End Effector 경로 생성 (Path Planning)

(1) 충돌 없이 목적 지점으로 가기 위한 경로 생성

(Potential Field Algorithm을 활용한 경로 생성)

① 출발지점에서 목적지까지 가려고 하는 에너지와 장애물로부터 멀어

지려고 하는 에너지의 합을 이용하여 경로를 생성하는 알고리즘.

⦁Attractive Force : 목적지로 이동하려고 하는 힘

⦁Repulsive Force : 장애물로부터 멀어지려고 하는 힘

if ≤

if

⦁Force Sum : 위의 두 힘의 합

∑

② 최단 거리는 아니지만 부드러운 경로 계획 가능.

- 6 -

2. HRI

1) 안전성 & 공존

(1) 사람인식 및 회피기능

① 2대의 Kinect를 사용한 Dead Zone 축소 및 좌표계 일치

⓵ 두 개의 Kinect 좌표계 일치

- 두 개의 카메라가 고정된 위치에 있기 때문에

카메라 간의 각도 차이를 측정하여 회전 변환을 수행함.

- 카메라의 화각 내에서 Dead Zone이 거의 존재 하지

않는 하나의 카메라를 사용하는 것과 같은 효과를 얻음.

⓶ Base 좌표계와 Kinect 좌표계의 축 일치

- Kinect가 가지는 고유의 좌표계와 실제 사용할

Base 좌표계는 Z축과 Y축이 바뀌어 있기 때문에 변환 필요.

⓷ 로봇 팔과 Kinect의 좌표계 일치

- 로봇 팔의 경로 생성과 제어에 편의를 주기 위해

로봇팔의 원점과 Kinect의 원점을 맞추어야 함.

② 사람 인식 및 회피

- Kinect의 Skeleton을 이용해 사람의 위치를 인식 및 사람의

위치 모두 장애물로 인지 후 회피

2) 협업

(1) 음성인식 기능

① Kinect의 MIC Array 사용

② 필요한 명령어들만 인식 단어로 저장하고,

명령어들의 비슷한 발음을 추가함으로서 인식을 높임.

- 7 -

(2) 물체 특징 매칭을 통한 물체인식

① ②

(Kinect 영상) (Top View 이미지) (수첩 인식 결과)

① 키넥트의 RGB영상을 위에서 보는 시점의 영상으로 변경함(Top View).

② Labeling후 사각형 검출 및 사각형의 특징,

영역 컬러모멘트 매칭을 통하여 물체를 인식함.

(3) Passive Compliance

- 사용자가 FT Sensor의 축을 잡고 이동시 로봇팔은 사용자가

이끄는 방향으로 순응하며 × 의 수식으로 따라옴.

① End Effector부분의 새로운 FT Sensor 제작

- 총 6개의 압력 Sensor를 사용하여 받은 힘의 크기를

벡터 합으로 3차원의 모든 방향과 힘의 정도를 알 수 있음.

❍ 추진 체계

- 8 -

❍ 주요 특징(신규 및 진보된 기술)

구 분 내 용

지능능력

외부환경 인식기능

·카메라를 사용하여 정해진 물체 인식 가능

→ Top View 및 물체 특징 매칭을 통하여 물체를 인식

·사람의 지속적인 움직임 인식 가능

·두 개의 Kinect를 사용하여 Dead Zone 및 가려짐 해결

외부환경에 따른

계획 및 학습기능

·장애물 인지 후 로봇팔 회피 가능

→ 자석의 척력의 원리를 이용한 회피 알고리즘 구현

·End Effector의 충돌 없는 경로 실시간 계획

·각 Task에 가중치를 주어 가중치 높은 Task 우선 시행

·사용자의 여러 지정 목표 반복 수행 가능

자기위치 인식 및

환경 지도 작성 기능·Encoder를 통해 실시간 위치 추종 가능

Human Robot

Interaction 기능

·FT Sensor를 통한 목표지점 지시 가능 (Passive Compliance)

·장애물 회피 가능

·사용자의 손 추종 가능

·사용자의 음성 명령어 인식 가능

주어진 작업 수행 기능

·사용자가 지정한 물품 이동 및 전달 가능

·이상 징후 감지 시 로봇팔 회피 가능

메커니즘 메커니즘

·리니어 엑츄에이터 사용으로 여유자유도 추가 및 Work Space 확장

·End Effector부분 공압 및 Gripper를 새로운 설계 방식 구현

제어능력 제어 부분

·DLS 방식을 이용한 로봇팔 Kinematics

·상위 제어기 지령 수령을 위한 MCU 하위 제어기 설계

센 서 새로운 센서의 구현 ·FT Sensor 자체 제작

- 9 -

❍ 진행 시나리오

※ 홀딩을 제외한 모든 명령 시 pHRI 적용.

- 물품에 따라 End Effector의 공압 또는 Gripper를 스스로 결정하여

사용자에게 가져다 줌

- “따라와”: 명령어를 수행 시 사용자가 End Effector를 잡고 이동 가능,

움직임을 정지한 뒤 Passive Compliance 진행

- “자비스”: 명령 시작 인지 및 반응 모션 수행

※ 트레이닝

- 트레이닝 명령어를 제외한 명령어를 사용하여 사용자가 원하는 위치로 이동,

Position ID → 위치저장 순서로 명령 시 위치저장 가능 (최대 3개)

(Ex_Training)

→“자비스”“물품이름_1”“Position ID_1”“위치저장”

“물품이름_2”“Position ID_2”“위치저장”

“물품이름_3”“Position ID_3”“위치저장”“정리해”

물건이 놓여 있음 물건의 놓을 위치를 저장함 정해진 순서대로 정리함 정리 완료 후 대기 상태

- 10 -

❍ 기대 효과

1. 기존 산업용 로봇팔의 문제점 개선

1) 산업용 6관절 로봇팔 특이점, 장애물 해결 불가

→ 6관절 + 여유자유도 특이점, 장애물 회피 가능

2) 보장되지 않은 안전성으로 인한 사람과 로봇팔의 협업 불가

→ pHRI(Physical Human Robot Interaction)적용 안전성 보장

사람과 로봇팔간의 협업 가능

3) 코드를 입력하여 모션을 제작함으로 변경이 어려움

→ 움직임 입력 방식 변화에 따른 편리성 증대

( FT Sensor을 이용한 End Effector 움직임을 통한 입력 )

4) FT Sensor의 비용 문제

→ 저비용으로 새로운 FT Sensor 제작 및 비용 절감

2. 1인 사업자 편의성 증대

1) 작업 도중 특정 물건을 찾기 위해 작업 중단 및 찾는 번거로움

→ 작업 중단 없이 음성으로 특정 물건 찾기 입력, 로봇팔 스스로

인식 및 사용자에게 전달

2) 간단한 도움 필요 및 손이 부족한 경우 불편함

→ 제 3의 팔로 사용 가능

( 사용자의 필요에 따라 특정 물건을 Holding [ex_랜턴 비추기] )

3. 기존 서비스용 로봇의 문제점 개선

1) 사용자와 로봇팔간의 Interaction 제한 및 불가

→ 사용자와 로봇팔간의 직접적인 Interaction 가능

증 빙 자 료

- Introuction to Robotics / John J.Crag(PEARSON)

- Robotics / Bruno Siciliano(Springer)

- Integrated control for pHRI : Collision avoidance, detection, reaction

and collaboration / Alessandro De Luca, Fabrizio Flacco