38
19/10/2010 1 CLEI 2010 # 1 Robôs Móveis e Veículos Autônomos: Robôs Móveis e Veículos Autônomos: Pesquisa, Desenvolvimento e Desafios Pesquisa, Desenvolvimento e Desafios na área da Inteligência Artificial na área da Inteligência Artificial Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco Universidade de São Paulo – USP - ICMC Grupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER Laboratório de Robótica Móvel - LRM INCT – Sistemas Embarcados Críticos CLEI 2010 # 2 Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco Universidade de São Paulo – USP - ICMC Grupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER Laboratório de Robótica Móvel - LRM INCT – Sistemas Embarcados Críticos Laboratório de Robótica Móvel – ICMC/USP Desafios da Inteligência Artificial: Desafios da Inteligência Artificial: Pesquisa e Desenvolvimento de Pesquisa e Desenvolvimento de Robôs Móveis e Veículos Autônomos Robôs Móveis e Veículos Autônomos Parte IV

Clei 2010 Tutorial - Slides Parte IV

Embed Size (px)

DESCRIPTION

Tutorial CLEI 2010 - Assuncion - Paraguay Outubro 2010 LRM - ICMC - USP São Carlos INCT-SEC Titulo: "Robôs Móveis e Veículos Autônomos: Pesquisa, Desenvolvimento e Desafios na área da Inteligência Artificial"

Citation preview

Page 1: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

1

CLEI 2010# 1

Robôs Móveis e Veículos Autônomos: Robôs Móveis e Veículos Autônomos: Pesquisa, Desenvolvimento e Desafios Pesquisa, Desenvolvimento e Desafios

na área da Inteligência Artificialna área da Inteligência Artificial

Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco

Universidade de São Paulo – USP - ICMCGrupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER

Laboratório de Robótica Móvel - LRMINCT – Sistemas Embarcados Críticos

CLEI 2010# 2

Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco

Universidade de São Paulo – USP - ICMCGrupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER

Laboratório de Robótica Móvel - LRMINCT – Sistemas Embarcados Críticos

Laboratório de Robótica Móvel – ICMC/USP

Desafios da Inteligência Artificial:Desafios da Inteligência Artificial:Pesquisa e Desenvolvimento de Pesquisa e Desenvolvimento de

Robôs Móveis e Veículos AutônomosRobôs Móveis e Veículos Autônomos

Parte IV

Page 2: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

2

CLEI 2010# 3

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Veículos Inteligentes

Condução Assistida – Detecção de Obstáculos

Estacionamento Autônomo, Combate a Incêndios

• Robôs Móveis para Monitoramento & Segurança

Controle a Distância, Simulação Virtual de Robôs Móveis

Navegação Topológica, Sistemas de Visão

• Robôs Móveis Articulados

Robôs que aprendem a caminhar

• Veículos Aéreos Não Tripulados (VANTs)Projeto ARARA, Projeto Tiriba

PARTE IVPARTE IV

CLEI 2010# 4

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Veículos Inteligentes

Condução Assistida

Detecção de Obstáculos

PARTE IVPARTE IV

Page 3: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

3

CLEI 2010# 5

Sensores laser

Câmera

GPS, IMU, eBússola

Processamento das informações

Sistema de conduçãoautônoma / assistida

CLEI 2010# 6

Identificação e desvio de obstáculosExperimentos iniciais – março de 2009

Sistema de conduçãoautônoma / assistida

Page 4: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

4

CLEI 2010# 7

Posição do veículo

Trajetória planejada

Obstáculos

Dados do laser

Dados da câmera

Sistema de conduçãoautônoma / assistida

CLEI 2010# 8

Sistema de conduçãoautônoma / assistida

Page 5: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

5

CLEI 2010# 9

Sistema de conduçãoautônoma / assistida

A Driving Assistance System for Navigation in Urban Environments

Leandro C. Fernandes, Maurício A. Dias, Fernando S. Osório, Denis F. Wolf

IBERAMIA 2010

CLEI 2010# 10

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Veículos Inteligentes

Estacionamento Autônomo

PARTE IVPARTE IV

Page 6: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

6

CLEI 2010# 11

Estacionamento Autônomo

SEVA3D – Simulador de Estacionamento de Veículos Autônomos 3D

Veículos Autônomos: Simulação de Estacionamento

Sensores: Sonar (configurável pelo usuário) e OdômetroAtuadores: Cinemática Ackerman

Usual: 6 sonares com posições específicas, odômetro, controle de velocidade e de giro da direção

CLEI 2010# 12

Page 7: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

7

SEVA3D – Simulador de Estacionamento de Veículos Autônomos 3D

Aprendizado de um autômato (FSA) usando uma Rede Neural Artificial

Sensores: Sonar (configurável pelo usuário) e Odômetro Atuadores: Cinemática Ackerman (velocidade e giro da direção)

Searching Parking Space Positioning Outside Entering

Positioning Inside Aligning

Veículos Autônomos: Simulação de Estacionamento

CLEI 2010# 13

Atributos de entrada da rede: seis sensores e uma indicação do estado atual (FSA)

Valores de saída da rede neural: estado dos atuadores (velocidade e direcionamento), indicação do próximo estado do processo de estacionamento

Aprendizado: Exemplos de uma pessoa controlando o estacionamento do veículo

Sensores de Proximidade [0..5]

Estado Inicial

RNA

Giro daDireção

Velocidade Próximo Estado

Veículos Autônomos: Simulação de Estacionamento

CLEI 2010# 14

IJCNN 2006

InfocompJournal 2007

M.HeinenF.Osório

Page 8: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

8

CLEI 2010# 15

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Veículos Inteligentes

Simulação Virtual de Veículos

Combate a Incêndios

Sistemas Multi-Robóticos

PARTE IVPARTE IV

CLEI 2010# 16

Veículos Terrestres Autônomos

• Simulação Virtual de Robôs (Simulação Física)• Uso da Biblioteca ODE

• Robôs Móveis Táticos:• Sistemas Multi-Robóticos

• Robombeiros: Combate a Incêndios em Florestas

Page 9: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

9

CLEI 2010# 17

Robombeiros

Avaliação de um modelo tolerante a falhas para Atuação tática de grupos robóticos utilizando Algoritmos Genéticos

CLEI 2009

G. PessinF. OsórioD. Wolf

IBERAMIA 2010,IEEE ICIT 2010,IEEE CERMA 2009

RoBombeiros – Simulador Robôs para Combate à Incêndios

Esquadrão Robótico: Simulação

Robótica Autônoma - Controle Inteligente Controle Inteligente MultirobôsMultirobôs

Objetivo:

Criar um ESQUADRÃO de ROBOS AUTÔNOMOSpara o COMBATE COORDENADO A INCÊNDIOS em AMBIENTES FLORESTAIS

SIMULAÇÃO REALISTA: Ambiente de Realidade Virtual + Física

CLEI 2010# 18

Page 10: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

10

Navegação: Direcionamento + Desvio de Obstáculos

DIRECIONAMENTO GLOBAL (Posição + Bússola)

NAVEGAÇÃO LOCAL (Desvio)

Navegação com desvio de obstáculos

Robombeiros:

- Navegação com obstáculos esparsos

-Desvio local

- Conhecimento:Posição do RobôPosição do AlvoDireção

- Método usado: RNA(Machine Learning)

Esquadrão Robótico: Simulação

CLEI 2010# 19

Aprendizado de Estratégias:

� Objetivo: Cercar e Barrar o Incêndio

Comportamentos em Sistemas Multi-Robóticos: Robombeiros

Planejamento de Trajetórias – Otimização usando ALGORITMOS GENÉTICOS ALGORITMOS GENÉTICOS - GA

Esquadrão Robótico: Simulação

Estratégia:Definida peloAlgoritmo Genético

CLEI 2010# 20

Page 11: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

11

RoBombeiros :Navegação e Desvio de Obstáculos

- Aprendizado usando Redes Neurais Artificiais- GPS: Posição Atual, Posição de Destino, Orientação- Navegação: Uso da Orientação e dos Sensores

Esquadrão Robótico: Simulação

Robótica Autônoma - Controle Inteligente Controle Inteligente MultirobôsMultirobôs

RoBombeiros :Controle dos Robôs

Simulação Física usando a ODE- Simulação da Cinemática (steering)- Simulação da Dinâmica (aceleração,inércia, colisões)

CLEI 2010# 21

RoBombeiros – Simulador Robôs para Combate à Incêndios

Robótica Autônoma: AÇÕES TÁTICASAÇÕES TÁTICASEsquadrão de Combate a IncêndiosEsquadrão de Combate a Incêndios

Esquadrão Robótico: Simulação

SIMULAÇÃO:

-Ambiente Virtual 3D

- Simulação da Cinemática e Dinâmica

- Simulação Física

- Planejamento da Estratégia de

Combate ao Incêndio (Pontos de Ataque)

- Otimização da Estratégia Coordenada

usando Algoritmos Genéticos

- Navegação e Desvio de Obstáculos

usando Aprendizado Neural

CLEI 2010# 22

Page 12: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

12

CLEI 2010# 23

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Veículos Inteligentes

Processamento de Imagens

“Navegação Visual”

PARTE IVPARTE IV

CLEI 2010# 24

Robótica Móvel Inteligente Navegação Visual – SIFT & SURF

Mobile Robot Localization and Mapping with Uncertainty using Scale-Invariant Visual Landmarks

Stephen Se, David Lowe, Jim Little (UBC, CA)

Algoritmo:SIFT

ReferenceInt. Journal of Robotics ResearchVol. 21, No. 8, August 2002, pp. 735-758,

Page 13: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

13

CLEI 2010# 25

Robótica Móvel Inteligente Navegação Visual – SIFT & SURF

Navegação VisualNavegação por Imagens:Correlação de Imagens... NCC e Correlação de Histogramas

ArtigoPublicado SBIA-WCI

2010

L.FacchinettiF.Osório

CLEI 2010# 26

Page 14: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

14

Navegação VisualNavegação por Imagens:Detecção da Marcação das Bordas da Pista

CLEI 2010# 27

SIBGRAPICláudio Jung

Antigo grupo de pesquisaGPVA – Unisinos

SBC JAI 2005

CLEI 2010# 28

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Robôs Móveis: Monitoramento e Segurança

Robôs Móveis Tele-Operados

Robôs Móveis Autônomos

PARTE IVPARTE IV

Page 15: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

15

CLEI 2010# 29

INCTINCT--SEC / LRMSEC / LRM

GT 1 GT 1 -- RobôsRobôs TáticosTáticos parapara AmbientesAmbientes InternosInternos

� OBJETIVOS:

� Patrulhamento Indoor: Monitoramento de Ambientes

� Navegação em Ambientes Internos:

* Tele-Operado com Supervisão

* Controle Autônomo

� Detecção de Intrusos e de Situações Anômalas

� Sistemas de Visão para Navegação e Patrulhamento

� Estratégias em Sistemas Multirrobóticos

CLEI 2010# 30

Equipe de Robôs para Missões TáticasRobôs de serviço/segurança – Principais objetivos:Patrulhar ambientes internos para detectar,identificar e reagir em situações de risco (invasão, fogo e ocorrências suspeitas)

Modos de controle: - Tele-Operação: Controlado remotamente por um usuário

(desviando de obstáculos)- Semi-Autônomo: A rota é definida por um usuário

(desviando de obstáculos)- Autônomo: Patrulhamento autônomo-Multi-Robô: Patrulhamento autônomo cooperativo

Funções principais:- Detectar: obstaculos, movimentos, fogo, situações anormais;- Inspecionar e Informar: link de áudio e vídeo bidirecional;- Reagir: evitar a exposição de pessoas a situações de risco;- Recarga autônoma: retorno à base de recarga de maneira autônoma

Page 16: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

16

CLEI 2010# 31

Robôs MóveisRobôs Móveis e Sensores

• Pioneer DX and AT• Erratic Robot• SRV1 Blackfin• ASR Labs Robot (em desenvolvimento em São Carlos)

• Laser SICK LMS• Laser Hokuyo• On-board Cameras com pan-tilt• Stereo Vision (STOC – Stereo on a Chip)• Wireless Camera

Erratic – Era Mobi

Pioneer DX

SRV1

CLEI 2010# 32

Teleoperação <=> Autonomia

Teleoperação:

• Controle remoto de Robôs Pioneer

Robôs localizados em São Carlos, SP (ICMC/USP)Controle localizado em Porto Alegre, RS (PUC/RS)

• Envio de dados de sensores (Video, Sonar, Laser)• Recepção de comandos de controle(Move, Turn, Stop)

Experimento:

Setembro de 2009

Curso a distância: Programação de robôs móveis usando as ferrametas Player/StageICMC/USP e PUC/RS

Page 17: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

17

CLEI 2010# 33

Teleoperação: Resultados

- Teleoperação: Controle humano- Controle remoto autônomo: seguir paredes

sensor laser

Teleoperação <=> Autonomia

CLEI 2010# 34

Teleoperação: Problemas

- Teleoperação: Controle humano- Controle remoto autônomo: seguir paredes

>> Internet - Lag: Atraso no envio e recepção de dados e comandos>> Internet - Connection Lost: Perda de conexão com o ponto de acesso>> Internet – Falta de segurança na transmissão de dados

Atraso:

Evitar colisões (supervisão local)

Conexão:

IP Móvel / Handover

Teleoperação <=> Autonomia

Page 18: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

18

CLEI 2010# 35

Controle Híbrido Robusto Controle Híbrido Robusto COHBRA / SimRob3DCOHBRA / SimRob3D

Navegação Autônoma com Localização

Arquitetura COHBRACOntrole HíBrido de Robôs Autônomos

Farlei Heinen & Fernando Osório

CLEI 2010# 36

Controle Híbrido Robusto Controle Híbrido Robusto –– COHBRA / SimRob3DCOHBRA / SimRob3D

Navegação Autônoma com Localização

Controle Híbrido – TAREFAS:

- Localização: MCL (Monte-Carlo Localization)

- Planejamento de Trajetórias: A* (A Star)

- Controle e Navegação: Campos Potenciais

- Uso de Mapas do Ambiente:

� Mapa de Ocupação (Grid)

� Mapa Geométrico (Poligonal)

� Mapa de Conectividade (Topológico)

- Alteração dos Mapas:

� Inclusão de Obstáculos (Construçaõ de Mapas)

� Exclusão de Obstáculos (Adaptação de Mapas)

Page 19: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

19

Navegação Topológica: Algoritmo Proposto e Simulação

RNA

FSM

D. Sales, F. Osório, D. Wolf

Navegação Autônoma Topológica

CLEI 2010# 37

Navegação Topológica: Experimento Real

Navegação Autônoma Topológica

CLEI 2010# 38

Page 20: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

20

Detecção de Intrusos: Experimento RealCâmera Térmica

FLIRPathFindIR

Navegação Autônoma Topológica

CLEI 2010# 39

Navegação por Imagens: Experimento Real

SRV1

ArtigoPublicado IEEE LARS

2010

Navegação Autônoma por Visão

CLEI 2010# 40

D. Sales, P. Shinzato,F. Osório, D. Wolf

Page 21: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

21

CLEI 2010# 41

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Robôs Móveis Articulados

Robôs com Patas

Aprendizado do Movimento (caminhar)

PARTE IVPARTE IV

CLEI 2010# 42

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

JUICE – Nate Waddoups

Page 22: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

22

Aprendizado de Máquina em Robótica Móvel

Aprendizado de Seqüências: “Robôs com Pernas”

� Autômato Finito / FSM – Finite State Machine: LEGGEN

* Virtual Reality Environment and Simulation of Legged Robots"Uso de Realidade Virtual para a Simulação do Caminhar em Robôs Móveis"SVR 2006 - Belém, Brazil

* Evaluate different Robot Models (hardware configurations)"Applying Genetic Algorithms to Control Gait of Physically BasedSimulated Robots” - IEEE WCCI / CEC 2006 - Vancouver, Canadá

* Evaluate different Fitness Functions"Gait Control Generation for Physically Based Simulated Robots using Genetic Algorithms” - IBERAMIA / SBIA 2006 - Ribeirão Preto, SP

* Robot, Vehicles and Human Simulation"Increasing Reality in VR Applications: Physical and Behavioral Simulation"Virtual Concept Summer School - Nov. 2006 - Porto Alegre, RS / VC2006 Cancun

* Evaluate Neural Learning of cyclic functions => SBRN 2006* Evaluate Robot Morphology Evolution => CLEI 2007

CLEI 2010# 43

Milton HeinenFernando Osório

LEGGEN - ROBOT SIMULATION

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator

Genetic Evolved Control of Articulated Robots (w/legs)

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 44

Page 23: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

23

LEGGEN - ROBOT SIMULATION

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator - Tools:

1. OSG - Open Scene Graph (OpenGL + Extensions)[ http://www.openscenegraph.org/ ] Graphics Engine

2. ODE - Open Dynamics EngineRigid Body Physics Simulation(gravity, inertia, friction, collision, joints, etc)[ http://www.ode.org/ ] Physics Engine

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 45

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator - Tools:

1. OSG - Open Scene Graph (OpenGL + Extensions)[ http://www.openscenegraph.org/ ]

2. ODE - Open Dynamics Engine

3. GALibGenetic Algorithms Simulationhttp://www.lancet.mit.edu/ga/

4. Robot Control: Joint Angles Finite State MachineArtificial Neural Nets

CLEI 2010# 46

LEGGEN - ROBOT SIMULATION

Aprendizado de Máquina em Robótica Móvel

Page 24: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

24

Control:- Joints with motors- Activate motors to set a specific angle for each joint

- Sequence of angles = Walk!

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator - Tools:

1. OSG - Open Scene Graph (OpenGL + Extensions)[ http://www.openscenegraph.org/ ]

2. ODE - Open Dynamics Engine

3. GALibGenetic Algorithms Simulationhttp://www.lancet.mit.edu/ga/

4. Robot Control: Joint Angles Finite State MachineArtificial Neural Nets

CLEI 2010# 47

LEGGEN - ROBOT SIMULATION

Aprendizado de Máquina em Robótica Móvel

GA Finite State Machine

Genome:

* FSM: Table of Target States(Sequence of Actions)

* Target angles +Reference Angular velocity

* Adjust velocity* Fitness Function: Sensor based

LEGGEN - ROBOT SIMULATION

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 48

Page 25: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

25

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator - Tools:

Sensorial

Robotnik

Viewer

Controller

3D

Motors

VisualizationVisualization

CLEI 2010# 49

LEGGEN - ROBOT SIMULATION

Aprendizado de Máquina em Robótica Móvel

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator - Tools:

Sensorial

Robotnik

Viewer

Controller Evolution

Neural Network

FSA - Automata

GAMotors

Joint Angles3D

Joint Angles

Evolve Control +Evolve Control +VisualizationVisualization

LEGGEN - ROBOT SIMULATION

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 50

Page 26: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

26

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator - Tools:

Sensorial

Robotnik

Viewer

Controller Evolution

Neural Network

FSA - Automata

GAMotors

Joint Angles3D

Joint Angles

Robot MorphologyDimensions/Shape configuration

Evolve Robot +Evolve Robot +Evolve Control +Evolve Control +VisualizationVisualization

LEGGEN - ROBOT SIMULATION

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 51

Genetic Algorithms Simulation

GA Parameters:

Cross-Over: 0.80 Mutation: 0.08 Population: 350Generations: 700

Genome:

Evolve FSAEvolve ANN

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 52

Page 27: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

27

Genetic Algorithms Simulation

Fitness Function:

GA Parameters:

Cross-Over: 0.80 Mutation: 0.08 Population: 350Generations: 700Walking time: 30

G = Sum of x, y, z instability where

F = FitnessD = Walked DistanceB = Bumpers (paws touching ground ~ stability)G = Gyro (gyroscope/accelerometers ~ stability)

where P = pawsni = bumper contacts of paw iN = total bumper sensor readings

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 53

LEGGEN SIMULATOR - ANN

GA Artificial Neural Network

Elman Recurrent Network

Input Layer (3x4 = 12 joints)

Hidden Layer (3 neurons)

Output Layer (12 outputs)

Context Input (recurrent)

Input: joint angles at time t [-1:+1]Output: joint angles at time t+1 [-1:+1]

Temporal sequence of joint angles.Learning: adjust ANN weights - Not supervised

=> Genetic Algorithm weight adjust

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 54

Page 28: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

28

CLEI 2010# 55# 55Aplicações

CSBC 2009 - JAI

Simulação Realística Virtual 3DSimulador LEGGEN

Evolução do Controle (AG) de Robôs Articulados

LEGGEN - ROBOT SIMULATION

Aprendizado de Máquina em Robótica Móvel

CLEI 2010# 56

Robótica Móvel Inteligente Desenvolvimento de Projetos e Aplicações

• Veículos Aéreos Não Tripulados

Projeto ARARA – USP São Carlos

AGX AGPlane – USP / AGX

TIRIBA – USP / INCT-SEC

PARTE IVPARTE IV

Page 29: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

29

CLEI 2010# 57

Veículos Aéreos Não Tripulados

• Projeto

ARARA

Projeto ARARA

IEEE ICIT 2010Onofre Trindade Jr., Kalinka Castelo Branco

CLEI 2010# 58

VANTs – Veículos Aéreos Não Tripulados

LRM – ICMC – USP / INCT-SEC

AGPlaneAGX Tecnologia

Projeto ARARAYouTube: Search AGPLANE - MEMBECA 2008

INCT-SEC: Veículo Aéreo Autônomo

Page 30: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

30

Veículos Aéreos Autônomos

CLEI 2010# 59

AGplane 2 - Especificações

� Características operacionais� Motor 40cc, 2T, 5HP, AVGAS

� Peso máximo de decolagem: 20kg

� Carga útil: 3kg

� Autonomia de vôo: 4h

� Velocidade de cruzeiro: 100km/h

� Velocidade de estol: 40km/h

� Sistema autônomo ou remotamente pilotado

� Pára-quedas de emergência

� Gerador de energia/motor de partida

� Estação de controle móvel

� Decolagem automática

CLEI 2010# 60

Page 31: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

31

AGplane 2 - Especificações

� Sensores instalados a bordo� Receptor GPS

� Câmera fotográfica

� Sistema de vídeo em tempo real

� Altímetro

� Velocímetro (velocidade aerodinâmica)

� Temperatura

� Sensor de atitude baseado em GPS

� etc.

CLEI 2010# 61

Tiriba

CLEI 2010# 62

Page 32: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

32

Tiriba

• Objetivo: sistema portátil para tomada de imagens aéreas• Início: fev 2009• Conclusão: 2010

• Características:• Decolagem: lançamento manual• Pouso automático: pára quedas• Missão autônoma, estação de solo baseada em celular• Propulsão elétrica: 1,2 KW• Peso máximo de decolagem: 3Kg• Payload: 700g• Autonomia: 40min (2horas, futuro)• Velocidade de cruzeiro: >80Km/h• Montagem: 10min

CLEI 2010# 63

Tiriba

Placa do Piloto Placa do Piloto Automático do Automático do

TiribaTiriba

CLEI 2010# 64

Page 33: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

33

Tiriba

Protótipo do Tiriba em Vôo Protótipo do Tiriba em Vôo ––Teste da Unidade Inercial e Teste da Unidade Inercial e

BarométricaBarométrica

CLEI 2010# 65

SarVant

• Objetivo: sistema tomada de imagens aéreas com SAR (radar de abertura sintética)

• Baseado no ARARA NG, início: fev 2009, conclusão: 2011

• Características:• Pouso e Decolagem: remotamente pilotadas• Envergadura: 5,5m• Missões autônomas• Propulsão: dois motores de 20HP• Peso máximo de decolagem: 150 Kg• Payload: 35 Kg (radar de abertura sintética)• Autonomia: > 6h• Velocidade de cruzeiro: 200 Km/h• Montagem: 40min

CLEI 2010# 66

Page 34: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

34

Projeto SarVant

CLEI 2010# 67

Tornar os VANTs parte indistinguível da frota de aeronaves convencionais:

� Controle e compartilhamento do espaço aéreo;

� Confiabilidade de voo;

� Normas e procedimentos de projeto, construção e operação.

Cenários:

� Espera-se no prazo de 5 a 10 anos que o cenário acima seja verdadeiro;

� Espera-se no prazo de 10 a 20 anos que as únicas aeronaves tripuladas sejam aquelas

para transporte de passageiros.

Ações:

� Divisão dos sistemas entre VANTs e VANCs (Veículos Aéreos não Controlados)

impondo-se aos VANCs limites máximos de peso, alcance, altitude de voo e áreas com

restrição de operação. VANCs autônomos já são realidade no mercado de brinquedos!

� VANTs devem ser certificados seguindo os mesmos procedimentos utilizados para

aeronaves convencionais. VANTs não certificados não devem compartilhar o espaço aéreo.

Aviônica para VANTs Desafios

SARVANT (INSAR) BRASÍLIA | 04.08.2010

CLEI 2010# 68

Page 35: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

35

CLEI 2010# 69

Referências Bibliográficas

PUBLICAÇÕES dos Autores / LRM – ICMC – USP / INCT-SEC

� FERNANDES, L. C. ; OSORIO, F. S. ; Wolf, D. F. ; DIAS, M. A. . A Driving Assistance System for Navigation in Urban Environments. In: IBERAMIA - Ibero-American Conference on Artificial Intelligence, 2010, Bahía Blanca. Lecture Notes in Computer Science - LNCS Springer, 2010. p. 1-12.

� HATA, A. Y. ; WOLF, D. F. ; PESSIN, G. ; OSORIO, F. S. Terrain Mapping and Classification in Outdoor Environments Using Neural Networks. International Journal of u- and e- Service, Science and Technology. ISSN: 2005-4246. Vol. 2, No. 4, p. 51-61, 2009.

� HATA, A. Y. ; Wolf, D. F. . Outdoor Mapping Using Mobile Robots And Laser Range Finders. In: Electronics, Robotics and Automotive Mechanics Conference (IEEE CERMA 2009), Cuernavaca. 2009. p. 209-214.

� HEINEN,M.; OSÓRIO,F.; HEINEN,F.; KELBER,C. SEVA3D: Autonomous Vehicles Parking Simulator in a three-dimensional environment. INFOCOMP. Journal,v.6,p.63-70, 2007.

� HEINEN,M.; OSÓRIO,F.; HEINEN,F.; KELBER,C. SEVA3D: Using Artificial Neural Networks to Autonomous Vehicle Parking Control.In: IEEE-IJCNN Joint Conf. on Neural Nets. Proceeding of the WCCI-IJCNN. Vancouver, Canadá: IEEE Press, 2006. v.1. p.9454-9461.

� HSIEH, M. A. ; COWLEY, A. ; KELLER, J. F. ; CHAIMOWICZ, L. ; GROCHOLSKY, B. ; KUMAR, V. ; TAYLOR, C. J. ; ENDO, Y. ; ARKIN, R. C. ; JUNG, B. ; WOLF, D.; SUKHATME, G. ; MACKENZIE, C. . Adaptive Teams of Autono-mous Aerial and Ground Robots for Situational Awareness. Journal of Field Robotics, v.24, p.991-1014, 2007.

� JUNG, C.; OSÓRIO, F.; KELBER, C.; HEINEN, F.. Computação Embarcada: Projeto e Implementação de Veículos Autônomos Inteligentes. In: M. P. Barcellos; A. A. F. Loureiro. (Org.). JAI - Jornada de Atualização em Informática / Congresso da SBC 2005. Porto Alegre: SBC, p. 1358-1406. Web: http://osorio.wait4.org/palestras/jai2005.html

� OSÓRIO, F.; et al. Research, Design and Implementation of Intelligent Autonomous Vehicles (Tutorial). Autonomous robots: Design and Testing using Virtual Reality and Physical Simulation (Plenary Talk). IEEE CERMA 2007 – 4th. IEEE-Conference on Electronics, Robotics and Automative Mechanics. 2007. México. WebSite: http://osorio.wait4.org/oldsite/palestras/cerma07.html

CLEI 2010# 70

Referências Bibliográficas

PUBLICAÇÕES dos Autores / LRM – ICMC – USP / INCT-SEC

� OSÓRIO, Fernando S. ; HEINEN, M. R. . Evolving Gait Control of Physically Based Simulated Robots. Revista de Informática Teórica e Aplicada, v. XIV, p. 119-134, 2007.

� OSÓRIO, Fernando; WOLF, Denis; Simões, Eduardo; CASTELO BRANCO, Kalinka; PESSIN, Gustavo. Simulação Virtual de Carros em Jogos e Aplicações de I.A.. [Tutorial] In: Esteban Clua, Delmar Galasi. (Org.). Proceedings of the SBGames - Computing Track -Rio de Janeiro: SBC - PUC/RJ, 2009, v. 1, p. 1-20. Web: http://osorio.wait4.org/palestras/ sbgames09.html or http://www.inf.unisinos.br/~sbgames/anais/tutorials/Tutorial3.pdf

� OSORIO, F. S. ; Wolf, D. F. ; BRANCO, K. R. L. J. C. ; PESSIN, G. . Mobile Robots Design and Implementation: From Virtual Simulation to Real Robots. In: IDMME - Virtual Concept, Bordeaux - France. 2010. p. 1-6.

� PESSIN, G. ; HATA, A. Y. ; OSORIO, F. S. ; Wolf, D. F. . Intelligent Control and Evolutionary Strategies Applied to Multirobotic Systems. In: IEEE International Conference on Industrial Technology, 2010, Vina del Mar. IEEE International Conference on Industrial Technology - ICIT 2010, 2010. p. 1-6.

� PESSIN, G. ; OSORIO, F. S. ; Wolf, D. F. . Improving Efficiency of a Genetic Algorithm Applied to Multi-Robot Tactic Operation. In: IBERAMIA - Ibero-American Conf. on Artifi-cial Intelligence, Bahía Blanca. Lecture Notes in Computer Science LNCS, 2010. p.1-10.

� PESSIN, G. ; OSORIO, F. S. ; DIAS, M. A. ; Wolf, D. F. . Genetic Algorithm Applied to Robotic Squad Coordination. In: Electronics, Robotics and Automotive Mechanics Conference (IEEE CERMA 2009), Cuernavaca. 2009, p. 169-174.

� SAITO, P. T. M.; SABATINE, R. J.; BRANCO, K.C. ; Wolf, D. An Analysis of Parallel Approaches for a Mobile Robotic Self-localization Algorithm. International Journal of Future Generation Communication and Networking. Vol. 2, No. 4, Dec. 2009. p. 49-64.

� SAITO, P. T. M.; SABATINE, R. J.; BRANCO, K. R. L. J. C.; Wolf, D. F. Parallel Implementation of Mobile Robotic Self-localization. In: International Conf. on Convergence and Hybrid Information Technology (ICHIT 2009), Daejeon, 2009. p. 390-396.

Page 36: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

36

CLEI 2010# 71

Referências Bibliográficas

PUBLICAÇÕES dos Autores / LRM – ICMC – USP / INCT-SEC

� SALES, D. O. ; SHINZATO, P. Y. ; PESSIN, G. ; OSORIO, F. S. ; Wolf, D. F. . Vision-Based Autonomous Navigation System Using ANN and FSM Control. In: IEEE LARS - Latin American Robotics Symposium, São Bernardo do Campo, Oct. 2010.

� SHINZATO, P. Y. ; FERNANDES, L. C. ; OSORIO, F. S. ; WOLF, D. F. . Path Recognition for Outdoor Navigation Using Artificial Neural Networks: Case Study. In: Proceedings of IEEE International Conference on Industrial Technology, 2009, Vina del Mar. IEEE ICIT 2010, 2009. p. 1-6.

� SHINZATO, P. Y. ; WOLF, D. F. . Image Features Analysis for Road Following Using Artificial Neural Networks. In: IEEE LARS - Latin American Robotics Symposium, São Bernardo do Campo, 2010.

� TRINDADE, O Jr, CASTELO BRANCO, K. R. L. J., NERIS, L., Fernando. Robótica Aérea. This chapter was accepted for publication as part of the book: Robotics and Mobile Robots, edited by Roseli Aparecida Francelin Romero/ICMC-USP, Fernando Santos Osório/ICMC-USP, Denis Fernando Wolf/ICMC-USP, Edson Prestes e Silva Junior/UFRGS. The book is scheduled to be published in December 2010.

� TRINDADE, O Jr, NERIS, L. O., BARBOSA, L.C.P., CASTELO BRANCO, K. R. L. J, A layered approach to design autopilots. In: IEEE-ICIT 2010 International Conference on Industrial Technology, 2010, Viña del Mar, Valparaíso. Proceedings of IEEE-ICIT 2010. Los Alamitos, California : IEEE Computer Society, 2010. p. 1-6.

� TRINDADE, Onofre Jr ; BRAGA, R. T. V. ; NERIS, L O ; BRANCO, K. R. L. J. C. . Uma Metodologia para Desenvolvimento de Sistemas Embarcados Críticos com Vistas a Certificação. In: IX Simpósio de Automação Inteligente - IX SBAI, 2009, Brasília. Anais do IX Simpósio de Automação inteligente IX SBAI, 2009. p. 1-6.

� WOLF, D. F. ; HOWARD, A. ; SUKHATME, G. . Towards Geometric 3D Mapping of Outdoor Environments Using Mobile Robots. In: IEEE/RSJ International Conference on Intelligent Robots and Systems - IROS, 2005, Edmonton. IEEE/RSJ International Conference on Intelligent Robots and Systems - IROS, 2005.

CLEI 2010# 72

Referências Bibliográficas

PUBLICAÇÕES dos Autores / LRM – ICMC – USP / INCT-SEC

� WOLF, D. F. ; HOWARD, A. ; SUKHATME, G. . Towards Geometric 3D Mapping of Outdoor Environments Using Mobile Robots. In: IEEE/RSJ International Conference on Intelligent Robots and Systems - IROS, 2005, Edmonton. IEEE/RSJ International Conference on Intelligent Robots and Systems - IROS, 2005.

� WOLF, D. F. ; SUKHATME, G. . Mobile Robot Simultaneous Localization and Mapping in Dynamic Environments. Autonomous Robots, Estado Unidos, v. 19, n. 1, p. 53-65, 2005.

� WOLF, D. F. ; SUKHATME, G. . Semantic Mapping Using Mobile Robots. IEEE Transactions on Robotics and Automation, v. 24, p. 245-258, 2008.

� WOLF, D. F. ; SUKHATME, G. ; FOX, D. ; BURGARD, W. . Autonomous Terrain Mapping and Classification Using Hidden Markov Models. In: Proceedings of IEEE International Conf. on Robotics and Automation - ICRA, Barcelona. IEEE ICRA, 2005.

� WOLF, Denis F.; OSÓRIO, Fernando S.; SIMÕES, Eduardo; TRINDADE Jr., Onofre. Robótica Inteligente: Da Simulação às Aplicações no Mundo Real. [Tutorial] In: André Ponce de Leon F. de Carvalho; Tomasz Kowaltowski. (Org.). JAI: Jornada de Atualização em Informática da SBC. Rio de Janeiro: SBC - Editora da PUC Rio, 2009, v. 1, p. 279-330. Web: http://osorio.wait4.org/palestras/jai2009.html Login: usp / guest

Laboratório de Robótica Móvel – ICMC/USPhttp://www.lrm.icmc.usp.br/

Page 37: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

37

CLEI 2010# 73

Referências Bibliográficas

Referências Complementares

� BECKEY, George A. Autonomous Robots: From Biological Inspiration to Implementation and Control. MIT Press. June, 2005.

� DUDEK, G. and JENKIN, M. (2000). Computational Principles of Mobile Robotics. Cambridge University Press.

� HAYKIN, S.. Neural Networks – A Comprehensive Foundation. Pearson, 1999. 823p.

� LATOMBE, J. Robot Motion Planning. Kluwer Academic, Boston, MA. (1991)

� MEDEIROS, Adelardo A.D. (1998). A Survey of Control Architectures for Autonomous Mobile Robots. JBCS -Journal of the Brazilian Computer Society, special issue on Robotics, vol. 4, n. 3.

� MITCHELL, Tom M. Machine Learning. McGraw-Hill, Boston-Massachusetts, 1997.

� SIEGWART, Roland and NOURBAKHSH, Illah R. Introduction to Autonomous Mobile Robots. A Bradford Book, The MIT Press: Cambridge, London. 317p. (2004)

� REZENDE, Solange (Ed.). Sistemas Inteligentes : Fundamentos e Aplicações. Barueri: Editora Manole, 2003. 525 p. ISBN 85-204-1683-7.

� THRUN, S.; BURGARD, W.; Fox, D. Probabilistic Robotics. Cambridge: The MIT Press. 667p. (2005)

� DARPA Grand Challenge - Urban Challenge. 2007 http://www.darpa.mil/ grandchallenge/

� ELROB The European Robot Trial http://www.elrob.org/

� POMERLEAU, D. A. Alvinn: An Autonomous Land Vehicle in a Neural Network – The CMU Navlab, Carnegie-Melon CMU Tech-Report Ref: ADA218975. 1989.

� POMERLEAU, D. Neural network based autonomous navigation. In: Thorpe, C.(Ed.).Vision and Navigation: The CMU Navlab. Kluwer Academic Publish, 1990. Web: http://www.ri.cmu.edu/ - Web: http://www.cs.cmu.edu/afs/cs.cmu.edu/project/alv/member/ www/navlab_home_page.html

� POMERLEAU, Dean. Neural Network Perception for Mobile Robot Guidance. Kluwer Academic Publishers Norwell, MA, USA - ISBN:0792393732. 1993.

CLEI 2010# 74

Referências Bibliográficas

Referências Complementares

� THRUN, S. et al. Stanley: The Robot that Won the DARPA Grand Challenge. Journal of Field Robotics, Vol. 23, No. 9, June 2006, p.661-692. http://robots.stanford.edu/papers.html (Acesso em 08/02/2009). 2006.

� THRUN, S., MONTEMERLO, M., DAHLKAMP, H., STAVENS, D., ARON, A., et al: “Stanley: The robot that won the darpa grand challenge”. Research articles. J. Robot. Syst. 23(9) (2006) pg.661-692.

� URMSON, C., ANHALT, J., BAGNELL, D., BAKER, C., BITTNER, R.,,et al. Autonomous driving in urban environments: Boss and the urban challenge. J. Field Robot. 25(8) (2008). pg 425-466.

� RoboCup – Robot Soccer Competitions. http://en.wikipedia.org/wiki/RoboCup and http://www.fira.net

� Robotics Competitions – http://en.wikipedia.org/wiki/Category:Robotics_competitions

� GIBBS, W. Wayt, Innovations from a Robot Rally, Scientific American, Jan2006, Vol. 294, Issue 1. pp.64-71. 2006.

� VAUGHAN, Richard ; GERKEY, Brian and HOWARD, Andrew "On Device Abstractions For Portable, Resuable Robot Code". In Proceedings of the IEEE/RSJ Internatl. Conf. on Intelligent Robot Systems (IROS 2003), pp.2121-2427, Las Vegas,USA, Oct. (2003)

� GERKEY, B.; VAUGHAN, R. T.; HOWARD, A.. "The Player/Stage Project: Tools for Multi-Robot and Distributed Sensor Systems". In Proceedings of the 11th Internatl. Conf. on Advanced Robotics (ICAR 2003), pp. 317-323, Coimbra, Portugal, June. (2003)

� GERKEY, Brian P.; VAUGHAN, Richard T.; STØY, Kasper; HOWARD, Andrew; SUKHATME,Gaurav S. and MATARIC, Maja J. "Most Valuable Player: A Robot Device Server for Distributed Control". In Proceedings of the IEEE/RSJ Internatl. Conference on Intelligent Robots and Systems (IROS 2001), pp. 1226-1231, Wailea, Hawaii, October 29 -November 3. (2001).

Page 38: Clei 2010 Tutorial - Slides Parte IV

19/10/2010

38

CLEI 2010# 75

OBRIGADO!

Laboratório de Robótica Móvel

www.lrm.icmc.usp.br

Denis Fernando Wolf – [email protected] Santos Osório - [email protected] R. J. C. Branko - [email protected]

http://www.slideshare.net/Search: Clei 2010 Tutorial