Apresentação RApp´s Studio Unigames

Criado Por Pedro Queiroz

Sócio – Fundador da Startup Rapps Studio ( Incubatep – ITEP )

Formado em Jogos Digitais

Participação no projeto Aventuras de Bio-Bio


Primeiro Contato Com Realidade Aumentada

Criação do Projeto de Conscientização Ambiental ( MangueTown ) FAIL

Criação do Projeto de Educação com Jogos em RA ( EducAR ) FAIL ?


Projeto Pré-Incubado no Incubatep - ITEP

Prototipação do EducAR ( Versão Mobile )

Inscrição do EducAR no Intel Perceptual Challenge


Adaptação do EducAR Mobile Para Perceptual

Estudo do Perceptual SDK

Desenvolvimento do EducAR Perceptual


Reconhecimento de Voz

Reconhecimento Facial ( Olhos, boca e Nariz )

Posicionamento das Mãos ( 2D e 3D )

Posicionamento dos Dedos ( 2D e 3D )

Reconhecimento de Gestos

Realidade Aumentada


Utilizando o Pipeline!


PXCUPipelineOT.Mode mode = PXCUPipelineOT.Mode.Gesture

PXCUPipelineOT ppot = null;

If (!ppot.Init(mode)){Return;Print(“nao foi possivel iniciar o pipeline”);

}

Ppot.Close();Ppot = null;

Ppot = new PXCUPipelineOT();


Propriedades que podem ser utilizadas para iniciar o Pipeline:

COLOR_VGACOLOR_WXGADEPTH_QVGA

DEPTH_QVGA_60FPSGESTURE

FACE_LOCATIONFACE_LANDMARK

VOICE_RECOGNITION


COLOR_VGA|DEPTH_QVGA|GESTURE|FACE_LOCATION

If (ppot == null) return;

If (!ppot.AcquireFrame(false)) return;

If (!ppot.IsDisconnected()){

UpdateApp();

}


PXCMGesture.Gesture gestureData;

If (ppot.QueryGesture(PXCMGesture.GeoNode.Label.LABEL_ANY, out gestureData)){

}

Print( gestureData.label );

If( string.Compare( gestureData.label.ToString(),”LABEL_POSE_WAVE”) == 0 ){

}

Print( “você fez o Gesto Wave ( Tchau )” );


Gestos Implementados pelo SDK :

LABEL_NAV_SWIPE_LEFTLABEL_NAV_SWIPE_RIGHTLABEL_NAV_SWIPE_UPLABEL_NAV_SWIPE_DOWN

LABEL_HAND_WAVELABEL_HAND_CIRCLE

LABEL_POSE_THUMB_UPLABEL_POSE_THUMB_DOWN

LABEL_POSE_PEACELABEL_POSE_BIG5


PXCMGesture.GeoNode[] primeiraMao = new PXCMGesture.GeoNode[1];

If (ppot.QueryGeoNode(PXCMGesture.GeoNode.Label.LABEL_HAND_PRIMARY,out primeiraMao)){

}

Cubo.transform.localPosition = new Vector3(-primeiraMao[0].positionWorld.x,primeiraMao[0].positionWorld.z, primeiraMao[0].positionWorld.y);

Cubo.transform.rotation = Quaternion.LookRotation(new Vector3(-primeiraMao[0].normal.x, primeiraMao[0].normal.z,primeiraMao[0].normal.y));


Algumas Propriedades da Captura da mão :

PositionWorld

PositionImage

Normal

Openness

OpennessState LABEL_OPEN LABEL_CLOSE


PXCMGesture.GeoNode[] polegar = new PXCMGesture.GeoNode[1];

If (ppot.QueryGeoNode(PXCMGesture.GeoNode.Label.LABEL_HAND_PRIMARY |PXCMGesture.GeoNode.Label.LABEL_FINGER_THUMB,out polegar)){

}

CuboPolegar.transform.localPosition = new Vector3(-polegar[0].positionWorld.x, polegar[0].positionWorld.z,polegar[0].positionWorld.y);


Dedos Implementados pelo SDK :

LABEL_FINGER_THUMBLABEL_FINGER_INDEXLABEL_FINGER_MIDDLELABEL_FINGER_RINGLABEL_FINGER_PINKY

Outros Implementados pelo SDK :

LABEL_HAND_UPPERLABEL_HAND_MIDDLELABEL_HAND_LOWER

LABEL_BODY_ELBOW_PRIMARYLABEL_BODY_ELBOW_SECONDARY


PXCMFaceAnalysis.Detection.Data rosto;

If (ppot.QueryFaceLocationData(face, out rosto)){

}

rect = new Rect(rosto.rectangle.x, rosto.rectangle.y, rosto.rectangle.w, rosto.rectangle.h)

PXCMFaceAnalysis.Landmark.LandmarkData[] rosto = new PXCMFaceAnalysis.Landmark.LandmarkData[6];

If (ppot.QueryFaceLandmarkData(face,PXCMFaceAnalysis.Landmark.Label.LABEL_6POINTS,rosto){

}

rect = new Rect(rosto[0].position.x, rosto[0].position.y, 5, 5 )


Pontos de Rosto Identificados pelo SDK :

Rosto[0] = LABEL_LEFT_EYE_OUTER_CORNERRosto[1] = LABEL_LEFT_EYE_INNER_CORNERRosto[2] = LABEL_RIGHT_EYE_OUTER_CORNERRosto[3] = LABEL_RIGHT_EYE_INNER_CORNERRosto[4] = LABEL_MOUTH_LEFT_CORNERRosto[5] = LABEL_MOUTH_RIGHT_CORNERRosto[6] = LABEL_NOSE_TIP


PXCMVoiceRecognition.Recognition audio;

If (ppot.QueryVoiceRecognized(out audio){

}

Print(“ label = ” + audio.label + “ Texto = ” + audio.dictation );


Alertas de Captura de Som:

LABEL_VOLUME_HIGHLABEL_VOLUME_LOWLABEL_SNR_LOWLABEL_SPEECH_UNRECOGNIZABLE


Todos os códigos são fornecidos pelo Demo no SDK

Precisamos Importar os Plugins e os Códigos


Montar a Estrutura no Unity3D

Imprimir o Marcador


















































Utilizando o Pipeline e Unity3D você não tem todas as funcionalidades da câmera, Mas dá para fazer muita coisa bacana com tudo isso!

[email protected] / [email protected]:

www.rappstudio.com

Apoio: Itep – Incubatep

Agradecimento:

Anthony Lins, Breno Carvalho, Intel, Renato Oliveira , Eric Pessoa

Minha Mãe , Minha avó e My Xuxuzinha Gabriela

Education

Apresentação RApp´s Studio Unigames