Upload
nunolopes99
View
155
Download
3
Embed Size (px)
Citation preview
MULTIMÉDIA E ACESSIBILIDADE
Nuno Ribeiro | Nuno Lopes | Susana Castro
TouchViewer tecnologia inclusiva no ensino das ciências biológicas
Programa Doutoral em Multimédia em Educação
de 27 MMA 1
INTRODUÇÃO
Como permitir a um aluno cego ou com baixa visão observar ao microscópio?
de 27 MMA 2
APRESENTAÇÃO DO CASO
Proposta tecnológica integrada que permita aos alunos cegos e com baixa visão (C-BV) explorar imagens ao microscópio através do tacto.
‣ Alunos Cegos e com Baixa Visão
‣ Alunos normovisuais (a sua percepção visual poderá ser enriquecida através de modelos tácteis)
‣ 43.708 alunos de educação especial nas escolas públicas no ano letivo 2010/11
PÚBLICO-ALVO
de 27 MMA 3
de 27 MMA 4
PÚBLICO-ALVO ANO LETIVO DE 2012/2013 - ESCOLA DE REFERÊNCIA NO ENSINO A C-BV ESCOLA SECUNDÁRIA RODRIGUES DE FREITAS (PORTO)
• 28 alunos C-BV, sendo 7 C e 21 BV
• 6 professores especializados nas áreas curriculares especificas:
‣ Orientação e mobilidade ‣ Terapia ocupacional ‣ Braille ‣ Programa complementar de TIC
• Centro de recursos: computadores com acesso à internet, linha braille, leitor de ecrã, duas impressoras braille e uma máquina de imprimir relevos
‣ Rapariga de 13 anos, cega congénita, aluna do 8ºano na Escola Secundária Rodrigues de Freitas
‣ Frequenta aulas de ciências biológicas com trabalho prático laboratorial de microscopia
‣ Gosta muito das aulas e gostava de fazer muitas mais experiências
‣ Trabalho de grupo com posterior descrição oral dos colegas de grupo e do professor da observação no microscópio
‣ Não consegue descrever uma célula
ENTREVISTAS
de 27 MMA 5
PÚBLICO-ALVO
de 27 MMA 6
ENTREVISTAS ‣ Jovem de 30 anos, cega congénita, psicóloga, mestre em gestão,
trabalhadora numa instituição financeira
‣ Estudou em escolas públicas em Espinho
‣ Teve aulas de ciências biológicas com trabalho prático laboratorial de microscopia
‣ Considerava as aulas de ciências biológicas muito interessantes
‣ Trabalho de grupo com posterior descrição oral dos colegas de grupo e do professor da observação no microscópio e apoio adicional do manual que tinha imagens em relevo das observações básicas de microscopia
PÚBLICO-ALVO
“… a célula é uma roda com uma pinta, a pinta pode ser mais diferenciada dependendo do tipo de célula, pode estar mais para um lado do que para o outro, e pode ser maior ou mais pequena.”
de 27 MMA 7
DESCRIÇÃO DE UMA CÉLULA
PÚBLICO-ALVO
ENQUADRAMENTO DA PROBLEMÁTICA
de 27 MMA 8
VISÃO VS. AUDIÇÃO VS. TACTO
106 bits/seg
Visão
104 bits/seg
Audição
102 bits/seg
Tacto
Uma imagem vale mais que mil palavras. Uma palavra, mais que mil toques.
de 27 MMA 9
‣ Conjunto de experiências onde procuraram identificar as causas da dificuldade dos C - B V e m p e r c e p c i o n a r imagens tácteis
‣ Reconhecimento de imagem tácteis está correlacionado com a complexidade do estímulo, ou seja, quanto mais s i m p l e s a f o r m a , m a i s facilmente é percepcionada e reconhecida a imagem
‣ Simplificação das imagens gráficas de modo a serem perceptíveis através do tacto
Fonte: (Kalia & Sinha, 2012)
ENQUADRAMENTO DA PROBLEMÁTICA
de 27 MMA 10
ESTADO DA ARTE DISPOSITIVOS HÁPTICOS BASEADOS NA VIBRAÇÃO BASEADOS NA PRESSÃO
BASEADOS NAS ONDAS ACÚSTICAS DE SUPERFÍCIE
ness (1 mm) for creating stimuli to the finger.We placed IDTs at both ends of the substrate. To gen-
erate progressive waves, we applied an alternatingvoltage to one side of the IDTs. To generate standingwaves, we applied the voltage to both sides of the IDTsand set open-metal-strip arrays (OMSA) after the IDTsas reflectors.
In our tactile display, users can explore the substratewith a slider shown in Figures 7 and 8. The slider hasapproximately 100 steel balls with a diameter of 800 µmon a thin tape. We chose to use a slider because of the fol-lowing:
! By pressing steel balls with the finger, a driving forcecan be effectively transmitted to the finger.
! Steel balls can provide distributedpoints to which stress is appliedon the finger surface, assumingthat the tape is satisfactorily thinand soft.
PrincipleHere we describe the principle for
generating sources of shear stressthat are distributed spatially andmodulated temporally.
When users explore the substratewithout SAWs with their fingers—via the slider—kinetic friction by thesubstrate is applied to the steel balls,thus creating sources of shear stresson the fingers’ surface at the posi-tions of all the steel balls distributedspatially (Figure 9a).
By generating SAWs, we candescrease the friction between thesteel balls and the substrate com-pared to the substrate without SAWsbecause there’s a
! decrease in contact time betweenthe balls and the substrate,
! squeeze-film effect by the air thatexists between the balls and thesubstrate, and
! parallel movement of the wavecrest (only in using progressivewaves).
As a result, when we either generatea progressive or standing SAW in thesubstrate, shear stress to the skinbecomes smaller (Figure 9b) thanshear stress without a SAW. Thus, byusing a burst waves of SAW, we canmodulate the sources of shear stressapplied to the skin surface with aburst frequency. The moment whenthe wave suddenly appears corre-sponds to the moment when thestick state changes into the slip statebecause the friction suddenly
Virtual Reality
60 November/December 2001
7 Detail of theslider.
8 The SAWtactile display.
Shear stress
Direction ofthe exploration Finger
Tape Steelballs
Kinetic friction(a)
Shear stress becomes smaller
Tape Steelballs
Driving forceby the crest(b)
Squeeze force
SAW
9 Generationof sources ofshear stress thatcan be modulat-ed temporallyby burst wavesof SAW.
ELETRORREOLÓGICOS OU MAGNETORREOLÓGICOS
DE ESTIMULAÇÃO ELETRO-TÁCTIL
trodes, which we can readily fabricate into a thin wafer.The tactile display consists of a 4 ! 4 matrix of stain-
less steel electrodes; each electrode is 1.0 mm in diam-eter. The electrodes’ longitudinal pitch is 2.5 mm; theirtransversal pitch is 2.0 mm. The electrodes apply elec-trical current pulses (0.2-ms, 100- to 300-volt, and 1.0-to 3.0-mA current controlled) to the skin to generate thetactile sensation.
Optical sensor We used a phototransistor (Sharp PT600T, 1.6 ! 1.6 !
0.8 mm) for our optical sensor. We placed the sensors justbeneath the electrodes so the horizontal displacementbetween the stimulation point and the sensing point wasless than 1.0 mm. Printed paper served as the contact
IEEE Computer Graphics and Applications 37
Finger
Object surface
Electrodes
Optical sensors
Pressure sensor
(a)
(b)
2 (a) SmartTouch prototype system in which opti-cal sensors capture a visual image (black and whitestripes) and display it through electrical stimula-tion, and (b) a cross section of the system.
F1
F1
F2 F2r
r
R
M = rF2 M = (r+R)F2
M
M
Object surface
Tactiledisplay
Finger
3 Effect of system thickness. The contact gener-ates frictional force, which the finger perceives asa torsional moment. If the distance between objectsurface and display surface increases, it generatesgreater torsional moment, creating an unnaturalhaptic sensation.
Related Work in Augmented HapticsResearchers have conducted a great deal of
work on visual-to-tactile conversion systems. Bliss1
developed the first converter system, and Collins2
employed electrical and mechanical stimulationon the skin on the back.
Optacon,3 a representative commercial productdeveloped in the 1960s, uses a video camera anda matrix of vibrating pins. It attempts to allow avisually impaired person to read printed materialrather than to augment the real world. Optaconrequires a participant to hold a video camera inone hand while tactile information is displayedonto the other. In our system, the optical sensorand the tactile display are located in practicallythe same place and work together as a new skinreceptor.
SmartTool4 and SmartFinger5 are twoaugmented haptics applications that use sensorsto capture information from an object.
SmartTool captures information with a sensorattached at the tip of the tool and conveys it to theoperator through a haptic force display. Oneproposed application is surgery. When a smartscalpel contacts a vital region such as an artery, thesensor detects surface information, and the displayproduces a repulsive force to protect the region.
SmartFinger uses a vibrating tactile display andsensor mounted on a fingernail. The vibratordrives the finger vertically, which induces forcebetween the finger and the object it contacts.Thus, SmartFinger generates skin sensationsindirectly, with natural tactile sensationsunhindered by the display.
References1. J.C. Bliss et al., “Optical-to-Tactile Image Conversion
for the Blind,” IEEE Trans. Man-Machine Systems, vol.11, no. 1, Jan.-Mar. 1970, pp. 58-65.
2. C.C. Collins, “Tactile Television—Mechanical and Elec-trical Image Projection,” IEEE Trans. Man–Machine Sys-tems, vol. 11, no. 1, Jan.-Mar. 1970, pp. 65-71.
3. D. Stein, The Optacon: Past, Present, and Future, Nat’lFederation of the Blind (NFB); http://www.nfb.org/bm/bm98/bm980506.htm.
4. T. Nojima et al., “The SmartTool: A System for Aug-mented Reality of Haptics,” Proc. IEEE Virtual RealityConf., IEEE CS Press, 2002, pp. 67-72.
5. H. Ando et al., “The Nail-Mounted Tactile Display forthe Behavior Modeling,” ACM Siggraph 2002 Conf.Abstracts and Applications, ACM Press, 2002, p. 264.
Período de aceitação e adaptação dos alunos à tecnologia criada pode ser longo;
Resistência dos professores à adopção de tecnologia em sala de aula;
Ausência de formação dos professores de ciências biológicas na área do ensino especial;
Ausência de formação dos professores de ensino especial na área das ciências biológica;
Complexidade dos modelos visuais.
ANÁLISE SWOT FORÇAS FRAGILIDADES
OPORTUNIDADES AMEAÇAS
de 27 MMA 11
Tecnologia criada pode ser aplicada noutros contextos para além do educativo;
Capacidade da tecnologia para tornar as aulas de ciências biológicas mais inclusivas, dando mais autonomia aos alunos C-BV;
Previsível introdução do mercado de tablets e outros dispositivos hápticos que terão a capacidade de fornecer
feedback táctil ao utilizador.
Necessidade de simplificar as imagens gráficas para serem percetíveis através do tacto (limitação biológica do tacto);
Previsível custo elevado da tecnologia existente;
Pouca versatilidade dos dispositivos hápticos existentes;
Pouca investigação feita na área do ensino das ciências biológicas a alunos C-BV.
Possibilita a percepção de imagens visuais através de interfaces hápticos;
Providencia a todos os alunos (C-BV e normovisuais) novas experiências sensoriais que permitirão compreender melhor
modelos complexos das ciências biológicas;
Capacidade que a tecnologia desenvolvida terá para aumentar a motivação dos alunos C-BV para as Ciências.
de 27 MMA
TACTICS (TACTile Image Creation System)
12
O processo de conversão de imagens visuais em imagens tácteis é possibilitado através de três passos distintos:
‣ Aquisição
‣ Simplificação
‣ Renderização
PROPOSTA DE OTIMIZAÇÃO
Fonte: (Way & Barner, 1997)
de 27 MMA
AQUISIÇÃO
13
‣ Input visual de uma câmara de filmar que captaria, através da lente de um microscópio óptico presente nas salas de aula, o que era visualizado nesse microscópio
‣ Cada fotograma do sinal de vídeo seria então convertido em tempo real utilizando a técnica de processamento que simplifique os fotogramas
PROPOSTA DE OTIMIZAÇÃO
de 27 MMA
SIMPLIFICAÇÃO
14
Conjunto de algoritmos que processam imagens para produzir um conjunto vasto de efeitos:
‣ K-means ‣ Sobel ‣ Aggregate (com desfoque) ‣ Aggregate (sem desfoque)
PROPOSTA DE OTIMIZAÇÃO
de 27 MMA 15
‣ Os resultados demonstram que o processamento Aggregate (com desfoque) foi o mais facilmente percepcionado
‣ O processamento Aggregate (com desfoque) é conseguido através diversos algoritmos que desfocam, detetam os limites, segmentam e filtram a mediana
PROPOSTA DE OTIMIZAÇÃO
SIMPLIFICAÇÃO
de 27 MMA
RENDERIZAÇÃO
16
‣ Output táctil das imagens já processadas era conseguido através de papel de microcápsulas que, através da elevação dessas microcápsulas, cria relevo
‣ Impossibilidade de utilizar esta tecnologia para conversão de imagens em tempo real
PROPOSTA DE OTIMIZAÇÃO
Fonte: Senseg [http://senseg.com/] de 27 MMA 17
PROPOSTA DE OTIMIZAÇÃO
Baseia-se em três elementos: ‣ Película Tixel
‣ Módulo eletrónico
‣ Software
TECNOLOGIA E-SENSE
de 27 MMA 18
PROPOSTA DE OTIMIZAÇÃO
de 27 MMA 19
PROPOSTA DE OTIMIZAÇÃO
de 27 MMA 20
PROPOSTA DE OTIMIZAÇÃO
de 27 MMA 21
PROPOSTA DE OTIMIZAÇÃO
Vantagens do iPad: ‣ Acessibilidade do iOS (VoiceOver)
‣ Dimensão do ecrã
‣ Portabilidade
‣ Câmara de filmar/fotografar integrada
‣ Versatilidade do dispositivo
‣ Preço
de 27 MMA 22
TOUCHVIEWER
MOCKUP/PROTÓTIPO
I N S I D E
de 27 MMA 23
Imagem original Imagem processada
MOCKUP/PROTÓTIPO
de 27 27
de 27 MMA 25
Compatível com
VoiceOver
MOCKUP/PROTÓTIPO
de 27 MMA 26
TOUCHVIEWER
MOCKUP/PROTÓTIPO
de 27 MMA 27
CONCLUSÕES ‣ Desenvolver uma solução barata e integradora tendo em
consideração os princípios da inclusão e da acessibilidade
‣ Aumentar os níveis de interesse e autoconfiança do aluno pela aprendizagem dos modelos visuais
‣ Capacitar a apreensão das formas reais dos modelos observados
‣ Experienciar as imagens de um modo multissensorial, potenciando a aprendizagem e a compreensão dos modelos por parte dos alunos normovisuais
‣ Possibilitar a utilização da tecnologia em diferentes domínios do ensino que não apenas o das ciências biológicas ou fora do contexto educativo