Explorations in Haptics and Affordable Assistive Technologies Abhinav Dey, abhinavnowinew@gmail.com abhinav@e4d.in

Abstract: Communicating design ideas primarily focuses on visual documentation and hands on prototyping. In the current scenario Haptic visualization is rarely used for documentation of designs, or collaborating with other people, but we have also realized visual documentation is not sufficient have others to explore your design, satisfactorily, for example, designing ergonomics of a pen. I explore Haptics to bridge the gap between the hands­on prototypes and communication of designs. Since the problem is critical for the visually disabled community, most of my work is focused on Haptic Documentation that can act as an ideation tool for the blind craftsmen, who can prototype new design ideas through a standard set of blind­accessible prototyping methods.  This proposal demonstrates my explorations in the field of Haptics during research work with Dr. Theodore Moallem (MIT­ HST) to develop a novel haptic contour display to use with a computer as a real­time drawing interface, assisting visually impaired persons to draw and share it online so other blind persons can feel the drawing on the reciever's end.

Hereafter, are selected questions and explorations which I would like to investigate during the research program:

For  visually impaired, are alphabet forms more intuitively reproduced on pen and paper, as compared to drawings which aren't similar to alphabet structures? This question has been explored by having visually disabled candidates draw alphabets and other everyday objects.I hypothesize that Alphabets have been designed to have the user draw them with minimum cognitive load, as compared to irregular/non­common shapes that we try to draw. Arun, blind since birth, age 32, totally blind since birth is learning to draw the alphabet 'P'. I observe, 

that letter drawing strategies are intuitive to pick up, even by born­blind who have no previous knowledge of writing English alphabets.

A blindfolded participant, age 19, drawing a cycle, with the aim of making a simple schematic structure of a cycle. How will the drawing characteristics change when the question is framed differently? How do people draw the diagram when asked “How does a cycle look” ? Is it different than twhen asked “How a cycle functions?”? Or we can ask “ what elements of the cycle you use and know about, draw them”. Also, there is an interesting avenue to explore:  are we operating everyday objects (like cycles, screwdrivers) by retrieving memories and integrating it with real time feedback to operate the object? If so, what are the characteristics of this retrieved memory? How can we design experiments to know more about the nature of this retrieved memory?

A blindfolded, but sighted participant, age 19 drawing an aeroplane, observe how the tail is detached from the body. How can we make it possible to draw consistent diagrams where user can 

consider relative positioning of the different parts of the drawing during or after completing the drawing.

An aeroplane usually is a composite structure. Like Haptic Exploratory Procedures can significantly increase effectiveness of object recognition, can different drawing procedures produce drawings that convey the intent satisfactorily?Letters can also be seen as composite shapes but they are arranged such that it is convenient to repetitively reproduce them without much difference. Can we use similar strategies (like practising 'letter strokes') to improve upon relative positioning of drawing the aeroplane parts?

______________________________________________

Design Challenge: How to create a collaborative drawing interface for one or more blind individuals, so that they could share their drawings online and feel others' drawings. The process must be really low cost and simple to understand. 

I hypothesize that with continuous curvature stimulus, the subjects can integrate the slope lines, using their short term perceptual memory derived from tactile stimulus, so as to form a mental image of the object while moving through the contours of the object. 

I am developing a system which allows a blind person to create a 2 Dimensional object/schematic diagram by avoiding relative positioning problems (like the aeroplane example) by taking curvature feedback from the device. On the reciever's end, the person can actively explore the space while getting cutaneous curvature feedback using the device.

A blind person uses Haptic Contour Display Device. My Prototype is open source, available online at: http://www.instructables.com/id/Make­and­Feel­Virtual­Drawings/?ALLSTEPS

Participant is fully blind since birth, now aged 36. Here, the exploring hand (right hand, which is dominant) uses the trackpad for drawing lines of different slopes & the other hand recieves cutaneous curvature feedback.

The cursor is moved in different directions to draw lines of different slopes, and accordingly the motor fan blade aligns itself along  direction.

Here, the Left Hand feels the feedback given by the rotating motor fan blade. The right hand gets cues for the position of the cursor and the right hand gets the instantaneous slope cues. Is it possible to make a Human computer Interface which gives atleast the same functionality like drawing with wool thread on velcro (raised line drawings)? 

The Software of the system uses an array which stores the slope value for a corresponding array of coordinates. When we feel the drawing, first the software checks if it's on the line or not ( by checking if the pixel color is black or not ), and continuously beeps only if it's on the line. While on the line, the program takes the coordinate of the mouse pointer and sends the corresponding slope to the microcontroller controlled servo motor.

Explorations can be made by varying the rate of Auditory clicks can be with  rate of change of slope of the contour line.

To enhance the raised line feedback of the device, your research on  'Haptic object recognition: how important are depth cues and plane orientation?'  would help.

_____________________________________________

Experiment – Visual Contour Integration by 'pin hole' viewing

Material requirements confide to a basic level that includes a writing instrument, a sheet of paper to write upon, and a sheet with a hole of radius 0.5 cm to see through (for the visually abled).

 Introduction: This experiment plans to investigate how stimulus at each point on a given plane integrates in the subject's mind, such that with or without training the subject can identify correctly the boundaries of the given object and come to a conclusion as to what exactly the shape of the object is.

 Hypothesis: The experiment hypothesizes that with continuous curvature stimulus, the subjects can integrate the slope lines, using their short term perceptual memory derived from visual or tactile stimulus, so as to form a mental image of the object while moving through the contours of the object.

For experiments involving visual stimulus for Visually Abled subjects:

1. Two sheets of paper are taken and arranged one on top of the other such that, the lower sheet has a drawing of the boundaries of an object taken for the test.

2. The sheet on top, has a hole of radius 0.5 cm and the sheets are placed one over the other such that a certain point on the boundary of the object drawn on the lower sheet, in test is visible through the hole on the top sheet.

3. The subject is made to move the top sheet, while seeing the lower sheet through the hole on the top sheet, in a way so that it traverses the contours of the drawing on the lower sheet, and this motion is continued till the subject reaches the starting point.

4. The above steps are repeated several times.

5. Both sheet of paper are removed and the subject is given a notepad to draw or replicate the mental image on the paper using pen/pencil.

6. A comparison of the original test sheet and the result derived from the subject, and the two are compared for results.

This experiment can be integrated with this work on 'An advantage for active versus passive aperture­viewing in visual object recognition' by R.Lawson to extrapolate the aperture viewing concept to line drawings.

Experiment – Haptic Contour Integration by 'pin hole' viewing

1. Woolen Thread is put on the surface of the velcro sheet and a drawing is made.

2. A visually challenged/blindfolded subject is made to touch the woolen thread and feel the drawing.

3. The above step may be repeated several times.

4. The woolen thread is removed and the subject is handed over the thread to draw the mental image of the object on the velcro board, which he sensed through tactile stimulus.

5. The actual and the subject derived drawing is compared and analysed for results.

_____________________________________________Two finger Experiment (Testing Proprioception): We ask users to keep one index finger on the table and other holding a pen. Then, the user has to draw a straight line connecting the two. From trials, we can observe how people fail to draw a straight line from one finger to another because the position of the other can't be detected.

This insight can lead us to new procedures for making tactile drawings, as the user can get an idea of the relative positions between two fingers and use this cue to place parts of the composite shape together.We can also use the ability to move one hand along 

curves and replicate this movement with the other hand. It would be helpful to evaluate the usage of these proprioceptive cues to make drawings without visual feedback.

______________________________________________

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.