28
! ! "#$% "#$% !"#$%& ’( !)&$$ !"#$%& ’( !)&$$ &%’(( &%’(( &$)$*)" &$)$*)" +, %-*&.%/

ICARE : approche à composants pour l'interaction multimodale

  • Upload
    vohuong

  • View
    226

  • Download
    2

Embed Size (px)

Citation preview

Page 1: ICARE : approche à composants pour l'interaction multimodale

������������������� ������������� ���������������� �������������� �������� ��

���� ���������� ����������������

�������� ���������������� ������������ ���������������� ��������������� ������������ ������������ ������������ �

������������������������ ������������������������ !! � "������������#���$%��� ����� "������������#���$%��� ����

���� ���� !"#���$%�& �������'���(����������!�)�&��$$��!"#���$%�& �������'���(����������!�)�&��$$��

&��%'((&��%'((��&$)�$�*)"���&$)�$�*)"�

+�,�� ��� ��%-��*&��.���%���/�������������� ����

Page 2: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

&� �������������&� �������������

�� �����4$������4$�!! 5�""��������%������ ����������������%%�������� ���"�����$����$��5�""��������%������ ����������������%%�������� ���"�����$����$�����������������%%������� ��$���������������%%������� ��$����������%���������%���������

�� 6�7����"6�7����"!! 5�"� ���� ��8� ��%����5�"� ���� ��8� ��%������"��$��'�"��$��'�

�� �����%��$��������9��� ��%�����������������%���$� �����"�����$� ������%��$��������9��� ��%�����������������%���$� �����"�����$� ���������� ���"�����$����$������� ���"�����$����$������

�� �����%��$��������9��� ��%�������8�9%��������%���$� ��������""��������%��$��������9��� ��%�������8�9%��������%���$� ��������""��� ���� ������ ��%��� ��%���������� ��%��� ��%��������

�� �%%���&��%%���&�!! � ���%%���&������������� �����& ���*���2���$%��� �����*�������� ���%%���&������������� �����& ���*���2���$%��� �����*�������!! � ���������*��%&������8����$���*��%���������� ��%������ ���������*��%&������8����$���*��%���������� ��%�����

Page 3: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

* �* �

+)+) � ��������� � ��������� �)�) �� ��%����� ��%���:):) 19�$%����8� �������� �$����$������ �19�$%����8� �������� �$����$������ �� ������ �����

) ) ���01�'�� ���%%���&�������������������01�'�� ���%%���&������������������$%��� �����*��������$%��� �����*������

;);) �� ������ ��#�<�����9�� �������� ������ ��#�<�����9�� ������

Page 4: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

* �* �

+)+) � ��������� � ��������� �)�) �� ��%����� ��%���:):) 19�$%����8� �������� �$����$������ �19�$%����8� �������� �$����$������ �� ������ �����

) ) ���01�'�� ���%%���&�������������������01�'�� ���%%���&������������������$%��� �����*��������$%��� �����*������

;);) �� ������ ��#�<�����9�� �������� ������ ��#�<�����9�� ������

Page 5: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

�� ������������� ����� ������������� ���

�� ���������'�$�-� ��8� �������� �=���������������'�$�-� ��8� �������� �=��������$$� ������ >�� �����8�������������������-��4$����$$� ������ >�� �����8�������������������-��4$��� "��$������� "��$������

�� �����$��������'�$����%�����������$����������8� ����������$��������'�$����%�����������$����������8� �������(������������������� ��8� ��-��4$��� �������"��(������������������� ��8� ��-��4$��� �������"

Page 6: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

����� ������������ ������ ������������ �

Sélection d’une ou plusieurs modalités Multimodale

Expression

Modalité Combinaison de modalités

Informationà véhiculer

Contexte

Espace de possibilités

Page 7: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

�� ����� ���

���������?�=���%�����"��� *�*���8� �������� >���������?�=���%�����"��� *�*���8� �������� >

�� �+�?��=$����%&� ���� *�*�� ������>��+�?��=$����%&� ���� *�*�� ������>�

�� ���?�=����-��4$����������� �������?�=����-��4$����������� �����%���"����>�%���"����>

�� �:�?�=�������$� �%������ ��������>�:�?�=�������$� �%������ ��������>

Page 8: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

�� ����� ���

�� ��?�@��?�@��$�����$������A���A���*����B��*����B�

Page 9: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

Niveau logiqueNiveau physique

Modalité = <dispositif, langage d’interactionlangage d’interaction >

• Sens humains• Lieu d’interaction• Type actif ou passif

• Dimension: 1D, 2D...• O. Bernsen 93 :

• linguistique, analogique, arbitraire, dynamique

�� ����� ���

ModalityModalité

Page 10: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

����� ������������ ������ ������������ �

Sélection d’une ou plusieurs modalités Multimodale

Expression

Modalité Combinaison de modalités

��+��� ������,�������

Contexte

Espace de possibilités

Page 11: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

���-�� ��������� �������-�� ��������� ����

�� ���%���������01���%���������01!! 0������ ��� ����5��%�����"���� *�*����8� �������� ����0������ ��� ����5��%�����"���� *�*����8� �������� ����<C�&��'�<C�&��'�

�� �'���$%��$� �������'���$%��$� ������

�� �'�����* ���� ��'�����* ���� �

�� 0'�0��� �� ��0'�0��� �� ��

�� 1'�.������� ���1'�.������� ���

Page 12: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

* �* �

+)+) � ��������� � ��������� �)�) �� ��%����� ��%���:):) 19�$%����8� �������� �$����$������ �19�$%����8� �������� �$����$������ �� ������ �����

) ) ���01�'�� ���%%���&�������������������01�'�� ���%%���&������������������$%��� �����*��������$%��� �����*������

;);) �� ������ ��#�<�����9�� �������� ������ ��#�<�����9�� ������

Page 13: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

���"���.��/������������"���.��/��������������� ����� ���� ������������� ���� ��������

Complémentarité 2

Souris

Equivalence

Commandes vocales

Commandes Souris

Microphone

�� *�*���� *�*��

��$�� ���� ���$�� ���� ���01��01

5��%�����"�5��%�����"�

$0������ ���� ���������������� ���� ���������������1� � ����%����������1� � ����%����������

���������2���������2

$0������������� ��3���3��� �� ������������ ����������4���������� �������4���������� �������

������ ���������� ����

Capteur de localisation

Magnétomètre

Localisation 3DOrientation 3D (radians)

Complémentarité 1

Page 14: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

* �* �

+)+) � ��������� � ��������� �)�) �� ��%����� ��%���:):) 19�$%����8� �������� �$����$������ �19�$%����8� �������� �$����$������ �� ������ �����

) ) ���01�'�� ���%%���&�������������������01�'�� ���%%���&������������������$%��� �����*��������$%��� �����*������

;);) �� ������ ��#�<�����9�� �������� ������ ��#�<�����9�� ������

Page 15: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

����������� ���������������� �������������� ���������������� ���

�� ������� �����8� �������� �$����$������%���������� �����8� �������� �$����$������%�������$���*�������$%��� �����*����������$���*�������$%��� �����*������

Page 16: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

����������� ���������������� �������������� ���������������� ���

�� ������� �����8� �������� �$����$������%���������� �����8� �������� �$����$������%�������$���*�������$%��� �����*����������$���*�������$%��� �����*������

�� ��$%��� ������01�������$��4����8���&�����������$%��� ������01�������$��4����8���&�����������*���������0�/��*���������0�/

Contrôleur de dialogue

Adaptateur du noyau fonctionnel

Noyau fonctionnel

Présentation

Interaction

Page 17: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

����������� ���������������� �������������� ���������������� ���

�� ������� �����8� �������� �$����$������%���������� �����8� �������� �$����$������%�������$���*�������$%��� �����*����������$���*�������$%��� �����*������

�� ��$%��� ������01�������$��4����8���&�����������$%��� ������01�������$��4����8���&�����������*���������0�/��*���������0�/

Contrôleur de dialogue

Adaptateur dunoyau fonctionnel

Noyau fonctionnel

Composants ICARE

Page 18: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

������ ��������������� ���������

�� ��$%��� ������$� ��������$%��� ������$� �������� ��$%��� ���5��%�����"���$%��� ���5��%�����"��� ��$%��� ����� *�*����8� �������� ��$%��� ����� *�*����8� ��������

�� ��$%��� ��������$%������ ��$%��� ��������$%������ �� D�������������%��%���������01D�������������%��%���������01

Modalités puresModalités pures

Modalités composéesModalités composées

Page 19: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

������ ���������� ���������� ���������� ����

�� ��$%��� ��5��%�����"'�����&����%%��$� ���������������������$%��� ��5��%�����"'�����&����%%��$� ����������������������%�����"�%&-��������%�����"�%&-�����!! *������������������������������*������������������������������ �$�������������� �$�������������� !! *������������������� ������������������*������������������� ������������������"����������"������������ "�� �����������$���&����������%� �� �$���������*�������� "�� �����������$���&����������%� �� �$���������*��������������������

!! *��������������������� ������*��������������������� �������� ��&�$�� ��������� ��&�$�� ��������8� �������� ��-%��=����"����%����">�8� �������� ��-%��=����"����%����">

�� ��$%��� ���� *�*���8� �������� '� ��������*�������$%��� ���� *�*���8� �������� '� ��������*�����!! *������������������������������*������������������������������ �$�������������� �$�������������� !! *������������������� �������������������*������������������� �������������������"����������"������������ "�� �����������$���&����������%� �� �$���������$� ��� ���� "�� �����������$���&����������%� �� �$���������$� ��� ���%��������%�������

!! *��������������������� �������*��������������������� �������%��%����������%��%����������D�� �� D�� �� =�� *���������� ���*�����������������- �$����>���$%��9���=�� *���������� ���*�����������������- �$����>���$%��9���

Page 20: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

������ ������������������������������������������ ������������������������������������

�� ��$%��� ����$%��$� ��������$%��� ����$%��$� �������� ��$%��� ��.������� ����$%��� ��.������� ���� ��$%��� ��0��� �� ����$%��� ��0��� �� ���� ��$%��� ��0��� �� ��(.������� ����$%��� ��0��� �� ��(.������� ��

!! *������������������������������*������������������������������ �$�������������� �$��������������

!! *������������������� ������������������*������������������� ������������������ �$���� �$���������$%��� ����� ������"������������ "�� ����������������$%��� ����� ������"������������ "�� �����������$���&����������%� ��� �$�����������������������$���&����������%� ��� �$�����������������������

!! *��������������� ��������+�����*��������������� ��������+�����'�������*���'�������*���=%������������""����>�"� A������$%������=%������������""����>�"� A������$%������

������ ��������� �������� ��������� ����

��������������������������������5�������5�����

������ ��������� ���

Page 21: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

������ ����������������������������������������� �����������������������������������

������ ��������� �������� ��������� ����

��������������������������������5�������5�����

������ ��������� ���

�� ��$%��� ����$%��$� ��������$%��� ����$%��$� �������� ��$%��� ��.������� ����$%��� ��.������� ���� ��$%��� ��0��� �� ����$%��� ��0��� �� ���� ��$%��� ��0��� �� ��(.������� ����$%��� ��0��� �� ��(.������� ��

!! *������������������������������*������������������������������ �$�������������� �$��������������

!! *������������������� ������������������*������������������� ������������������ �$���� �$���������$%��� ����� ������"������������ "�� ����������������$%��� ����� ������"������������ "�� �����������$���&����������%� ��� �$�����������������������$���&����������%� ��� �$�����������������������

!! *��������������� ��������+�����*��������������� ��������+�����'�������*���'�������*���=%������������""����>�"� A������$%������=%������������""����>�"� A������$%������

Page 22: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

�������� �������������� ����������� �������������� ���

�� <��& ���*���2���$%��� ���'�<��& ���*���2���$%��� ���'�,���D�� �,���D�� �

�� ��$$� ������ �� ������$%��� �������������������$$� ������ �� ������$%��� �������������������� �$� ����� �$� ��

�� ���%��������8� �������� ��9%���������� �����%��������8� �������� ��9%���������� ���8�$%��$� ����� �%�������"����������"������ ������8�$%��$� ����� �%�������"����������"������ ������4*������*� �$������4*������*� �$�����

Page 23: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

�������� ����������"�������� ����������"

Complémentarité 2

Souris

Equivalence

Commandes vocales

Commandes Souris

Microphone

�� *�*���� *�*��

��$�� ���� ���$�� ���� ���01��01

5��%�����"�5��%�����"�

$0������ ���� ���������������� ���� ���������������1� � ����%����������1� � ����%����������

���������2���������2

$0������������� ��3���3��� �� ���������� ����������4���������� �������4���������� �������

������ ���������� ����

Capteur de localisation

Magnétomètre

Localisation 3DOrientation 3D (radians)

Complémentarité 1

Page 24: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

* �* �

+)+) � ��������� � ��������� �)�) �� ��%����� ��%���:):) 19�$%����8� �������� �$����$������ �19�$%����8� �������� �$����$������ �� ������ �����

) ) ���01�'�� ���%%���&�������������������01�'�� ���%%���&������������������$%��� �����*��������$%��� �����*������

;);) �� ������ ��#�<�����9�� �������� ������ ��#�<�����9�� ������

Page 25: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

��������������������

� ���"�����$����$�������������%%���������������$%��� ������01� ���"�����$����$�������������%%���������������$%��� ������01

�� �1�6�1�6!! �1�6��0��1�6��0�!! �1�6��5��1�6��5�

�� ��5�=�����$�������� ��"������ >��5�=�����$�������� ��"������ >

�� ��$�����������0�"�����$�����������0�"���

�� �8�%%���&�����01���������������� �����$��� ��$� �����$� �������8�%%���&�����01���������������� �����$��� ��$� �����$� ��������$%��� ����$%��� ��

Page 26: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

$� , �6���������$� , �6���������

�� .�������*��%&�����'�� �������%�����8������ ������&�$��.�������*��%&�����'�� �������%�����8������ ������&�$�����01����01�

�� 5��9��-%����8�������������'5��9��-%����8�������������'!! 5�����%%�����%����� ���&����8� ��$����������$%��� ��5�����%%�����%����� ���&����8� ��$����������$%��� ��!! �� ��%������%������%���$� ���� ��������8� �������� ��� ��%������%������%���$� ���� ��������8� �������� �$����$�����$����$�����

�� <������������ � �������8���������� �%��������� ��%����<������������ � �������8���������� �%��������� ��%������ 5�"� ���� �$��� ��$��%�����������"������ �����$�����������5�"� ���� �$��� ��$��%�����������"������ �����$������������4*������*� �$������%� �� �����%&��������� ��%��� �4*������*� �$������%� �� �����%&��������� ��%���

Page 27: ICARE : approche à composants pour l'interaction multimodale

+�,�� ���� +�,�� ���� ���01�'��%%���&��2���$%��� ���%�������01�'��%%���&��2���$%��� ���%�����3� �������� �$����$�������3� �������� �$����$�������� ��%-��*&��1���%����%-��*&��1���%��

��/���������/��������������� ���������� ����

7�������� ���8��������7�������� ���8��������

����� ��������"��&���

.������������&��� �����*� �$����

E���*�����

�������������$%��� ��

��&�$�����01

���%������������$%��� ���������� �

��$%��� ���������� �

Page 28: ICARE : approche à composants pour l'interaction multimodale

������������������� ������������� ���������������� �������������� �������� ��

���� ���������� ����������������

�������� ���������������� ������������ ���������������� ��������������� ������������ ������������ ������������ �

������������������������ ������������������������ !! � "������������#���$%��� ����� "������������#���$%��� ����

���� ���� !"#���$%�& �������'���(����������!�)�&��$$��!"#���$%�& �������'���(����������!�)�&��$$��

&��%'((&��%'((��&$)�$�*)"���&$)�$�*)"�

+�,�� ��� ��%-��*&��.���%���/�������������� ����