Интерактивная инсталляция "Эмоциональный интеллект". Презентация участников

Èíòåðàêòèâíàÿ èíñòàëëÿöèÿ

¾Ýìîöèîíàëüíûé èíòåëëåêò¿

Âëàäèìèð Õàðèòîíîâ

September 14, 2016

Âëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 1 / 13

Ïîñòàíîâêà çàäà÷è

Äëÿ êîãî

Îáðàçîâàòåëüíûé öåíòð ¾Ñèðèóñ¿ (Ñî÷è)

Êðàòêàÿ ôîðìóëèðîâêà çàäà÷è

Ñäåëàòü èíñòàëëÿöèþ äëÿ âçàèìîäåéñòâèÿ ïîñåòèòåëÿ ñ ðàçãîâîðíûìáîòîì.Òðåáîâàíèÿ:

Êà÷åñòâåííûé TTS

Êà÷åñòâåííàÿ àíèìàöèÿ

Áîëüøàÿ íàãðóçêà

Àâòîíîìíîñòü


Ïîñòàíîâêà çàäà÷è

×òî óæå åñòü

Ðàçãîâîðíûé áîò

Ïñèõîëîãè÷åñêèé òåñò

×òî ñäåëàíî ðàíåå

Ïðîâåäåíû îïûòû ñ ðàçëè÷íûìè ðå÷åâûìè äâèæêàìè

Íàïèñàí ðàáî÷èé ïðîòîòèï íà C++/Openframeworks/Festival TTS

Íàäî ñäåëàòü

Ñèíòåç ðå÷è

Àíèìàöèÿ ðå÷è

Ìîðôèíã ëèöà ïåðñîíàæà ñ ëèöîì ïîñåòèòåëÿ

Ñîáðàòü èíñòàëëÿöèþ âîåäèíî ñ áîòîì è òåñòîì


Ñèíòåç ðå÷è

TTS äâèæêè

Microsoft SAPI

RHVoice (Îëüãà ßêîâëåâà)

Festival (University of Edinburgh CSTR)

eSpeak

Nuance TTS


Àíèìàöèÿ ïðîèçíîøåíèÿ ðå÷è. Âèçåìû


Àíèìàöèÿ ïðîèçíîøåíèÿ ðå÷è. Âèçåìû


Àíèìàöèÿ ïðîèçíîøåíèÿ ðå÷è

vi = v0i

+ wn1δn1i

+ wn2δn2i

v0i- êîîðäèíàòû(x, y, z) âåðøèíû ñ íîìåðîì i íóëåâîé âèçåìû

δni- ðàçíèöà ìåæäó êîîðäèíàòàìè i-îé âåðøèíû íóëåâîé è n-îé âèçåìû

wn - âåñ, ñ êîòîðûì äîáàâëÿåòñÿ ðàçíèöà ñ n-îé âèçåìîé


Ïîëó÷åíèå ÷åðò ëèöà ïîñåòèòåëÿ

Microsoft Kinect HDFace

Óñëîâèÿ äëÿ ñíèìêà:

Çàêðûò ðîò

Îòêðûòû ãëàçà

Íåò î÷êîâÂëàäèìèð Õàðèòîíîâ Ýìîöèîíàëüíûé èíòåëëåêò September 14, 2016 8 / 13

Ïîëó÷åíèå ÷åðò ëèöà ïîñåòèòåëÿ


Êîììóíèêàöèÿ ìåæäó ýëåìåíòàìè ýêñïîíàòà

Ñ ðàçãîâîðíûì áîòîì (TCP/IP)

Ñ ïñèõîëîãè÷åñêèì òåñòîì íà ïëàíøåòå (WebSockets)


Èñïîëüçîâàííûå òåõíîëîãèè

Microsoft SAPI

Kinect v2 SDK

C#

VVVV

Python


Ïðî VVVV


Êîíåö

https://github.com/ujpv/emo


https://github.com/ujpv/emo

Documents

Интерактивная инсталляция "Эмоциональный интеллект". Презентация участников