Upload
freedomotic
View
8.122
Download
0
Embed Size (px)
Citation preview
UNIVERSITÀ DEGLI STUDI DI NAPOLI “FEDERICO II”
Componentistica hardware e software coordinata da smartphone e destinata alla domotica
per utenti con disabilità
RelatoreProf. Piero Andrea Bonatti
CorrelatoreIng. Saverio De Vito
CandidatoMario Lombardi
Matr. N86000637
Corso di Laurea in Informatica
Anno Accademico 2016/2017
Mario Lombardi - N86000637 2/15
MOTIVAZIONI E FINALITÀ:
SOGGETTI COINVOLTI:
• ENEA - Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo eco-sostenibile;
• ISF - Informatici Senza Frontiere ONLUS.
• Estendere lo sviluppo del progetto «Spoken House» di ISF, conferendo al sistema una
nuova e precisa direzione al fine di favorire l’interazione con l’ambiente domestico da
parte di utenti con disabilità;
• Realizzare un caso d’uso concreto.
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
IL PROGETTO SPOKEN HOUSE:
• Applicazione mobile cross-platform in grado di interfacciarsi con un sistema domotico e
agevolare utenti con disabilità visive e/o uditive nel controllo dei dispositivi presenti
nell’ambiente domestico.
• Applicazione Spoken House;
• Framework Freedomotic, per la virtualizzazione dell’ambiente domestico;
• Edificio antropizzato.
LE COMPONENTI:
3/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
LA NUOVA IDEA DI SPOKEN HOUSE:
• Interfaccia unificata per mezzo dell’applicazione “Spoken House” che, attraverso
l’integrazione di micro-controllori, permette l’interazione di utenti diversamente abili
(disabili visivi e/o uditivi) con un qualsiasi dispositivo domestico già presente in
un’abitazione, non necessariamente <<domotizzata>>.
IL CASO D’USO:
• Utente con disabilità uditiva (parziale o totale) a cui risulta problematico interagire con
persone che suonano al citofono della propria abitazione.
4/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
FASI DI SVILUPPO:• Creazione oggetto <<Citofono>> su
Freedomotic;
• Nuovo plugin Freedomotic per:
o WebSocket;
o Speech-to-Text e Text-to-Speech;
• Integrazioni sull’ applicazione Spoken
House;
• Schema hardware prototipale.
5/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
CITOFONO COME AUTOMA A STATI FINITI:
• Astrazione del funzionamento dell’oggetto reale;
• Possibili stati:
o Attesa;
o Squillo;
o Comunicazione;
o Apertura.
6/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono (1)• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
OGGETTO CITOFONO SU FREEDOMOTIC:
• File XML, per la definizione di caratteristiche e proprietà;
• Classi Java, per la gestione del suo funzionamento oltre che per la definizione di vincoli.
7/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono (2)• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
PLUGIN PER FREEDOMOTIC:
• Modulo per lo sviluppo e la gestione dei processi di funzionamento del caso d’uso.
PERCHÈ WEBSOCKET?
• Comunicazione bidirezionale e «full duplex»; • Sicurezza «origin-based»;• Trasmissione dati mascherata;• Semplificano le architetture applicative real-time;• E’ possibile implementarla in diversi linguaggi.
8/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket (1)• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
COMUNICAZIONE PER MEZZO DI WEBSOCKET:• Le classi:
o FDWebSocket;
o FDWebSocketHandler.
• API Jetty;
• Creazione e ricezione messaggi:
o Il metodo OnMessage;
o Formato JSON.
9/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket (2)• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
CONVERSAZIONE CITOFONICA:
• Operazioni di Speech Recognition, da parlato a testo:• Google Cloud Speech API;• Possibilità per l’utente con disabilità uditiva di leggere ciò che dall’esterno viene detto.
• Sintetizzazione vocale, da testo a parlato:• Integrazione del plugin MaryTTS;• Trasformazione in voce artificiale del testo che l’utilizzatore ha composto.
• Si serve dei meccanismi di comunicazione implementati attraverso la WebSocket creata.
Speech-To-Text Text-To-Speech
10/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
SCHEMA HARDWARE PROTOTIPALE:
Mario Lombardi - N86000637 11/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
INTERFACCIA APPLICAZIONE SPOKEN HOUSE:
• Interfaccia a quattro angoli;• Scambio di messaggi JSON con
Freedomotic per mezzo di WebSocket;• Applicazione cross-platform, realizzata
con Apache Cordova, utilizzando:o HTML5;o CSS3;o Javascript;o XML.
• Gestione eventi legati al funzionamentodel citofono.
12/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
Mario Lombardi - N86000637
TEST DI FUNZIONAMENTO:
• Utente:• Audioleso Postverbale;• Apparecchio retroauricolare.
• Componentistica utilizzata:• Raspberry Pi 3;• Freedmotic installato sul
Raspberry;• Breadboard collegata al Raspberry,
avente pulsante e led;
13/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
CONSIDERAZIONI:
SVILUPPI FUTURI:
• Sistema:
o Passaggio da uno stato prototipale ad una messa in opera definitiva;
o Rendere (semi)automatico il processo di rilevamento dei dispositivi domestici da
parte di Spoken House (ZigBee/Z-Wave).
• Conversazione citofonica:
o Estensione del caso d’uso anche ad utenti non vedenti;
o Perfezionamento del caso d’uso per i non udenti (pre-linguistici).
• Maggior livello di concretezza raggiunto per il progetto «Spoken House» con
realizzazione di uno scenario reale di utilizzo;
• Il progetto realizzato sarà presentato ad ottobre al festival «Informatica e Tecnologie per
un uso responsabile e ridurre le disuguaglianze».
Mario Lombardi - N86000637 14/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine
GRAZIE A TUTTI PER L’ATTENZIONE!
Mario Lombardi - N86000637 15/15
INTRODUZIONE• Committenti• Sistema da ampliare
SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia
IL PROGETTO• Nuova idea• Fasi di sviluppo
CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine