Lviv MDDay 2014. Олег Курзов “ваш Windows phone додаток вміє...

Ваше приложение умеет готовить

говорить?

Ваше приложение умеет готовить

говорить?

Олег Курзов, Eleks

Часть 0 – обзор ингредиентов

Что можно приготовить с голосом в Windows Phone

• Поддержка 15 языков• Распознавание речи• Чтение текста• Возможность работы из любого приложения

или заблокированного экрана

Голосовое API в Windows Phone

Часть 1 – готовим внешние команды

Внешние команды

VoiceCommandDefinition.xml

CommandSet ru-Ru

CommandSet en-US

PhraseListName=“AnimalsList”

CommandSet [language]…

CommandName=“Show

Animals”

Первое блюдо - <Command>

Command – основной шаблон распознавания•Name•Example•ListenFor•Feedback•Navigate

Второе блюдо - <PhraseList>

PhraseList – список «одно-из» слов•Label•Item•Item

ItemItem Item

Item

ItemItem

…

Десерт <PhraseTopic>

Распознавание любого текста с использованием большого словаря•Scenario•Subjects (0 – 20шт)

Пример 1 – файл с «внешними» командами

Обработка распознанной команды

/FoodPage.xaml?voiceCommandName=FoodDetails

&reco=Tell%20%20me%20about%20pizza&FoodType=pizza

&ReadPhrases=Tell

Cook, tell me about pizza

Резюме Voice Command Definition

• Доступность• Информативность• Удобство• Многоязычность• Крутота!

Часть 2 – готовим внутренние команды

Структура Speech-To-Text

Отличия от Speech-To-Text от Voice Commands Definition

• Имеют более гибкую структуру• Сложнее для понимания по началу• Наличие настройки распознавания• Обработка ошибок

Источники в Speech-To-Text

• Встроенный словарь / Web словарь• Список слов• Файл VCD команд• Шаблоны Speech recognition grammar specification

Пример 2 – смотрим на шаблоны «внутренних» команд

Настройки окна распознавания

• Заголовок• Текстовая подсказка• Повтор слов пользователя• Подтверждение распознавания

Состояния окон распознавания

Обработка ошибок

• Отслеживание состояния• Сообщения о проблемах• Числовое значение точности

Настройки окна распознавания

• Заголовок• Текстовая подсказка• Повтор слов пользователя• Подтверждение распознавания

Часть 3 – последние штрихи из Text-To-Speech

Виды Text-To-Speech

TTS Windows phone 8

Speech text Speech Synthesis

Markup Language

Speech Synthesis Markup Language

SSML – язык разметки. Используется для гибкой настройки произносимого текста.

<speak version="1.0" xmlns=http://www.w3.org/2001/10/synthesis xml:lang="ru-RU"> <s xml:lang="ru">Скажите, пожалуйста</s> <s xml:lang="en">Hello</s> <break time=“500ms”/>

<audio src="ms-appx:///Assets/sound.wav“</audio> </speak>

Резюме Text-To-Speech

• Легкость использования• Большие возможности чтений текстов при

использовании SSML• Можно использовать как голосовые подсказки• Создают интерактивность в приложении

Пример 3 – пробуем готовое блюдо

Спасибо за внимание!

Олег Курзов, EleksOleg.Kurzov@Hotmail.com