Speech Framework

Copyright © Up-frontier, Inc. All rights reserved.

Speech Framework

1


アジェンダ• Speech Framework とは

• 使い⽅

• 使いどころ

2



• 使い⽅

• 使いどころ

3


…の前に、まずは Keyboard Dictation

4


Keyboard Dictation• iPhone 4S からキーボードに内蔵

されていた、⾳声⼊⼒機能

• OS の機能であって、アプリの機能ではない

• 設定 → ⼀般 → キーボード → ⾳声⼊⼒

5


Keyboard Dictation• iPhone 4S からキーボードに内蔵

されていた、⾳声⼊⼒機能

• OS の機能であって、アプリの機能ではない

• 設定 → ⼀般 → キーボード → ⾳声⼊⼒

6

これ


Keyboard Dictation• 有効無効の設定を知るための API がない

• 必ずキーボードとセット

• キーボード⾔語に依存

7


…では改めて Speech Framework

8


Speech Framework• 平たく⾔うと、⾳声認識APIです

• 受け取った⾳声をテキストとして扱う

• 認識の部分は Siriと同じエンジンを利⽤

• リッチな結果（ベストと候補、確度など）

• ⾳声ファイルからの⼊⼒も可能

9


• マイクを利⽤したリアルタイム⾳声 • wavやmp3などの⾳声データでもOK

10


注意点• 基本ネットワーク接続が必須

• リクエストに制限あり (アプリごと、端末ごと)

• 機密情報は NG (password, health, financial)

• ユーザに親切な UI を⼼がける- 録⾳中、認識途中の結果、最終的な認識結果

11



• 使い⽅

• 使いどころ

12


① ユーザの許可を得る

13


ユーザ許可

SFSpeechRecognizer.requestAuthorization { status in switch status { case .authorized: case .denied: case .notDetermined: case .restricted: } }

14


ユーザ許可


15

よくある権限ステータス（位置情報アクセスなど）


ユーザ許可


16

デバイス判断で NG 前述の”リクエスト制限”によるもの？

Copyright © Up-frontier, Inc. All rights reserved.17

Copyright © Up-frontier, Inc. All rights reserved.18


Info.plist

<key>NSSpeechRecognitionUsageDescription</key> <string>SpeechFramework の使⽤⽬的</string>

19


Info.plist

<key>NSSpeechRecognitionUsageDescription</key> <string>SpeechFramework の使⽤⽬的</string>

20

ローカライズが必要な場合は、 InfoPlist.string を利⽤しましょう。

（plistじゃ視認性も悪いしね）


② リクエストを作る

21


リクエスト

guard let audioURL = R.file.speechMp3() else { print("Could not get file URL!") return } let request = SFSpeechURLRecognitionRequest(url: audioURL)

22


リクエスト


23

対象のファイルのURLを⽣成して


リクエスト


24

リクエストを⽣成する


③ タスクを作って実⾏

25


タスクlet recognizer = SFSpeechRecognizer(

locale: Locale(identifier: "ja-JP")) recognizer?.recognitionTask(with: request) { result, error in

guard let result = result else { print("Error on recognition task: \(error)") return

} self.textView.text = result .bestTranscription.formattedString print(result.transcriptions)

}

26






}

27

ロケールを指定して SFSpeechRecognizer を⽣成






}

28

en-US を指定すれば、⽶英語



locale: Locale(identifier: “ja-JP")) recognizer?.recognitionTask(with: request) { result, error in



}

29

事前に⽣成した request を指定してタスクメソッドを実⾏する。






}

30

結果はクロージャで受け取る






}

31






}

32

１番確度の⾼いものをいい感じのフォーマットで受け取る






}

33

bestTranscription

導出過程の候補はここにある


使い⽅まとめ1. ユーザに許可を求めて

2. リクエストを作って

3. SFSpeechRecognizer にタスクとしてお願い

34



• 使い⽅

• 使いどころ

35


⾶びつく前に• Keyboard Dictation で実現できないかを

まず考える

• リクエスト制限などを考えると、コアの機能には持ってきにくい - 具体的な制限回数については明記なし

36


考えられるユースケース• 「チーズ」という⾔葉に反応して、

⾃動でシャッターを切るカメラ (WWDCビデオ)

• 外国語の発⾳練習

• ⾃作キーボードアプリに⾳声⼊⼒機能を実装

• Podcast やボイスレコーダーのテキスト起こし

37


考えられるユースケース

Speech Framework を利⽤した、英単語の発⾳練習アプリ

38


考えられるユースケース

Speech Framework を利⽤した、英単語の発⾳練習アプリ

39


まとめ

• 本家 Apple 製の⾳声認識API

• 解析エンジンは Siri と同様のもの

• マイク⼊⼒とファイル⼊⼒の両⽅で利⽤可能

• 利⽤回数や利⽤時間に制限がある

40

Mobile

Speech Framework