Embed Size (px)
DESCRIPTION
コメントの指摘を受けて修正しました(2014/1/14)
Citation preview
アラビア語とペルシャ語の 見分け方
DSIRNLP#5 2014/1/11
Nakatani Shuyo @ Cybozu Labs
アラビア語とペルシャ語を 見分ける一番簡単な方法
5
Chrome で開く
ダメ？
7
「ペルシャ語…… ペルシャってまだあったっけ」 なんて人いませんよね？
ペルシャ語はイランの公用語
• 4000万人以上の話者
–タジキスタンのタジク語、アフガニスタンの
ダリー語もほぼペルシャ語
via http://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:MapOfPersianSpeakers.png
アラビア語とペルシャ語とか wktk が止まらないよね
読める？
読める？
• wktk
• ktkr
• kwsk
• mjsk
• mjd
• gkbr
• ggrks
11
全部読めちゃった人は 生活を見直しましょう
母音を補完
• wktk → wAkUtEkA → わくてか
• ktkr → kItAkOrE → きたこれ
• kwsk → kUwAsIkU → くわしく
• mjsk → mAjIsUkA → まじすか
• mjd → mAjIdE → まじで
• gkbr → gAkUbUrU → がくぶる
• ggrks → gUgUrEkAsU → ぐぐれかす
12
実はアラビア語は 「全文 wktk 状態」
13
アラビア文字
• 原則子音のみ表記し、母音は文脈から推定
– クルアーン（コーラン）や子供向け文章には母音記号が付加される
– ウイグル語など一部は母音にも文字を割り当て
アラビア語 綴り 読み 意味
ktb kataba book كتب
mktb makitab office/desk مكتب
mktbẗ maktabaa library مكتبة
14
アラビア文字
• 右から左に書く＆続け書きで形が変わる
– على → ع ل ى
– كتب → ك ت ب
– ال → ل ا
15
アラビア語とペルシャ語
• どっちがどっち？
گربهمن یک
القطأنا لست • 難しそう？
–そうでもないよ！
16
アラビア語とペルシャ語
• 文法はぜんぜん違う
–アラビア語はアフロ・アジア語族
• 語順は VSO型、be動詞にあたるものはない
–ペルシャ語はインド・ヨーロッパ語族
• 語順は SOV型、名詞の性や格変化はない
–が、言語の区別にはあまり役立たないかな…
17
アラビア語とペルシャ語
• 文字セットは一部違う
– 基本２８字は両方で用いる
– アラビア語のみ用いる：ハムザ ء (ハムザ付き文字含む)とター・マルブータ ة
– ペルシャ語のみ用いる：ペルシャ語で追加された６文字 （ ی گ ک ژ چ پ ）
– いずれも頻度の高い文字が含まれるので、十分役に立つ
• 数字セットも違うが……
– 「アラビア文字の数字」より「アラビア数字」の方がもっぱら使われるので役には立たない
18
アラビア語とペルシャ語
• 語彙はぜんぜん違う（特に機能語）
– アラビア語起源の単語もそれなりにある（特にイ
スラム関連）が、異なる機能語が圧倒的に多いの
で見分けるのは意外と容易
– たまたま両言語共通の頻出単語 من (mn) でも
• アラビア語では min と読んで from の意味
• ペルシャ語では man と読んで I(一人称単数)の意味
19
アラビア語とペルシャ語は 文字と単語でだいたい見分けられる
20
見分け文字
U+0621 ء
U+0623 أ
U+0624 ؤ
U+0625 إ
U+0626 ئ
U+0629 ة
U+067e پ
U+0686 چ
U+0698 ژ
U+06a9 ک
U+06af گ
U+06cc ی
アラビア語 ペルシャ語
見分け単語
22
アラビア語 ペルシャ語
in في
no ال
God هللا
to على
each كل
that أن
or وال
that که
from از
you تو
(face) رو
in در
this این
with با
まとめ
• ６個の文字＆７個の単語をカウントする
だけで
–アラビア語ツイートは82%くらい
–ペルシャ語ツイートは97%くらい
• 判別できます
23
