情報理論

第1回 ガイダンス

情報理論（第1回ガイダンス） 1

目的と目標情報を数量的に扱うことにより情報を効率良く通信するための知識・技術（情報理論）を理解情報量情報の価値（情報量）を客観的な数値により定義

情報源符号化情報を無駄なく伝送・記憶する技術

通信路符号化情報を確実に伝送・記憶する技術

情報理論（第1回ガイダンス） 2

本科目の目的・目標 1

情報理論（第1回ガイダンス） 3

本科目の目的・目標

目的と目標情報（一般） 情報（情報理論）

天気予報晴, 曇, 雨, 雪晴/曇, ・・・

001(晴), 010(曇)011(雨), 100(雪)101(晴/曇), ・・・

• 情報（0・1）の客観的な価値• 情報（0・1）の無駄を省く⽅法• 情報（0・1）の信頼を高める⽅法

授業キーワード エントロピー（平均情報量）情報を表現するのに必要なビット数の平均値により情報の価値を表す →情報の計量化

情報圧縮[＝情報源符号化]情報に含まれるムダを削減し、情報サイズを減らす →効率的な情報伝送

誤り検出・訂正[＝通信路符号化]通信途中で混入する誤り・雑音を検出・訂正し、雑音を取り除く → 正確な情報伝送

情報理論（第1回ガイダンス） 4

本科目の目的・目標

到達目標1.情報量とエントロピーの概念を説明できる．2.代表的な情報源符号化であるハフマン符号化を使用し，データ圧縮に応用できる．

3.代表的な通信路符号化であるパリティ符号化やハミング符号化を使用し，誤りの検出・誤りの訂正に応用できる．

関連する分野情報通信｜スマホ、タブレット、デジタル放送画像処理｜デジカメ、HDレコーダー

情報理論（第1回ガイダンス） 5

本科目の目的・目標

学習教育目標（ＪＡＢＥＥ）C 数学、⾃然科学等の基礎的知識と情報工学に関する専門的な知識を有し、それらを情報社会における諸課題の探求・解決へ⾃主的・継続的に応用できる人材を育成する。

キーワード「情報ネットワークの基礎的知識」

情報理論（第1回ガイダンス） 6

本科目の目的・目標

情報源符号化の例｜画像圧縮JPEG

情報理論（第1回ガイダンス） 7

本科目の目的・目標

オリジナル画像 1/8に圧縮した画像 1/32に圧縮した画像（6Mビット） （0.8Mビット） （0.2Mビット）

192

通信路符号化の例｜DVD誤り検出・訂正

情報理論（第1回ガイダンス） 8

本科目の目的・目標 123

他科目との関連

確率 情報不問 画像限定

微積分情報理論（第1回ガイダンス） 9

本科目の位置付け

情報理論数学A数学C 画像情報工学

信号処理

成績評価 レポート 20%期末試験 80%授業形式講義 70分演習 20分Web情報

http://aiweb.cs.ehime-u.ac.jp/~uto/lecture/ユーザー名｜student パスワード｜8931

情報理論（第1回ガイダンス） 10

授業に関して

教科書「マルチメディア時代の情報理論」小川英一著、コロナ社出版

担当教員宇⼾寿幸（うと としゆき）居室｜工学部4号館6階602号室メール｜uto@cs.ehime-u.ac.jpオフィスアワー｜木曜5限 or 授業直後

情報理論（第1回ガイダンス） 11

授業に関して

スケジュール

情報理論（第1回ガイダンス） 12

授業に関して

1：4/13 ガイダンス 9：6/15 データ圧縮2：4/20 信号と周波数解析 10：6/22 通信路符号化3：4/27 サンプリング定理 11：6/29 パリティ符号4：5/11 情報源 12：7/ 6 ハミング符号5：5/18 情報量 13：7/13 巡回符号6：5/25 情報源符号化 14：7/20 訂正・検出能⼒7：6/ 1 情報源符号化定理 15：7/27 期末試験8：6/ 8 ハフマン符号化 ＊第8章を除く教科書全て

1：4/ 8 ガイダンス 9：6/17 データ圧縮2：4/15 信号と周波数解析 10：6/24 通信路符号化3：4/22 サンプリング定理 11：7/ 1 パリティ符号4：5/13 情報源 12：7/ 8 ハミング符号5：5/20 情報量 13：7/15 巡回符号6：5/27 情報源符号化 14：7/22 訂正・検出能⼒7：6/ 3 情報源符号化定理 15：7/29 期末試験8：6/10 ハフマン符号化 ＊第8章を除く教科書全て

確率論における用語サイコロを例として確率の用語を紹介

⾏為により得られる結果全体は分かるが、いずれの結果が得られるかは予⾒できない⾏為△ サイコロを振る

試⾏により得られる可能性のある個々の結果△ 1, 2, 3, 4, 5, 6

情報理論（第1回ガイダンス） 13

確率⽤語

標本点の全体S（または）△ S={1, 2, 3, 4, 5, 6}

試⾏により起こる事柄（結果）△偶数の目が出る、Se={2, 4, 6}

（要素事象）それ以上分解できない事象△ 1の目が出る、S1={1}

情報理論（第1回ガイダンス） 14

確率⽤語

オメガ

事象偶数/奇数の目が出る事象 Se={2, 4, 6} / So={1, 3, 5}4以下の目が出る事象 S-4={1, 2, 3, 4}

起こりえない事象△偶数かつ奇数の目が出る事象は空事象、Se∩So=

同時に起こらない（重複が無い） 2つの事象△ SeとSoは排反事象

情報理論（第1回ガイダンス） 15

確率⽤語

事象

事象Aまたは事象Bに含まれる事象A B△ Se∪So={1, 2, 3, 4, 6}

事象Aかつ事象Bに含まれる事象A B △ Se∩S-4={2, 4}

事象Aに含まれる標本点以外の全ての事象△ Se={1, 3, 5}=So

情報理論（第1回ガイダンス） 16

確率⽤語

ベン図

情報理論（第1回ガイダンス） 17

確率⽤語

標本空間S1

23

45

6奇数So 偶数Se

So 4以下S-4

So∪S-4

So∩S-4

集合代数交換法則

A∩B= 、A∪B=結合法則

A∩(B∩C)=(A∩B)∩C、 A∪(B∪C)=(A∪B)∪C分配法則

A∩(B∪C)= 、A∪(B∩C)=

情報理論（第1回ガイダンス） 18

確率⽤語

確率の定義⼗分多くの試⾏を繰り返したときに試⾏回数をN、事象Aが起こった回数をNAとすると、事象Aの（発生）

確率の性質 ← 確率の値は の間 ← 空事象 の確率の値は ← 標本空間Sの確率の値は

情報理論（第1回ガイダンス） 19

確率

P(A) =

ô P(A) ôP(∅) =P(S) =

確率の性質 の定理

← 事象Aの確率P(A)と補事象Aの確率P(A)の和は1 1

← 事象A, Bが排反であるならば、和事象の確率は単純和 2

← 事象A, Bが排反でないならば、和事象の確率は単純和から積事象の確率を減算

情報理論（第1回ガイダンス） 20

確率

P(A) + P(Aö ) = 1

P(A ∪ B) = P(A) + P(B)à P(A ∩ B)

P(A ∪ B) = P(A) + P(B)

条件付き確率

事象Aと事象Bが同時に起きる事象の（発生）確率

事象Aが起こったという条件の下で、事象Bが起こる確率

•

情報理論（第1回ガイダンス） 21

確率論の基礎

P(A ∩ B) = P(B ∩ A)

P(B|A) =

P(B|A) 6= P(A|B)

P(A ∩ B) = P(B|A)â P(A) = P(A|B)â P(B)

事象Aの後に事象B事象A

事象Bの後に事象A事象B

条件付き確率

事象Bの起こる確率が事象Aに影響されないとき、事象Aと事象Bは統計的に独⽴

••

▲サイコロ(1~6)やコイン(表裏)はディジタル情報の例△ コインの表は情報0、コインの裏は情報1に相当

情報理論（第1回ガイダンス） 22

確率論の基礎

P(B|A) = P(B)

P(A ∩ B) = =

（平均値）E(x)N個の標本点（事象）si（i=1,2,...,N）に値xiが割り当てられているとき、試⾏を⾏った結果として平均的に得られる値標本点siの（発生）確率P(si)をP(xi)とすると

△ サイコロの出る目の期待値

情報理論（第1回ガイダンス） 23

確率論の基礎

E([x1, x2, . . ., xN])=E(x)= =P

i=1

N xiP(xi)

値確率

E(x) = 1 á61 + 2 á

61 + á á á + 6 á

61

=61 1 + 2 + á á á + 6( ) = 6

21 = 3.5

（平均値）E(x|xi)標本点（事象）si（値xi）が起こったという条件の下で、試⾏を⾏った結果として平均的に得られる値標本点（事象）sj（値xj）の条件付きを確率P(xj|xi)とすると

△ 1の目が出たサイコロで次に出る目の期待値

情報理論（第1回ガイダンス） 24

確率論の基礎

E(x) = 1 á61 + 2 á

61 + á á á + 6 á

61

=61 1 + 2 + á á á + 6( ) = 6

21 = 3.5

E(x|xi) =P

j=1

N xjP(xj|xi)

値 条件付き確率

問1 サイコロを振ったとき、1の目以外が出る確率P(1)問2 1つの箱を選択した後、その箱から1個の球を取り出し

たとき、球の色が白であるという事象Aの確率P(A)ただし、箱および球の数は下図の通りとする。

情報理論（第1回ガイダンス） 25

練習問題

問1 サイコロを振ったとき、1の目以外が出る確率P(1)

より1の目が出る確率はよって

1の目以外が出る事象を適用すると、各事象が排反であるので

情報理論（第1回ガイダンス） 26

練習問題

P(1) + P(1ö) = 1

P(1) =

P(1ö) = 1 à P(1) = 1 à61 =

65

1ö = 2 ∪ 3 ∪ 4 ∪ 5 ∪ 6

P(1ö) = P(2 ∪ á á á ∪ 6) = P(2) + á á á + P(6)=

61 + á á á +

61 =

65

問2 1つの箱を選択した後、その箱から1個の球を取り出したとき、球の色が白であるという事象Aの確率P(A)ただし、箱および球の数は下図の通りとする。

事象AはA= であり、各積事象は排反であるので を適用すると

情報理論（第1回ガイダンス） 27

練習問題

P(A) = P (B1 ∩W) ∪ (B2 ∩W)( )

問2 1つの箱を選択した後、その箱から1個の球を取り出したとき、球の色が白であるという事象Aの確率P(A)

さらに、 を適用すると

情報理論（第1回ガイダンス） 28

練習問題

P(A) = P(W|B1)P(B1) + P(W|B2)P(B2)

P(A) = P(B1 ∩W) + P(B2 ∩W)

=32 á

32 +

52 á

31 =

4526

人の血液型とその割合を左表、各血液型の人が貧血である割合を右表としたとき、貧血である確率P(H)を求めなさい。

▲科目Webサイトの配布資料「出席確認問題」を参考に、解答を提出して下さい。

情報理論（第1回ガイダンス） 29

問題

血液型 割合[%]A 30B 40O 20AB 10

血液型 貧血である割合[%]A 25B 50O 10AB 50