情報学特論#02

情報学特論#022008-04-21むらたけんた

おしながき• Shannon 情報量と Boltzmann エントロピー• 情報量の定義• Shannon エントロピーと Boltzmann エントロピー

• 可逆計算の物理学• 計算で必要なエネルギー

2

Shannon 情報量とBoltzmann エントロピー

の続き

3

素朴な疑　問

4

情報ってなんだろう？

5

分かる人ﾉシ

6

Wikipedia

7

広義の情報（じょうほう、英 Information）は、人の判断・意思を左右・決定させるすべての事象である。これは一定の文脈の中で意味を持つものを広く指す概念であり、言語、貨幣、法律、環境中の光や音、神経の発火やホルモンなどの生体シグナルを始め、あらゆるものを「情報」とみなすことができる。たとえば、<私>の意識にのぼるあらゆるものは、<私>にとって意味があるものであり、<私>にとっての「情報」であると言える。

8


9


10


11


12

13

<私>にとっての「情報」

13

<私>にとっての「情報」

「情報」は，それを受け取る人によって性質が異なるもの

14

受信者に依存して情報の性質が変化する

14


•これは当たり前である

14


•これは当たり前である•このままでは情報についての客観的な性質や法則を調べることはできない

14


•これは当たり前である•このままでは情報についての客観的な性質や法則を調べることはできない

•情報の「内容」は無視し，情報の「量」について調べよう！

情報の「量」が持つ3つの性質

15

情報量の性質 (1)

16


•予め分かっている事を教えられたり，起こる可能性が100%である出来事が発生したとしても，それらに関する情報を得たことにはならない

16


•予め分かっている事を教えられたり，起こる可能性が100%である出来事が発生したとしても，それらに関する情報を得たことにはならない

•既知情報が持つ情報量はゼロ

16


17


•ある知識を一度に知るのか，それとも少しずつ複数回に分けて知るのかによって，最終的に得られる情報量は変化しない

17

どういうことか?•52枚のトランプの山から1枚取りました．何か当ててみてください．

18

どういうことか?•52枚のトランプの山から1枚取りました．何か当ててみてください．(1) カードは♥7です．

18

どういうことか?•52枚のトランプの山から1枚取りました．何か当ててみてください．(1) カードは♥7です．(2) 少しずつヒントを出していく．

18

どういうことか?•52枚のトランプの山から1枚取りました．何か当ててみてください．(1) カードは♥7です．(2) 少しずつヒントを出していく．i. カードは赤です．

18

どういうことか?•52枚のトランプの山から1枚取りました．何か当ててみてください．(1) カードは♥7です．(2) 少しずつヒントを出していく．i. カードは赤です．ii. カードは奇数です．

18

どういうことか?•52枚のトランプの山から1枚取りました．何か当ててみてください．(1) カードは♥7です．(2) 少しずつヒントを出していく．i. カードは赤です．ii. カードは奇数です．iii.カードは文字ではありません．

18

19

無知

19

無知 ♥7

19

無知 ♥7

赤

19

無知 ♥7

赤

赤 ∧ 奇数

19

無知 ♥7

赤

赤 ∧ 奇数

赤 ∧ 奇数 ∧ ¬文字

19

無知 ♥7

赤

赤 ∧ 奇数


最終的に得られる知識は同じ

19

無知 ♥7

赤

赤 ∧ 奇数


知識を得る順番にも依存しない

20

無知 ♥7


20

無知 ♥7

赤

赤 ∧ 奇数



21

無知 ♥7


21

無知 ♥7

奇数 ∧ 赤

奇数

奇数 ∧ 赤 ∧ ¬文字

形式的に考える

22


22

•出来事 E が発生したことで得られる情報の量を I(E) と書くことにする．


22


•トランプの例をこの記法で書くと次式のように表せる


22


•トランプの例をこの記法で書くと次式のように表せる

I(♥7) = I(赤 ∧ 奇数 ∧ ¬文字 ∧ …)

= I(赤) + I(奇数) + I(¬文字) + I(…)

情報量の性質 (2)• ある知識を一度に知るのか，それとも少しずつ複数回に分けて知るのかによって，最終的に得られる情報量は変化しない

23


• 出来事が E = E1 ∩ E2 ∩ … のように高々可算個の出来事に分解できるとき

23



23

I(E) =!!

k=1

I(Ek)

• ある知識を一度に知るのか，それとも少しずつ複数回に分けて知るのかによって，最終的に得られる情報量は変化しない


23

情報量の加法性

I(E) =!!

k=1

I(Ek)


24

情報量の性質 (3)•滅多に起こらない出来事 (予測しにくい出来事) の発生や，具体的な知識の獲得などに伴って得られる情報量は大きい

24

情報量の性質 (3)•滅多に起こらない出来事 (予測しにくい出来事) の発生や，具体的な知識の獲得などに伴って得られる情報量は大きい

•逆に，よくある出来事 (予測しやすい出来事) の発生や，不確かな知識・曖昧な知識の獲得などに伴って得られる情報量は小さい

24

トランプの逆襲

25

トランプの逆襲

25

無知 ♥7

赤

赤 ∧ 奇数


Venn 図で考える

26


26

トランプ52枚


26

トランプ52枚

赤


26

トランプ52枚

赤

奇数


26

トランプ52枚

赤

奇数

文字以外


26

トランプ52枚

赤

奇数

文字以外

♥


26

トランプ52枚

赤

奇数

文字以外

♥

7


26

トランプ52枚

赤

奇数

文字以外

♥

7

♥7

すなわち

27

発生確率が小さい出来事の情報量は大きい

発生確率が大きい出来事の情報量は小さい

28

情報量の性質

29

• 既知の出来事（発生確率が 100%）の発生に伴う情報量はゼロ• 情報量の加法性: 出来事が E = E1 ∩ E2 ∩ … のように高々加算個の出来事に分解できるとき

• 情報量は出来事の発生確率に反比例I(E) =

!!

k=1

I(Ek)

この性質を満たす数学上の道具が欲しい

30

あるよ！31

32

32

出来事 E が確率 P(E) で発生するとき，E の発生に伴って得られる情報量 I(E) は

I(E) = logb1

P (E)

32


I(E) = logb1

P (E)

32


対数の底が b = 2 のとき，I(E) に [shannon] もしくは [bit] という単位を付ける．これを Shannon 情報量と呼ぶことがある．

33

例題

箱に赤玉と白玉が1個ずつ入っています．中身を見ずに1個だけ玉を取り出したとき，それが赤玉である確率 P赤と，そのときに得られる情報量 I赤を求めなさい．

答箱の中から取り出した玉は赤か白のどち

らかなので

従って，得られる情報量は

34

P赤 =12

I赤 = log21

P赤= ! log2 P赤

= ! log212

= log2 2

= 1 [shannon]

情報源

35

情報源•情報が出てくる源を情報源という

35

情報源•情報が出てくる源を情報源という•例: 新聞，TV，PC，人間，…

35

情報源•情報が出てくる源を情報源という•例: 新聞，TV，PC，人間，…•一般に，ひとつの情報源から出てくる情報は様々であり，それぞれの情報が異なる大きさの情報量を持っていても良いはずである

35

情報源が持つ平均情報量

36

情報源が持つ平均情報量情報源から出る可能性がある情報について，それらの情報量を情報源全体で平均すると，情報源から得られる情報量の期待値がわかる

36

情報源が持つ平均情報量情報源から出る可能性がある情報について，それらの情報量を情報源全体で平均すると，情報源から得られる情報量の期待値がわかる

36

Shannon エントロピー

Shannon エントロピー

37

Shannon エントロピー• 情報源 S が高々可算個の情報 (出来事) E1, E2,

… を持っていて，それぞれの確率が P1, P2, … であるとする．

37


… を持っていて，それぞれの確率が P1, P2, … であるとする．• このとき，情報源 S の Shannon エントロピー H(S) は次式で与えられる (単位は情報量と同じ [shannon] である)．

37


… を持っていて，それぞれの確率が P1, P2, … であるとする．• このとき，情報源 S の Shannon エントロピー H(S) は次式で与えられる (単位は情報量と同じ [shannon] である)．

37

H(S) =!!

k=1

PkI(Ek) =!!

k=1

Pk log21Pk

例題• 箱の中に赤玉と白玉が合計 n 個入っていて，そのうち赤玉は m 個である．

• 箱の中を見ずに玉を一個取り出したときに赤玉が出る確率 P赤と，白玉が出る確率 P白を求め，それぞれの場合の情報量 I赤と I白を求めよ．

• さらに，箱のエントロピー H箱を求めよ．38

I赤 = log21

P赤= log2

n

m= log2 n! log2 m

I白 = log21

P白= log2

n

n!m= log2 n! log2(n!m)

答

39

P赤 =m

n

P白 = 1! P赤 = 1! m

n=

n!m

n

[shannon]

[shannon]

H箱 = P赤I赤 + P白I白

=m

n(log2 n! log2 m)

+n!m

n(log2 n! log2(n!m))

= log2 n! log2(n!m)! m

n[log2 m! log2(n!m)]

答 (つづき)

40

[shannon]

H箱 = log2 n! log2(n!m)! m

n[log2 m! log2(n!m)]

= log2n

n!m! m

nlog2

m

n!m

= log21

P白! P赤 log2

P赤P白

= log21

1! P赤! P赤 log2

P赤1! P赤

H箱は P赤の関数である

41

演習問題

42

•次の関数 H(P) が P = 1/2 で最大値を示すことを証明しなさい．

※ グラフを描いても証明にはならないので注意すること

H(P ) = log21

1! P! P log2

P

1! P

突然ですが

43

前回の演習問題を思い出そう

44

V2 =12V1

!S = !kB log 2!F = kBT log 2

1分子理想気体の等温圧縮

45

V1 V2

ここで圧縮前後での気体のエントロピーと自由エネルギーの変化は

しかし…

46

しかし…

46

等温圧縮では気体の内部エネルギーは変化しないため，1個しか存在ない分子が持つ運動エネルギーも変化しない…

しかし…

46

等温圧縮では気体の内部エネルギーは変化しないため，1個しか存在ない分子が持つ運動エネルギーも変化しない…

分子の運動状態が変化しないのにエントロピーと自由エネルギーが変化した理由は，気体の圧縮によって分子が存在可能な場所に関する我々の知識が変化したから！

情報量との関係

47

情報量との関係•気体の体積が半分になると，エントロピーが kB log 2 だけ減少する

•気体を情報源として見たとき，気体の体積が半分になることは，気体から得られる情報の可能性が半減したことと同じである

47

得られる情報が半減したときの Shannon エントロピーの変化サイコロで考える:(1) ふつうのサイコロ

(2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない)

48



48

H1 = 6! 16

log2 6 = 1 + log2 3 [shannon]



48

H1 = 6! 16


H2 = 3! 13

log2 3 = log2 3 [shannon]

!H = H1 !H2 = 1 [shannon]



48

H1 = 6! 16


H2 = 3! 13

log2 3 = log2 3 [shannon]

Shannon エントロピーと Boltzmann エントロピー

49


系の可能な状態数が 1/2 になるとき，系の Boltzmann エントロピーは kB log 2 [J/K] だけ減少し，そのとき変化する Shannon エントロピーは 1 [shannon] である．

49


系の可能な状態数が 1/2 になるとき，系の Boltzmann エントロピーは kB log 2 [J/K] だけ減少し，そのとき変化する Shannon エントロピーは 1 [shannon] である．

49

1 [shannon] = kB log 2 [J/K]

エントロピーが減少？

• 熱力学第2法則

50


• 熱力学第2法則• 閉鎖系のエントロピーは減少しない

50


• 熱力学第2法則• 閉鎖系のエントロピーは減少しない

• 気体を等温圧縮したことを観測した人間まで含めて閉鎖系として考えると，減少した気体のエントロピーは，観測者のエントロピーを (知識という形で) 上昇させる

50

可逆計算の物理学

51

計算に必要な最小のエネルギー

52


52

•現存するすべての計算機 (CPU) は動作するために大量の熱を発生させている


52

•現存するすべての計算機 (CPU) は動作するために大量の熱を発生させている

•このような無駄な発熱をゼロにできると仮定したとき，計算をするためだけに本質的に必要なエネルギー量はどのくらいになるだろう？

計算機と物理学

53

計算機と物理学• コンピュータで行う計算について最も低いレベルで考えるとき，我々は論理回路を扱う

53


• しかしながら，論理回路で用いる論理ゲートは物理的に実現された素子の理想化である

53


• しかしながら，論理回路で用いる論理ゲートは物理的に実現された素子の理想化である

• 計算機の論理状態には必ず何らかの物理状態が対応している

53

論理状態と物理状態

54


•論理状態と物理状態が対応しているということは…

54


•論理状態と物理状態が対応しているということは…

•可能な論理状態の個数が増減するとき，同時に対応する物理状態の候補も増減する

54

状態の増減と消費エネルギー

• 思い出そう！

55


• 思い出そう！• 系の状態が減少するとき，系のエントロピーは減少し，系の自由エネルギーは増加する

55


• 思い出そう！• 系の状態が減少するとき，系のエントロピーは減少し，系の自由エネルギーは増加する

• 従って，計算機の論理状態が減少するとき，計算機のエントロピーは減少し，計算機の自由エネルギーは増加する

55

Landauer の原理 (1)

56


•コンピュータが情報量 1 [shannon] を消去するとする．環境に放出される消費エネルギーの量は少なくともkBT log 2 [J] である．ここで T はコンピュータの環境の温度である．

56


57


•コンピュータが情報 1 [shannon] を消去するとする．環境のエントロピーは少なくとも kB log 2 [J/K] だけ増加する．

57

Business

情報学特論#02