こんにちは!
前回の『深層学習を学ぶシリーズ』では、確率理論についてまとめました。【深層学習】深層学習に必要な数学まとめ 【No.2 確率 編】
今回は、その確率理論の応用ともいえる、情報理論についてまとめます。
情報理論はあまり理学の人にはなじみがなく、どちらかといえば工学系の分野です。機械学習をやる上では不可欠となります。
情報理論
情報には質・量などのいくつかのパラメータがあるものの、生活のなかでは「良い情報」とはどういうものなのかを定量的に定義せずに使用している。情報理論は信号に含まれる「情報」を定量的に定義し、扱う理論体系である。
情報理論では、主に情報量の定義、情報の送受信の効率化、情報に含まれるノイズの除去を目的としている。統計理論を取り扱う機械学習では、この情報理論が必須である。
情報の定量化
情報を定量的に表現する前に、情報の特徴を直感的にあげる。
Ⅰ.起こりやすい事象は情報量が少ない。
Ⅱ.起こりにくい事象は情報量が多い。
Ⅲ.情報の大きさは、事象が起きると足し算で増える(数学的に扱いやすい)。
必ず起きるとわかっている事象には、情報としての価値がないことからⅠは理解できるだろう。また、反対に珍しい事象は情報として価値があることから、Ⅱも理解できる。また、Ⅲに関しては、確率は通常、事象が複数回起きた場合はその全体の確率は積で表されるが、情報量は確率に対して和で表したいという数学的ニーズがあるためである。
これらの性質を表すために、情報量として次の自己情報量を定義する。
は事象
が起きる確率である。事象
と事象
が同時に起きたときの確率
の事象から得られる自己情報量は、式(3.1)により、
となり、先ほどのⅢの性質を満たしていることが分かる。
自然対数の場合、自己情報量 の単位はナット(nats)である。一方、底が2の場合、単位はビット(bits)である。機械学習では、自然対数でナットが使われる。
自己情報量の例:
サイコロを1回だけ投げたとき、「奇数の目が出た」という情報1と、「1~4のうちどれかの目が出た」という情報2があるとする。このとき、情報1は3択にまで出た目が絞れるので、明らかに情報量が多いのは情報1である。それぞれの自己情報量を計算してみると、
となり、情報1の方が情報量が多いことが分かる。
(計算例おわり)
情報エントロピー(シャノンエントロピー、平均情報量)
データ分布がある場合に、その分布からどれくらいの情報が得られるのかを知りたい場合がある。そのときに、我々は平均的な情報量として情報エントロピーを計算する。
情報エントロピーは次のように、自己情報量の期待値として定義される。
エントロピーは、一様分布ではその値が大きくなり、局所的にピークをもつような分布では小さくなる。言い換えれば、情報エントロピーは情報の不確かさである。
すでに知っている情報が少ない状態ほど、情報エントロピーは大きくなる。
情報エントロピーの計算例:
サイコロを1回振るとき、出た目が 2, 4, 5 のいづれかであると知ったときの情報エントロピー(平均情報量)は
となる。出た目が 1, 2, 4, 5 のいづれかであると知っているときは、
となり、すでに出目を絞れている場合の方が情報エントロピーは小さい(情報の不確かさは小さい)。
(計算例おわり)
二項分布の情報エントロピー は次のようなグラフになる。

一様分布に近い ときに、情報エントロピーは最大になっていることがわかる。
相対エントロピー(カルバック・ライブラーダイバージェンス)
相対エントロピーを用いることで、確率分布の差を測ることができる。
相対エントロピーは情報エントロピーの差で表される。
相互情報量
相互情報量は不確実性(情報エントロピー)の減少量として定義されている。つまり、何かが分かると、どれだけ分からなさ(不確実性)が減るかという量である。
記号については、 【深層学習】深層学習に必要な数学まとめ 【No.2 確率 編】 を参照したいが、簡潔にいえば、上式は事象 の不確実性
から
が分かったあとの
の不確実性
を引いている。
と
が独立な場合、相互情報量は最小値0になる。
相互情報量の計算例:
サイコロをふることを考える。事象 は「1~6の目が出る」ということにすると、
は
である。
次に、 を計算するために、
を求める。
ここで、事象 の情報として「サイコロの目は偶数である」という情報(偶数か奇数かわかったという情報)が与えられるとする。
であり、また
となる。
したがって、式(3.7)に式(3.8)を代入して、 は1.10(nats)となる。したがって、相互情報量
は
と求められる。つまり、サイコロをふる場面において、サイコロの目が偶数であるとわかると、不確実さがこれだけ減少する。
(計算例終わり)
情報理論編は以上です!
次回の『深層学習を学ぶシリーズ』では、【No.4】最適化計算編を掲載します。数値計算編では、機械学習で必要不可欠でかつ基本的な最適化手法について紹介します。
【参考文献】
・深層学習 (株式会社ドワンゴ)Ian Goodfellow, Yoshua Bengio, Aaron Courville 【著】、岩澤有祐、鈴木雅大、中山浩太郎、松尾豊【監訳】
・Logics of Blue https://logics-of-blue.com/information-theory-basic/
コメント