情報理論

(自己) 情報量

(自己) 情報量 (entropy) とは、情報理論の概念で情報の「稀少さ」を表す指標である。 情報が稀少であるほど、情報量は大きくなる。

ある事象 $E$ が起こる確率を $p(E)$ とすると、その情報量 $i(E)$ は次のように定義される。

$$i(E) = - \log_2 p(E)\quad \text{[bit]}$$

シャノン情報量

シャノン情報量 (Shannon entropy) とは、ある確率変数の「不確かさ」を表す指標である。

$$H(X) = - \sum_{x \in X} p(x) \log_2 p(x)$$

同時エントロピー

同時エントロピー (joint entropy) とは、ある2つの事象が同時に起こる事象の情報量である。

ある事象 $X$ と $Y$ が同時に起こる確率を $p(x, y)$ とすると、その同時エントロピー $H(X, Y)$ は次のように定義される。

$$H(X, Y) = - \sum_{x \in X} \sum_{y \in Y} p(x, y) \log_2 p(x, y)$$

条件付きエントロピー

条件付きエントロピー (conditional entropy) とは、ある確率変数の情報が与えられたときの、別の確率変数の情報量である。

ある事象 $X$ が与えられたときの事象 $Y$ の条件付きエントロピー $H(Y|X)$ は次のように定義される。

$$H(X|Y) = - \sum_{x \in X} \sum_{y \in Y} p(x, y) \log_2 p(x|y)$$

チェインルール

$$H(X, Y) = H(X) + H(Y|X)$$

相互情報量

相互情報量 (mutual information) とは、2つの確率変数の相互依存度を表す指標である。

$$I(X; Y) = H(X) + H(Y) - H(X, Y)$$

KLダイバージェンス

KLダイバージェンス (Kullback-Leibler divergence) とは、確率分布 $p$ と $q$ がどれだけ離れているかを表す指標である。

$$D(p||q) = \sum_{x} p(x) \log \dfrac{p(x)}{q(x)}$$