モバイルネットワーク論2011_02メモ
情報量の話
Hartleyの情報量
I = log2N ただし、Iは情報量で、Nは選択肢の数。
例えば、1024の選択肢があれば、I=10。// 当たり前か。
何が嬉しいの？
- 大きな数も小さく表せる。仮にI=32 (=32bit)だったら、約43億の情報量。32bitPCを43億情報量PCって呼ぶの変だよね。
- 選択肢が1個しかなければ、情報量は0と表せる。
天気の情報量
晴：60% 曇：20% 雨：20% 雪：0% のときの情報量は？ 感覚的には2bitより小さくなるはず、なぜならば均等なときはランダムで決めづらいが、今回はある程度推測がつくから。
エントロピー
コインの表裏が均等に出るやつだと、情報量は1bit。というのも、I = log2 1 なので。 それぞれが出る確率は P = 1/2 。抽象化すると、 P = 1/N
仮に表が80%出ちゃうようなコインのときの情報量を求めたい。
情報量を求めるには、選択肢の数が求めたいので、（当たり前だけど）まず確率を求める公式は、P = 1/N であり、変換すると N = 1/P となる。Pは0.8とわかっているのだから、Nは1.25ぐらいになる。同様に、裏はN=5となる。
情報量は、表と裏とで、両方求める必要があるので、それぞれの情報量に選択肢の出やすさをかけて、全ての和をとったものとなる。 すなわち、 I = 0.8 * log2 (1.25) + 0.2 * log2 (5) となる。これを頑張って計算すると0.72になる。
事象が起こる確率をバラバラとしたときの情報量の表し方
I = Plog2 (1/P) + ... として、事象を並べていけばOK。こう書いてもいい。 I = ∑ Plog2 (1/P) 。
これがエントロピーで、平均情報量といってもOK。
2bitの情報を送りたいときの、送り方の話。
例えば、11は大声、00はかなり小さい声として、11,10,01,00 として1回で送ってもいい。または、1と0 を２回送ってもいい。これは、送り方の話。最終的に受け取る情報量は同じ。でも、送るのが2回となった場合は、時間も2倍かかる。その代わり、エラーの確率も上がってくる。
ちなみに、最近の無線方式は、伝送方式をAdaptiveに変えるものが主流。
シンボル
さっきの例でいえば、大声はもシンボルの一つ。ノイズが全然なければ、1シンボルに大量のbitを突っ込んで送ってやってもいい。
