情報量とは（全体像）
情報量は、ある出来事が起きたと知ったときの「驚きの大きさ」を数値にしたもの。よく起きることを聞いても驚かないが、めったに起きないことを聞くと「えっ」と驚く——この驚きの大きさが情報量だ。
だから、確率が小さい（珍しい）出来事ほど情報量は大きい。逆に、必ず起きるとわかっていること（確率1）を聞いても情報はゼロに近い。
そして、いろいろな出来事の情報量を、起きやすさで重みづけして平均したものがエントロピー。「次に何が起きるか、どれくらい予想しにくいか」を表す指標だと思えばいい。予想しにくいほどエントロピーは大きい。
詳しく：この式と性質だけ覚えれば戦える
ここが記事の心臓部。まずは2つの式。
情報量とエントロピーの式
| 名前 | 式 | 意味 |
|---|---|---|
| 情報量 | I ＝ -log₂(確率) | 1つの出来事の驚きの大きさ（ビット単位） |
| エントロピー | H ＝ -Σ(確率×log₂確率) | 情報量の平均（全体の予想しにくさ） |
式の `log₂`（ログ・に）は「2を何回かけたらその数になるか」を表すもので、単位はビットになる。むずかしく見えるが、試験では具体的な値の計算がよく出る。
情報量の計算例
| 出来事 | 確率 | 情報量 |
|---|---|---|
| コインの表 | 1/2 | 1ビット |
| 4つから1つ | 1/4 | 2ビット |
| サイコロの6 | 1/6 | 約2.6ビット |
確率が半分になるごとに情報量は1ビットずつ増える、と覚えると感覚がつかめる。
次に、エントロピーの大事な性質。
- 均等なとき最大 … すべての出来事の確率が同じとき（いちばん予想しにくい）、エントロピーは最大になる。
- 偏ると小さい … 1つの出来事に確率が集中する（ほぼ予想できる）ほど、エントロピーは小さくなる。
つまり、「バラバラ＝大きい、片寄り＝小さい」と覚えればいい。
そして応用。エントロピーはデータ圧縮の理論的な限界（シャノン限界）を表す。「これ以上は縮められない」という下限で、後で学ぶハフマン符号化はこの限界に近づく圧縮方法だ。
わかりやすく言い換えると
要するに、情報量は「ニュースの驚き度」だ。
「明日は東から日が昇る」と言われても驚かない（確率1に近い＝情報量ほぼ0）。でも「明日は雪が降る（真夏に）」と言われたら驚く（珍しい＝情報量が大きい）。
エントロピーは「くじ引きの読みにくさ」のイメージ。当たりとハズレが半々のくじは予想しにくい（エントロピー大）。逆に、99%当たるくじは「まあ当たるだろう」と読めてしまう（エントロピー小）。
試験のツボ
🔴 一番出る：情報量は -log₂(確率)
①珍しい（確率が小さい）ほど情報量は大きい
②確率1/2なら1ビット、1/4なら2ビット
🔴 次に出る：エントロピーは均等分布で最大
①全部の確率が同じとき最大（最も予想しにくい）
②1つに集中するほど小さい
🟡 押さえると安定：圧縮の理論限界（シャノン限界）
①エントロピーは「これ以上縮められない」下限
②ハフマン符号化はこの限界に近づく
よくある間違い
①「情報量＝データのファイルサイズ」→ ✗ 情報量は「不確実さ・珍しさの尺度」。バイト数とは別の概念。
②「対数の底は10で計算する」→ ✗ 情報理論ではlog₂（底は2）。単位はビットになる。
③「エントロピーは確率が偏っているほど大きい」→ ✗ 逆。均等（バラバラ）なときに最大、偏ると小さい。
試験での出題パターン
実際の問題でたしかめてみよう。
オリジナル問題1（情報量の計算）
ある出来事の起こる確率が1/4であるとき、その情報量として正しいものはどれか。
- 起こる確率がとても高い出来事なので、その情報量はほぼ0ビットになると考えられる
- 確率を10進のまま使い、情報量は1/4すなわち0.25ビットになる
- 確率が1/4でも1/2でも情報量は同じで、つねに1ビットで一定である
- 2を2回かけると4になるので、情報量は-log₂(1/4)＝2ビットになる
解答は 4 だぜ。
情報量は -log₂(確率)。確率1/4なら、2を2回かけると4だから、-log₂(1/4)＝2ビットだ。確率が半分になるごとに1ビットずつ増える感覚で押さえとけ。
選択肢1は1/4を「高い確率」と取り違えている。選択肢2は確率をそのまま使う誤り。選択肢3は「つねに1ビット」が誤りで、確率で変わるぜ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 1/4は珍しめ、情報量は0ではない |
| 2 | ✗ | log₂を取らず確率のまま使っている |
| 3 | ✗ | 確率で情報量は変わる |
| 4 | ✓ | -log₂(1/4)＝2ビットで正しい |
オリジナル問題2（エントロピーの性質）
エントロピーの性質に関する次の記述のうち、正しいものはどれか。
- エントロピーは1つの出来事に確率が集中しているときに最大の値をとる
- エントロピーはすべての出来事の確率が等しいときに最大の値をとる
- エントロピーは出来事の数が少ないほど大きく、多いほど小さくなる
- エントロピーは確率の偏り方に関係なく、つねに一定の値で変わらない
解答は 2 だぜ。
エントロピーは「予想しにくさ」の平均だから、すべての確率が等しいとき最大になる。どれが起きるか一番読めない状態だな。逆に1つに集中すると読めてしまうので小さくなる。
選択肢1は「集中で最大」が逆。選択肢3は出来事の数だけで決まるわけではない。選択肢4の「つねに一定」も誤りで、確率の偏りで変わるぜ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 集中するとむしろ小さくなる |
| 2 | ✓ | 均等分布で最大になる |
| 3 | ✗ | 数だけでは決まらない |
| 4 | ✗ | 偏りで値は変わる |
オリジナル問題3（応用）
情報量・エントロピーの応用に関する次の記述のうち、正しいものはどれか。
- 情報量は記録に必要なバイト数そのものを表しており、圧縮とはまったく無関係な指標である
- エントロピーが大きいデータほど無駄が多く、いくらでも小さく圧縮できる
- エントロピーはデータ圧縮の理論的な限界を表し、ハフマン符号化はそこに近づく
- ハフマン符号化はエントロピーを無視して、つねに固定長で符号を割り当てる
解答は 3 だぜ。
エントロピーは「これ以上は縮められない」というデータ圧縮の理論限界（シャノン限界）を表す。後で学ぶハフマン符号化は、その限界に近づくように符号を割り当てる方法だ。
選択肢1は「バイト数そのもの」が誤り。選択肢2は「いくらでも小さく」が誤りで、限界がある。選択肢4はハフマンを固定長としている点が誤りで、頻度に応じた可変長だぜ。
| 選択肢 | 判定 | 理由 |
|---|---|---|
| 1 | ✗ | 情報量はバイト数そのものではない |
| 2 | ✗ | 圧縮には理論的な限界がある |
| 3 | ✓ | エントロピー＝圧縮限界、ハフマンが漸近 |
| 4 | ✗ | ハフマンは頻度に応じた可変長 |
まとめ
押さえどころ
- 🔴 情報量 ＝ -log₂(確率)。珍しい出来事ほど大きい（1/2なら1ビット、1/4なら2ビット）。
- 🔴 エントロピー ＝ 情報量の平均。均等分布で最大、偏ると最小。
- 🟡 応用 ＝ エントロピーはデータ圧縮の理論限界（シャノン限界）。ハフマン符号化が近づく。
次に学ぶ
- ハフマン符号化 ── エントロピーに近づく圧縮の代表手法。「よく出る文字に短い符号」という発想で、情報量の考え方が実物になる。
- 標本化・量子化 ── 音や画像をデジタルにするときの考え方。情報をどう数値で扱うか、という流れでつながる。
執筆: SikakuQuest編集部