情報量とは何か

起こりにくい知らせほど、受け取ったときに新しくわかることが大きい。情報量は、この直感を数として扱う入口です。

情報量は、どれくらい予想外かを測るための考え方。

最初は、この一文でつかめば十分です。

難しい用語に見えても、見ているものはかなり具体的です。

情報量がわかると、ニュース、通信、圧縮、予測、AIの出力を考えるときに、単なる文字数ではなく不確実性の減り方を見られます。

この概念を学ぶ価値は、用語を覚えることではありません。

ものごとを見る切り口が増えることです。

情報は長い文章そのものではなく、候補をどれだけ絞ったかとして考えられます。

読む前と読んだ後で、同じニュース、同じデータ、同じ文章の見え方が少し変わります。

細かい計算や専門史に入る前に、まず中心の見方を押さえます。

明日起こることがほぼ決まっているなら、その知らせから新しくわかることは少ない。逆に、候補が多い中で一つに決まる知らせは大きな情報を持ちます。

ここで大事なのは、言葉の雰囲気ではなく、何を分けて見ているかです。

概念は、世界をそのまま写すものではありません。

複雑なものを考えるために、見る場所を決める道具です。

箱の中に赤い玉が九十九個、青い玉が一個だけあるとします。赤が出た知らせはあまり驚きません。青が出た知らせは、候補の中では珍しいため、より多くのことを教えます。

この例えは、概念そのものを完全に置き換えるものではありません。

入口として、どの部分を見ればよいかをつかむためのものです。

図解では、言葉だけでは混ざりやすい部分を分けて見ます。

一つ目は、中心にある関係です。

二つ目は、よく混同されるものとの違いです。

三つ目は、現実の場面でどこを見るかです。

情報量は、文章が長いほど大きいという意味ではありません。長い文章でも予想通りなら新しさは小さく、短い知らせでも予想外なら情報量は大きくなります。

概念は便利ですが、何でも説明できる魔法の言葉ではありません。

使える範囲と、使いすぎると危ない範囲を分ける必要があります。

情報理論では、確率と対数を使って情報量を定義します。ここで大事なのは式の暗記より、情報を不確実性の減少として見ることです。

ここから先は、数式、実験、歴史、理論の細部へ進めます。

ただし、細部へ行くほど、最初の見方を忘れないことが重要です。

AIの出力を読むときも、もっともらしい長文かどうかだけでなく、どの不確実性を減らしているかを見ると理解しやすくなります。

AIがあるから、この概念の意味が別物になるわけではありません。

むしろ、AIが大量の文章、候補、予測を出す時代だからこそ、概念で整理して読む力が重要になります。