分散とは何か

同じ平均でも、値が平均の近くに集まる場合と、遠くまで広がる場合があります。分散はその広がりを測ります。

分散は、データが平均のまわりにどれくらい散らばっているかを見る考え方。

最初は、この一文でつかめば十分です。

難しい用語に見えても、見ているものはかなり具体的です。

分散がわかると、成績、売上、気温、投資リスク、AIの予測誤差を、平均だけでなくばらつきとして読めます。

この概念を学ぶ価値は、用語を覚えることではありません。

ものごとを見る切り口が増えることです。

平均は中心を見ます。分散は、その中心からどれくらい離れているかを見ます。

読む前と読んだ後で、同じニュース、同じデータ、同じ文章の見え方が少し変わります。

細かい計算や専門史に入る前に、まず中心の見方を押さえます。

二つのクラスの平均点が同じでも、一方は全員が平均に近く、もう一方は高得点と低得点に分かれているかもしれません。この違いは平均だけでは見えません。

ここで大事なのは、言葉の雰囲気ではなく、何を分けて見ているかです。

概念は、世界をそのまま写すものではありません。

複雑なものを考えるために、見る場所を決める道具です。

同じ中心に向かって矢を放っても、矢が中心の近くに集まる場合と広く散る場合があります。分散は、この散り方を見る考え方です。

この例えは、概念そのものを完全に置き換えるものではありません。

入口として、どの部分を見ればよいかをつかむためのものです。

図解では、言葉だけでは混ざりやすい部分を分けて見ます。

一つ目は、中心にある関係です。

二つ目は、よく混同されるものとの違いです。

三つ目は、現実の場面でどこを見るかです。

分散が大きいことは、必ず悪いという意味ではありません。安定を重視する場面では小さい方がよいことがありますが、変化や探索では広がりが意味を持つこともあります。

概念は便利ですが、何でも説明できる魔法の言葉ではありません。

使える範囲と、使いすぎると危ない範囲を分ける必要があります。

分散では、平均からの差を二乗して平均します。二乗することで、正負の差が打ち消し合わず、遠い値が強く反映されます。

ここから先は、数式、実験、歴史、理論の細部へ進めます。

ただし、細部へ行くほど、最初の見方を忘れないことが重要です。

AIの評価では、平均精度だけでなく、誤差がどれくらいばらつくかを見ることが重要です。平均だけで性能を判断すると、外れ方を見落とします。

AIがあるから、この概念の意味が別物になるわけではありません。

むしろ、AIが大量の文章、候補、予測を出す時代だからこそ、概念で整理して読む力が重要になります。