本文へ移動
AIと人生
トピック

その数字は、どこから来たのか──統計が「データソース」から始まる理由

この記事と対になっている動画

再生リストでまとめて見る →

平均年収は500万円でした、と言われたとき、この数字の中に何が入っているか、考えたことはあるでしょうか。

数字を全部足して、人数で割っただけ──その理解は、計算としては正しいものです。でも、その計算の手前には、3つの決定が隠れています。誰について語るのか。その中から、誰を、どうやって選んだのか。そして、何を、どう聞いたのか。この記事では、統計検定2級の出題範囲がなぜ「データソース」という項目から始まっているのかを、この隠れた3つの決定から解き明かします。

※以下は自分の言葉で再構成した勉強ノートです。図はすべて自作の再構成です。


1. 平均という式は、データがどこから来たかを覚えていない

平均という計算式は、ジューサーのようなものだと考えると分かりやすくなります。果物を入れて、絞って、出す。それだけの機械です。

有機栽培で丁寧に育てたオレンジを絞っても、冷蔵庫の隅で萎びていた果物を絞っても、出てきたジュースの色が似ていれば、もう見分けはつきません。絞って出すだけの機械には、材料がどう育てられたかを覚えておく機能がないからです。

ここに、①八百屋できちんと選んで仕入れたオレンジと、②道端でたまたま拾ったオレンジっぽい何かを、同じジューサーに入れたとします。見た目はほとんど同じジュースが出てきます。これを統計の言い方に置き換えると、①は「無作為に選ばれた世帯の平均年収」、②は「街頭インタビューで、たまたま答えてくれた人たちの平均年収」です。計算の手続きはまったく同じ。でも意味は別物です。後者は、答えてくれた人たちの中でしか成り立たない話で、日本人全体については何も言っていません。

怖いのは、この2つの「平均年収500万円」が、数字だけを見ても区別がつかないということです。区別は数字の中にはなく、どう取ったかという「外側」にしかありません。

だから、平均や分散を習う前に、データの取り方を先に習う必要があります。出題範囲の1行目が「データソース」なのは、単なる章立ての都合ではなく、論理の依存関係です。下の層──データがどう取られたか──が決まらないと、上の層──平均や分散、この先で習う推定や検定──の意味そのものが決まりません。この先どれだけ道具が増えても、いちばん下の段は動かないのです。

2. なぜ、全員を数える調査が要るのか

日本には、住んでいる人を全員数える調査があります。国勢調査です。5年に一度、日本に住むすべての人を対象に行われます(正確には10年ごとの本調査とその5年目の簡易調査ですが、実質は5年に一度と考えて差し支えありません)。外国籍の人も含めて、ほぼ例外なく数えます。

一方で、毎月の雇用状況を調べる労働力調査は、対象は日本全体でも、実際に調べているのは約4万世帯だけです。同じ「日本全体を知りたい」なのに、規模が桁で違います。

健康診断で例えると分かりやすくなります。国勢調査は「国民全員に受けてもらう」やり方、労働力調査は「ごく一部の人にだけ受けてもらって、そこから国全体の健康状態を語る」やり方です。ここで大事なのは、違うのは検査の中身ではなく、何人が受けるかだけだという点です。

すると自然に、こういう疑問が出てきます──一部の調査でも「日本全体の雇用はこうです」と語れているなら、全部数える国勢調査のほうが、むしろ無駄なのではないか。しかも全数調査は5年に一度しかできていないのに、一部だけの調査は毎月実施できている。安いほうが、回数まで稼げている。

結論から言うと、ここは逆です。理由は、標本調査が成立するための、選ぶ前の条件にあります。

3. 全数調査は、標本調査が乗る地図を作っている

標本調査──サンプル調査──が成立するには、選ぶ前に絶対に必要なものがあります。「全体が誰で、どこにいるか」という情報です。これが無いと、「無作為に選ぶ」という操作そのものが定義できません。何から選ぶのかが決まらないからです。

くじを引くにも、くじの箱が要ります。しかも、ただ大きな箱があればいいわけではありません。中の札にもれなく番号を振って、仕切りに入れておかないと、「無作為に1本引く」は意味を持ちません。この「番号を振って、箱に仕込んでおく」作業を、誰かが先にやる必要があります。

これが、国勢調査の役割です。統計局自身が、国勢調査には「ほかの統計調査を設計するときの土台になる『フレーム』を提供する役割がある」と説明しています。労働力調査や、家庭の収入と支出を調べる家計調査のような、国の基本的な標本調査は、国勢調査の結果に基づいて設計されています。

数字で見ると、つながりはより具体的です。国勢調査は日本全国を調査区という区画に切り分けます。1区画がだいたい50世帯規模で、これが全国に約100万あります。この約100万個の区画1つひとつが、番号札にあたります。労働力調査は、この約100万の調査区を土台にして、まず約2,900の調査区を選び、そのあとで住戸を選ぶという2段階の抽出を行い、最終的に約4万世帯を対象にします。家計調査も同じ構造で、国勢調査の調査区を2つずつまとめて「単位区」を作り、そこから世帯を選んでいます。

ここに、この回でいちばんの「なるほど」があります。公的統計は横並びのメニューではありません。土台になる調査と、その上に乗る調査という、縦の階層になっています。「サンプルで足りるなら全数調査は無駄」ではなく、全数調査があるから、サンプルで足りるのです。数万世帯が日本全体を語れる正体は、統計の腕力ではなく、その手前に全部数えて作った番号札の箱があったからでした。

4. 「全部数えれば正確」は、誤差の半分にしか効かない

ここまで聞くと、国勢調査がいちばん正確だと思えてきます。全員調べているのだから、と。

しかし、誤差には2種類あります。ひとつは標本誤差──一部しか見ていないことから来るズレ。もうひとつは非標本誤差──記入もれ、思い出し違い、無回答、集計ミスといった、数え方そのものから来るズレです。

全員に受けてもらえば、ズレは全部消えるのではないか、という直感が働きます。ところが、総務省統計局の労働力調査ハンドブックには、こう書かれています。「非標本誤差は標本の大きさと直接関係がなく」、そして「調査が大規模になり関係者の数が増えると、非標本誤差の発生源も増える」。

つまり「全部数えれば誤差なく正確」というのは、標本誤差だけの話です。一部しか見ないというズレは、全員を見れば確かに消えます。でも非標本誤差は、大きさとは別の理由で起きるので、全員調べても残ります。健康診断の比喩に戻ると、受けてもらう人数を増やすほど、採血する人も、検体を運ぶ人も、記録を転記する人も増えます。その一人ひとりが、書き間違えたり聞き違えたりする可能性を持ち込んでくる。全数調査は誤差なく正確、というのは片方の誤差だけの話で、もう片方はむしろ関係者が増えるぶん発生源が増える側にいるのです。

だから、国勢調査の値打ちは、精度そのものよりも、前章で見た「地図を作ること」のほうに、より重く乗っていると見たほうがよさそうです。

5. 同じ2段階なのに、抽出法の名前が変わる理由

倉庫に、みかんの入った段ボール箱がたくさん積んであるところを想像してください。全部の箱を開けて全部のみかんを検品するのは大変なので、まず箱をいくつか無作為に選びます。

労働力調査で言えば、国勢調査の調査区、約100万の中からまず約2,900を選ぶ。ここまでが1段目、箱を選ぶ作業にあたります。2段目には、選ばれた約2,900の調査区それぞれの中で、住戸をだいたい16戸だけ選ぶという操作があります。1調査区が約50世帯なので、約3分の1だけを、また選び直しているわけです。地域を選び、さらにその中の一部を選ぶ──この選抜が2段階とも続いています。これが二段抽出です。

では、もし2段目で16ではなく、その調査区の50世帯全部を調べていたら、どうなるでしょうか。箱を選んだら、その箱のみかんは1個も残さず全部検品する、というやり方です。これには別の名前がつきます。クラスター抽出(集落抽出)です。地域を選ぶところまでは同じですが、選んだあとはその中を丸ごと全部調べます。2段目が「一部」か「全部」かだけで、名前が変わります。「地域を選んで、その中の対象を見る」という外形だけを覚えていると、この2つを混同してしまいます。見るべきは、最後の一段が一部か全部か、それだけです。

もうひとつ、混同しやすい言葉に「層化」があります。家計調査は、全国の市町村を168の層に分け、各層から1市町村ずつ選んでいます。アパレルの検品にたとえると、在庫のシャツをS・M・Lのサイズごとに分けてから、各サイズから1枚ずつ抜き取るようなものです。サイズごとに縫い方や生地の使い方が違うのと同じで、都市の規模は家計の中身──収入や支出のパターン──と関係しやすく、同じ層に入る市町村同士は比較的そろっています。層の中のばらつきが小さいほど、そこから選んだ標本は層全体の実態からズレにくくなります。

ここで誤解しやすいのは、「層に分ければ分けるほど精度が上がる」という思い込みです。層化は、分ければ必ず精度が上がるおまじないではありません。効くかどうかは、分け方が実際の違いを捉えられているか次第です。シャツを縫製の丁寧さと関係の薄い「色」で分けてしまえば、層の中身はバラバラのままで、単純な無作為抽出と大差なくなります。都市の規模で分けた家計調査は、分け方が当たっている側の例だということになります。

段階を増やすことも、層を作ることも、それだけで精度を保証してくれるわけではありません。実際に何を、どう選んでいるかまで見て、初めて意味が決まります。データの質は、集めたあとの計算ではなく、集めるときの設計で、ほぼ決まっているのです。


冒頭の3つの問い──なぜ平均ではなくデータの出どころから始まるのか、なぜ5年に一度全員を数えるのか、なぜ同じ2段階なのに抽出法の名前が変わるのか──は、聞いているときはバラバラの問いに見えても、実は1本の道でした。1つ目はデータの生まれ方という全体像の話、2つ目はその中の全数調査という1本の内部構造の話、3つ目はその構造を実際に動かすときの選び方の設計の話。全体から内部へ、そしてそれを動かす仕組みへ、同じ道をズームインしながら歩いていただけだったのです。

出題範囲表の1行目「データソース」は、この全部を1行に畳んだラベルでした。前置きに見えて、実は土台だった。平均や分散という道具を習うときも、その意味は今日決めた「取り方」に、ずっと依存し続けます。