5つの点があります。x=1,2,3,4,5、y=4,3,7,11,10。この点にいちばんよく当てはまる直線を引きます。ところが、「xからyを当てる向き」に引いた直線と、「yからxを当てる向き」に引いた直線は、同じ点から出発したはずなのに、重なりません。同じデータのはずなのに、線は2本引けてしまう。この記事は、その理由を出発点に、最小二乗法・決定係数・回帰係数の検定という、出力表に並ぶ数字がどこから来ているのかを解き明かします。
※以下は自分の言葉で再構成した勉強ノートです。図はすべて自作の再構成です。
1. 誤差は、縦にしか置けない
回帰がやりたいのは「xを知って、yを当てる」ことです。xはもう分かっている値なので、そこにズレは置けません。ズレが起きうるのは、当てにいくyの方向だけです。だから、各点から直線までの距離を測るとき、縦にだけゴムひもを張って考えます。
ゴムは伸びるほど強く引く——つまり、縦のズレを2乗してから足し合わせ、それが最小になる場所を探します。遠い点ほど重く効くので、引っ張り合いが釣り合う場所はちょうど1つに決まります。これが最小二乗法です。横や斜めにゴムを張ると「xにも誤差がある」という別の問題を解くことになるので、向きを変えると別の直線になるのは当然でした。xとyを入れ替えると、「何が既知で何が誤差か」が入れ替わるので、別の作業になる——これが、冒頭の「線が2本引ける」の機構的な理由です。
2. 釣り合いは2本、性質は3つ
2乗和を最小にする条件は、実は1つではなく2つあります。上下の釣り合い（残差を全部足すとゼロ）と、回転の釣り合い（残差とxの偏差の積を全部足すとゼロ）。この2本の式を正規方程式と呼びます。
上下の釣り合いには3つの顔があります。1つ目はそのままの形——残差の和はゼロ。2つ目、直線は必ず(x̄, ȳ)——この例だと(3, 7)——という重心の点を通ります。3つ目、予測値の平均は実測値の平均とぴったり一致します。実際に計算すると、傾き2・切片1の直線でŷ=3,5,7,9,11となり、平均は7でぴったり一致します。バラバラに3つ暗記する必要はなく、全部「残差の和はゼロ」という1つの式から出てくる、同じ事実の3つの見え方です。
一方、回転の釣り合いからは傾きが決まります。
3. 切片を外すと、3つの性質が同時に死ぬ
切片を持たないモデル（ŷ=bxの形）は、直線という棒の片端を原点にくぎで固定するようなものです。原点で固定された棒は上下に動けません。つまり、上下の釣り合いを取る自由を最初から持っていません。
実際に同じ5点に切片なしの直線（傾きおよそ2.27）を当てはめると、残差の和はゼロにならず、直線は重心を通らず、予測値の平均も実測値の平均と一致しません。3つの性質が同時に消えます。一方、回転の釣り合いは生きていて、傾きだけは決まります。切片を外すというのは、単純化ではなく、2本ある条件のうち1本を丸ごと捨てる操作なのです。試験でもここが問われますが、性質を4つ丸暗記するのではなく、「どちらの釣り合いから来ているか」で仕分ければ、迷わず判定できます。
4. 傾きの正体は、単位を着た相関係数
回転の釣り合いを解くと、傾き＝相関係数×（yの標準偏差÷xの標準偏差）という形が出てきます。相関係数は単位を消した数字でした。標準偏差の比を掛け直すことで、単位のある世界へ戻しているのです。
ここから、冒頭の「線が2本」が数式のレベルでも確認できます。xからyへの傾きは2でしたが、yからxへの直線を書き直すと、傾きは2.5になります（2÷2.5=0.8で、これは後述する決定係数と一致します）。相関係数はxとyを入れ替えても同じ値ですが、傾きは入れ替えると変わる——この非対称が、相関係数と回帰係数（傾き）を混同する誤答の根っこです。単位を持たない数字が、「1単位あたりの変化量」を直接表せるはずがありません。
5. 決定係数は、ヒントで外れ幅が何割縮んだか
xを知らないとき、いちばんマシな予測はyの平均（この例だと7）です。そこからのズレの2乗和が、丸ごとのばらつき（この例だと50）。xを使って直線を傾けると、ズレの2乗和は必ず減ります（この例だと10まで減ります）。
減った割合が決定係数です。50のうち40が説明できて、10が残った。40÷50=0.8。決定係数0.8は「8割当たる」ではなく、「ヒントをもらったことで、外れ幅が8割縮んだ」という意味です。単回帰では決定係数は相関係数の2乗にちょうど一致します。
6. 決定係数だけでモデルを比べてはいけない
説明変数を1本足すと、決定係数は必ず上がります（下がることはありません）。足した変数の係数をゼロにすれば元のモデルがそのまま再現できるので、当てはまりが悪くなりようがないからです。つまり、素の決定係数は「変数を増やせば機械的に上がる数字」であり、モデルの比較には使えません。
過去問でも、この論点は5回すべてに登場する最頻出テーマです。誤答の作られ方は3パターン——素の決定係数だけでモデルを選ばせる、単回帰なら両者は一致するはずと思わせる（実際は分母の自由度が違うので一致しない）、2つの値を並べてどちらが調整済みかを取り違えさせる。増えるのが当たり前の数字で比べてはいけない、というのがここでの持ち帰りです。
7. でたらめな点にも、直線は引けてしまう
最小二乗法は「関係ない」とは言ってくれません。完全にでたらめな5点（x=1,2,3,4,5、y=6,4,8,5,7）にも、黙って傾き0.3の直線を返します。
傾きが出たことと、関係があることは別物です。確かめ方は、残っているばらつきに比べて、傾きが十分大きいかを見ること——これがt値で、推定値を標準誤差で割ったものです。このでたらめなデータのt値は0.54しかありません。
さらに、全部の値を定数倍しても、推定値と標準誤差は同じ倍率で動くので、比であるt値だけは倍率に関係なく不変です（切片は倍率どおり動きます）。t値の物差し（有意かどうかの基準）は自由度で決まり、自由度＝標本数−（切片を含む係数の個数）です。なぜ引くのかというと、2本の釣り合いの式でデータの自由さを2つ使い切っているからです。試験では、この自由度を数え忘れて1つズレるのが定番の誤答です。
8. 「効かなかった」は「無い」ではない
t値が小さくて有意でなかったとき、よくある3つの誤解があります。1つ目、有意でない＝係数はゼロだと証明された、ではありません。棄却できなかっただけで、「無罪の証明」と「証拠不十分」は違います。2つ目、p値の小ささは効果の大きさの順位ではありません。p値は「偶然でこの結果が出る確率」を測っているだけです。3つ目、統計的に有意でも因果とは限りません。票の集計は、誰がその人を動かしたかを記録しないからです。
9. 切片は、絵の外を覗き見た点
切片は、xがゼロのときの予測値です。ですが、手元のデータ（x=1〜5）にはx=0が含まれていません。切片は、データがある範囲の中で決まった直線を、絵の外まで伸ばした先の点でしかありません。直線がその範囲の外でも成り立つ保証はどこにもなく、データの範囲外へ予測を伸ばす（外挿する）と、直線が正しい保証は切れます。代入すれば計算はできてしまうので、うっかり信じてしまいそうになりますが、そこは別の話です。
10. 出力表の7つの数字は、1回の縦の切り分けから来ている
係数・標準誤差・t値・p値・自由度・残差の標準誤差・決定係数——統計ソフトが出す出力表のこれらの数字は、バラバラに暗記する対象ではありません。係数と標準誤差は回転の釣り合いから、決定係数と残差の標準誤差は縦の切り分けの「説明できた分」側から、t値・p値・自由度は残りのばらつきと傾きを比べる話から出てきます。全部、同じ1回の「yのばらつきを、xで説明できる分とできない分に縦に切り分ける」という作業を、3つの角度から読んだものにすぎません。
冒頭の問い——同じ5点なのに、なぜ線が2本引けるのか——の答えは、「xを知ってyを当てる」という縦の切り分け方そのものが、xとyを入れ替えると別の問いに答えていた、ということでした。相関係数は入れ替えても変わらない対称な数字ですが、回帰係数（傾き）は入れ替えると変わる非対称な数字です。この違いを知らないまま公式だけを覚えると、出力表に並ぶ数字はいつまでもバラバラの暗記事項のままです。最小二乗法が1回の縦の切り分けを行った瞬間に、決定係数もt値も自由度も、全部そこから芋づる式に出てくる——これが、回帰という道具の骨格です。