重回帰分析をわかりやすく解説｜複数の要因で結果を予測する仕組みと基本の考え方

回帰分析には、さまざまな種類があります。

この記事ではその中でも 「重回帰分析（Multiple Linear Regression）」 を、初心者でも理解しやすいように図解を交えて解説します。

重回帰分析は、複数の要因が結果に影響している場面で特に有効な手法です。

単回帰分析では捉えきれない関係性をモデル化できるため、実務でも非常によく使われます。

まずは、重回帰分析の基本的な考え方や、単回帰分析との違いを理解することで、回帰モデル全体の仕組みがつかみやすくなります。

なお、この内容は高校数学で学ぶ「一次関数」や「最小二乗法」の知識があれば理解できるため、統計を初めて学ぶ人や、数学の基礎を確認しながら進めたい人にも取り組みやすいテーマです。

この記事を読むと次のことがわかります。

• 重回帰分析とは（単回帰との違い）
• 複数の説明変数があるとき、なぜ予測精度が上がるのか
• 重回帰モデルのイメージ（図解で理解）
• 最小二乗法による係数の求め方の考え方
• R²（決定係数）が高くなる理由と注意点

統計検定・QC検定・データ分析の実務にも役立つ内容です。

回帰分析とは

回帰分析とは予測モデル構築手法の一種です。

結果を示す変数が、原因になる変数関数で予測されます。

この例では、結果を示す変数yが、原因となる変数xの一次関数で予測されていますね。

ここで、最もよく知られている回帰分析手法は、最小二乗法です。

最小二乗法とは、ある直線を引いたときに、その直線からの距離（これを残差と言います）が最も小さくなるように回帰直線の係数を算出する方法のことを言います。

データ全体の残差が最も小さくなる時というのは、残差を二乗して全て足した残差平方和が最も小さくなる時です。

つまり、残差平方和が最も小さくなるように回帰直線の係数を決めるのが最小二乗法です。

重回帰分析とは

最小二乗法による予測手法には、単回帰分析と重回帰分析があります。

重回帰分析は、MLRとも呼ばれます。

MLRは、Multiple Linear Regressionの頭文字です。

複数の変数を使った、線形の、回帰モデル、という意味ですね。

単回帰モデルは、1つの変数で予測モデルを構築するのに対して、重回帰モデルは、2つ以上の変数で予測モデルを構築します。

重回帰分析のメリット

重回帰分析を説明するのに、よく使われるのが、アパートの家賃の予測モデルです。

アパートの家賃が決まる要素を考えてみましょう。

例えば、アパートの家賃に、「部屋の広さ」と「駅からの距離」と「築年数」が関わっているように、ある目的変数yの変動には、3つの説明変数x1,x2,x3が関わっているとしましょう。

そして、目的変数yを各説明変数x1,x2,x3単独で予測した単回帰分析の結果がこうなったとしましょう。

この結果をもって、各説明変数は目的変数に影響していると言えるでしょうか？

予測モデルのあてはまりの良さを示す指標であるR²はどれも0.3程度ですね。

一般的に、R²の目安として、0.5以上であればあてはまりが良いと言われていますので、0.3は、あてはまりがよいと言える値ではないということですね。

しかし、この例では、実は、目的変数を3つの説明変数によって予測した場合のR²は0.9になるんです。

重回帰モデルのあてはまりが良い理由

今考えているのは、ある目的変数yの変動に、3つの説明変数x1,x2,x3が関わっている場合ですので、目的変数yをx1を使って予測したときの、回帰線からの距離『残差』は、x1では説明がつかないがx2とx3でなら説明がつく成分、ということになります。

目的変数yをx1を使って予測したときの残差を縦軸にしてみましょう。

残差はx1では予測しきれない成分なので、当然、残差とx1には関係性がみられません。

一方で、残差とx2、残差とx3には関係性が確認できますね。

今考えているのは、ある目的変数yの変動に、3つの説明変数x1,x2,x3が関わっている場合ですので、目的変数yをx1を使って予測したときの回帰線からの距離『残差』は、x1では説明がつかないがx2とx3でなら説明がつく成分、ということになりますね。

重回帰分析のイメージ

重回帰分析のイメージはこうです。

目的変数に確実に影響している説明変数が3つあったとしたら、ある説明変数で予測したときの残差が、他の説明変数でよく予測でき、さらにその残差が、また別の他の説明変数でよく予測できる、となるわけです。

重回帰分析のイメージは、このように理解するとわかりやすいと思いますが、実際には、このように段階的に予測するのではなくて、一気に予測モデルを構築します。

重回帰モデルの係数の計算

単回帰分析では、実測値と予測値の差分である残差の二乗の総和である、残差平方和が最小になるようにa,bを決めました。

残差平方和をεとします。

残差平方和εが最小になる時というのは、εをaとbそれぞれで偏微分した値が0になる時なので、この連立方程式を解けばaとbが求まります。

重回帰分析でも同じ考え方です。

これは説明変数がx1とx2の2つある場合ですが、残差平方和が最小になる時というのは、εをa,b,cそれぞれで偏微分した値が0になる時なので、この連立方程式を解けば求まります。

説明変数がいくつになった場合でも、同じやり方です。

説明変数が増えると、その分求める必要のある係数の数も増えるので、方程式の数も増えことになりますね。

重回帰分析使用上の注意点

ここで、最小二乗法による重回帰分析を使用する際には、いくつかの注意点があります。

この注意点を考慮せずに結果の解釈をしてしまうと、誤った結果の解釈でミスリードしてしまうことがありますので、重回帰分析を使用する際には、この注意点に関する知識が必須です。

これらの注意点の詳細と、その対策については、追って別記事で解説します。

まとめ

この記事では、重回帰分析の基本的な考え方と、単回帰分析との違いについて解説しました。

• 重回帰分析は、複数の説明変数を使って目的変数を予測する手法
• 要因を組み合わせることで、予測精度が向上する
• 係数は最小二乗法により求められ、残差が最も小さくなるように決まる
• R²が高くなる理由や、説明変数間の相関による注意点も理解が必要

重回帰分析は、実務でも非常に利用頻度が高い基本手法なので、その仕組みを注意点と共に正しく理解しておくことで、データ分析の幅が大きく広がり、より適切なモデル構築や判断ができるようになります。