NAMs出版プロジェクト: 統計学 (1970年) (経済学入門叢書〈6〉（畠中道雄,鈴木篤）で最小二乗法はピタゴラスの定理と関連して説明される。ベクトルの一辺は三角形(直角三角形)の一辺と同じと見なせる。

　　　　　　　　　　　　／＼　
　　　　　　　　　　　／　　　　＼　
　　　　　　　　　　／　　　　　　　　＼
　　３ｘ３　　　　／　　　　　　　　　　／
　　　＿＿＿＿＿／　　　　　　　　　　／
　　｜＿｜＿｜＿｜＼　　　　　　　　／５×５
　　｜＿｜＿｜＿｜　　　＼　　　　／
　　｜＿｜＿｜＿｜＿＿＿＿＿＿＼／
　　　　　　　　｜＿｜＿｜＿｜＿｜
　　　　　　　　｜＿｜＿｜＿｜＿｜４×４
　　　　　　　　｜＿｜＿｜＿｜＿｜
　　　　　　　　｜＿｜＿｜＿｜＿｜

統計学 (1970年) (経済学入門叢書〈6〉（畠中道雄,鈴木篤）で最小二乗法はピタゴラスの定理と関連して説明される。ベクトルの一辺は三角形(直角三角形)の一辺と同じと見なせる。

い.15.4 ピタゴラスの定理15.2で与えられた幾何的な説明を少し深く進めながら,(15.12ノ)が実はピタゴラスの定理にはかならないことを示そう.1)さきにXと1とではられる面を考えたが,一般に工と1とは直交していない。1はそのままとし, xの代りに1と直交するベクトルタを導いて同一の面を1と'とではられるとななすことを試みよう.第15章最小2乗法(I)21,補論I.2(32卜328ページ)におけるシュミットの直交化(SCh―midt's orthogonalization)を用いるが,基底の長さを1とすることは不必要なので,補論正におけるαtからυじへの変換は省略する.1はそのままとし″=χ―`1とおきε=1′1==÷Σ χι一%″とすれば(14.3)の記号を用いて(15.14)'=χ一%″1.図15.3は(15.14)を図示したものである。図15.3図15.4は,同一の空間を1とχではられると考える以外は,図15.2と同一である。ベクトルνの頂点をP,Pより1次結合の面におろした垂線の足をQとする.PQはPを含んでベクトル1に直交する面の中にあるが,この面が1と交わる点をRとすると,QRもこの面の中にあり,QRもPRも1と直交する.さらにQRは1と'とではられる面の上にあって'と平行である.PRは1と直交しているが,シュミットの直交化においてわかったようにRPが

6図154夕=ν―%ノ1である。15.2より,あるいは(15.2)よりo5D3=妻であるが, 3が図15.4ではどのように表現されるかを考えよう.夕と'との間の角度をθとすると,補論Ⅲ(I.14)式にあるようにo51の範=1部ゃ上″=T器嘉1冊χ=鶏χ=ιχ・基本的な関係は原点をRに移して図15.5を考えると明らかになる.QはPよりχにおろした垂線の足である.RP―Ro=,-3,は残差ベクトルであるから,これをCと書くと,それはQPである.最小2乗法とは'を直交する2つのベクトルの和,3″+θとみなすことである.RO,すなわち,3'が″と1次的に関係して

いる部分,QP,あるいはθが関係していない部分である.(1)θと'とは直交している.O′″=0。これが(15.10)である。② ll夕|′=13'P+θr.このピタゴラスの定理が(15.12′)である。③ R2_褥育|「=Cげなお鼎がPであ先日がげであ

参考：

最小２乗法と幾何学的解釈　土居正明

http://www012.upp.so-net.ne.jp/doi/math/anova/least_square.pdf

幾何学的解釈が活躍するところです。幾何学的解釈は、「最小２乗推定量に基づくyの予測値*15」＝「yのVXへの射影」＝「VXへ垂線を下ろす」ということを行っています。垂線を下ろしているので、平面と垂線は直交します。そこで「三平方の定理」を考えましょう、というのが実は幾何学的解釈が最も活用される場所なのです。

5.1.6

２つの推定量の比較と三平方の定理

　では、これらをもとにして、幾何学的解釈から先の等式(3)を導きましょう。(i)まず「モデル２」から考えます。

大事なことは、yを「予測値の部分(y＾)」と「残差の部分(e2)」に分割することです。つまり、

　　　　　y=y＾+e2　　　　　　　　　　(7)

です。ここで、yはV2に入り、e2はV2と直交することから、y＾とe2は直交しますので、三平方の定理から

　　　||y||^2=||y＾||^2+||e2||^2

です。

(ii)次に「モデル１」についてですが、こちらも同じく「予測値の部分(¹y)」と「残差の部分(e2)」に分割します。

　　　y=¹y+e1　　　　　　　　　　　　(8)

すると「モデル２」と同様に、¹yとe1は直交しますので、ここでも三平方の定理より

　　　||y||^2=||¹y||^2+||e1||^2