木曜日, 3月 30, 2017

統計学 (1970年) (経済学入門叢書〈6〉(畠中 道雄,鈴木 篤)で最小二乗法は ピタゴラスの定理と関連して説明される。ベクトルの一辺は三角形(直角三角 形)の一辺と同じと見なせる。


            /\ 
           /    \ 
          /        \
  3x3    /          /
   _____/          /
  |_|_|_|\        /5×5
  |_|_|_|   \    /
  |_|_|_|______\/
        |_|_|_|_|
        |_|_|_|_|4×4
        |_|_|_|_|
        |_|_|_|_|


統計学 (1970年) (経済学入門叢書〈6〉(畠中 道雄,鈴木 篤)で最小二乗法はピタゴラスの定理と関連して説明される。ベクトルの一辺は三角形(直角三角形)の一辺と同じと見なせる。





い.15.4 ピタゴラスの定理15.2で与えられた幾何的な説明を少し深く進めながら,(15.12ノ)が実はピタゴラスの定理にはかならないことを示そう.1)さきにXと1とではられる面を考えたが,一般に工と1とは直交していない。1はそのままとし, xの代りに1と直交するベクトルタを導いて同一の面を1と'とではられるとななすことを試みよう.第15章 最小2乗法(I)21,補論I.2(32卜328ページ)におけるシュミットの直交化(SCh―midt's orthogonalization)を用いるが,基底の長さを1とすることは不必要なので,補論正におけるαtからυじへの変換は省略する.1はそのままとし″=χ―`1とおきε=1′1==÷Σ χι一%″とすれば(14.3)の記号を用いて(15.14)'=χ一%″1.図15.3は(15.14)を図示したものである。図15.3図15.4は,同一の空間を1とχではられると考える以外は,図15.2と同一である。ベクトルνの頂点をP,Pより1次結合の面におろした垂線の足をQとする.PQはPを含んでベクトル1に直交する面の中にあるが,この面が1と交わる点をRとすると,QRもこの面の中にあり,QRもPRも1と直交する.さらにQRは1と'とではられる面の上にあって'と平行である.PRは1と直交しているが,シュミットの直交化においてわかったようにRPが
6図154夕=ν―%ノ1である。15.2より,あるいは(15.2)よりo5D3=妻であるが, 3が図15.4ではどのように表現されるかを考えよう.夕と'との間の角度をθとすると,補論Ⅲ(I.14)式にあるようにo51の範=1部ゃ上″=T器嘉1冊χ=鶏χ=ιχ・基本的な関係は原点をRに移して図15.5を考えると明らかになる.QはPよりχにおろした垂線の足である.RP―Ro=,-3,は残差ベクトルであるから,これをCと書くと,それはQPである.最小2乗法とは'を直交する2つのベクトルの和,3″+θとみなすことである.RO,すなわち,3'が″と1次的に関係して

いる部分,QP,あるいはθが関係していない部分である.(1)θと'とは直交している.O′″=0。これが(15.10)である。② ll夕|′=13'P+θr.このピタゴラスの定理が(15.12′)である。③ R2_褥育|「=Cげなお鼎がPであ先日がげであ

参考:
最小2乗法と幾何学的解釈 土居正明
幾何学的解釈が活躍するところです。幾何学的解釈は、「最小2乗推定量に基づくyの予測値*15」=「yのVXへの射影」=「VXへ垂線を下ろす」ということを行っています。垂線を下ろしているので、平面と垂線は直交します。そこで「三平方の定理」を考えましょう、というのが実は幾何学的解釈が最も活用される場所なのです。

5.1.6
2つの推定量の比較と三平方の定理
 では、これらをもとにして、幾何学的解釈から先の等式(3)を導きましょう。(i)まず「モデル2」から考えます。
大事なことは、yを「予測値の部分(y^)」と「残差の部分(e2)」に分割することです。つまり、
     y=y^+e2          (7)
です。ここで、yはV2に入り、e2はV2と直交することから、y^とe2は直交しますので、三平方の定理から
   ||y||^2=||y^||^2+||e2||^2
です。
(ii)次に「モデル1」についてですが、こちらも同じく「予測値の部分(¹y)」と「残差の部分(e2)」に分割します。
   y=¹y+e1            (8)
すると「モデル2」と同様に、¹yとe1は直交しますので、ここでも三平方の定理より
   ||y||^2=||¹y||^2+||e1||^2
が成り立ちます。



_____ 


一般化モーメント法 - Wikipedia

他の多くの推定法は一般化モーメント法の意味で解釈できる。

  • 最小二乗法Ordinary least squares, OLS)は一般化モーメント法と以下のモーメント条件で同値となる。
E[xt(ytxtβ)]=0\operatorname {E} [\,x_{t}(y_{t}-x_{t}'\beta )\,]=0
E[xt(ytxtβ)/σ2(xt)]=0\operatorname {E} [\,x_{t}(y_{t}-x_{t}'\beta )/\sigma ^{2}(x_{t})\,]=0
E[zt(ytxtβ)]=0\operatorname {E} [\,z_{t}(y_{t}-x_{t}'\beta )\,]=0
E[βg(xt,β)(ytg(xt,β))]=0\operatorname {E} [\,\nabla _{\!\beta }\,g(x_{t},\beta )\cdot (y_{t}-g(x_{t},\beta ))\,]=0
E[θlnf(xt,θ)]=0\operatorname {E} [\,\nabla _{\!\theta }\ln f(x_{t},\theta )\,]=0
  • 0 Comments:

    コメントを投稿

    Links to this post:

    リンクを作成

    << Home