　　　　　　　　　　　　　　　　　　　　　　　（経済学、リンク::::::::::）

計量経済学及びGMM
http://nam-students.blogspot.jp/2015/12/gmm.html

NAMs出版プロジェクト: 最小二乗法（直線）の簡単な説明

http://nam-students.blogspot.jp/2017/10/blog-post_6.html＠

経済数学の直観的方法確率・統計編（ブルーバックス）/長沼伸一郎
http://nam-students.blogspot.jp/2016/12/honto.html

最小二乗法（直線）の簡単な説明 | 高校数学の美しい物語
http://mathtrain.jp/leastsquares

　　　　　ｙ
　　　　　　｜　　　　　　　　　／
　　　　　　｜　　　　　。　　／
　　　　　　｜　　　　　⇧　／
　　　　　　｜　　　　　⇩／　　
　　　　　　｜　　　　　／
　　　　　　｜　　　　／　　
　　　　　　｜　　　／　　
　　　　　　｜　　／
　　　　　　｜　／　　
　　　　　　｜／⇧
　　　　　　／　⇩
　　。　　／｜　。
　　⇧　／　｜
＿＿⇩／＿＿｜＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
　　／　　　｜　　　　　　　　　　　　　　　ｘ
　。　　　　｜　。が与えられたときに
／　　　　　｜　⇧⇩の二乗和を最小化する
　　　　　　｜　直線を求めたい

最小二乗法について

最小二乗法による直線フィッティングの基礎的な説明です。
最小二乗法はデータの組

(x_{i}, y_{i})

が

n 組与えられたときに，そのデータたちの関係を表すもっともらしい直線を求める方法です。

…

n

二つセットのデータの組(xi,yi) x i y i が n 個与えられた状況を考えています。そして

$n$ $x_{i}$ と $y_{i}$ に直線的な関係があると推察できるときに，ある意味で最も相応しい直線を引くのが最小二乗法です。

…

直線フィッティングの複雑な式を導出します。考え方は非常に単純です。

もっともらしい直線の式を $y = A x + B$ とおくと， $(x_{i}, y_{i})$ とその直線との $y$ 方向の誤差（ズレ）は， $| y_{i} - A x_{i} - B |$ です。この誤差の二乗和が最小になるのが最もらしい直線であると考えるのが最小二乗法の流儀です。

つまり， $\sum (y_{i} - A x_{i} - B)^{2}$ を最小化するような $A, B$ を求める問題となりました。変数が $A, B$ でそれ以外は定数である（データによって与えられている）ことに注意して下さい。

これは，二変数の二次関数で紹介したいずれの手法で解くこともできます。数式がやや複雑ですが頑張って計算すると冒頭の直線フィッティングの式を得ます。

＿＿＿

参照：

統計学 (1970年) (経済学入門叢書〈6〉)
畠中道雄,鈴木篤; －

ここで最小二乗法はピタゴラスの定理と関連して説明される。

畠中には以下の著作がある。他にシムズにも引用された論文を書いている。

計量経済学の方法 (創文社現代経済学選書) 単行本 – 1996/10

畠中道雄

https://www.amazon.co.jp/dp/4423895048/

参考：

最小２乗法と幾何学的解釈　土居正明

http://www012.upp.so-net.ne.jp/doi/math/anova/least_square.pdf

幾何学的解釈が活躍するところです。幾何学的解釈は、「最小２乗推定量に基づくyの予測値*15」＝「yのVXへの射影」＝「VXへ垂線を下ろす」ということを行っています。垂線を下ろしているので、平面と垂線は直交します。そこで「三平方の定理」を考えましょう、というのが実は幾何学的解釈が最も活用される場所なのです。

5.1.6

２つの推定量の比較と三平方の定理

　では、これらをもとにして、幾何学的解釈から先の等式(3)を導きましょう。(i)まず「モデル２」から考えます。

大事なことは、yを「予測値の部分(y＾)」と「残差の部分(e2)」に分割することです。つまり、

　　　　　y=y＾+e2　　　　　　　　　　(7)

です。ここで、yはV2に入り、e2はV2と直交することから、y＾とe2は直交しますので、三平方の定理から

　　　||y||^2=||y＾||^2+||e2||^2

です。

(ii)次に「モデル１」についてですが、こちらも同じく「予測値の部分(¹y)」と「残差の部分(e2)」に分割します。

　　　y=¹y+e1　　　　　　　　　　　　(8)

すると「モデル２」と同様に、¹yとe1は直交しますので、ここでも三平方の定理より

　　　||y||^2=||¹y||^2+||e1||^2

が成り立ちます。

一般化モーメント法 - Wikipedia

https://ja.wikipedia.org/wiki/一般化モーメント法

一般化モーメント法（いっぱんかモーメントほう、英: generalized method of moments, GMM）とは、計量経済学において統計モデルのパラメーターを推定するための一般的な方法である。通常、セミパラメトリックモデルで適用され、そのようなセミパラメトリックモデルにおいて興味のあるパラメーターは有限次元であり、一方データの分布関数の全容は知られていないこともありうる。よってそのようなモデルでは最尤法が適用できない。

一般化モーメント法においては、モデルについてのいくつかのモーメント条件が特定されている必要がある。これらのモーメント条件はモデルのパラメーターとデータの関数である。例えば、真のパラメーターの下で期待値が0となるようなものがある。この時、一般化モーメント法はモーメント条件の標本平均のあるノルムを最小化する。

一般化モーメント法による推定量は一致性、漸近正規性を持つことが知られ、さらにモーメント条件以外の情報を使わないすべての推定量のクラスにおいて統計的に効率的であることも知られている。

一般化モーメント法はラース・ハンセンにより1982年に、カール・ピアソンが1894年に導入したモーメント法の一つの一般化として提案された。ハンセンはこの業績により2013年のノーベル経済学賞を受賞した。

概要：

利用可能なデータは T 個の観測値 {Y_t }_{t = 1,...,T} からなると仮定する。ここでそれぞれの観測値 Y_t は n 次元の多次元確率変数であるとする。ここでこのデータはある統計モデルから生成されるとし、その統計モデルは未知パラメーター θ ∈ Θ によって定義されるものとする。この推定問題の目的は真のパラメーター θ₀ もしくは少なくとも適度に近い推定量を見つけることである。

一般化モーメント法の一般的な仮定はデータ Y_t が弱定常（英語版）かつエルゴード（英語版）な確率過程であることである（独立かつ同一分布に従う確率変数 Y_t はこの条件の特殊ケースである）。

一般化モーメント法を適用する為に、モーメント条件を特定する必要がある。つまり以下のようなベクトル値関数 g(Y,θ) が既知でなくてはならない。

m (θ_{0}) \equiv E [g (Y_{t}, θ_{0})] = 0,

ここで E は期待値、Y_t は一般的な観測値を表す。加えて関数 m(θ) は θ ≠ θ₀ ならば0と異なる値を取らなくてはならない。そうでなければパラメーター θ は識別不可能である。

一般化モーメント法の基本的なアイデアは理論的な期待値 E[⋅] を実証的なもの、つまり標本平均に置き換えることである。

\hat{m} (θ) \equiv \frac{1}{T} \sum_{t = 1}^{T} g (Y_{t}, θ)

そして、この時、この表現のあるノルムを θ について最小化する。ノルムを最小化する θ が θ₀ の推定量である。

大数の法則により、十分大きな T について $\hat{m} (θ) \approx E [g (Y_{t}, θ)] = m (θ)$ であり、よって $\hat{m} (θ_{0}) \approx m (θ_{0}) = 0$ が成り立つことが予想される。一般化モーメント法はできるだけ $\hat{m} (\hat{θ})$ を0に近づけるような $\hat{θ}$ を探す。数学的にはこの方法は $\hat{m} (θ)$ のあるノルムを最小化することと同値である（m のノルムを ||m|| と表し、m とゼロの間の距離を測るものとする)。結果として得られた推定量の持つ性質はノルム関数の選択にもよるので、ゆえに一般化モーメント法の理論はノルム全体の族を考慮する。以下を定義する。

∥ \hat{m} (θ) ∥_{W}^{2} = \hat{m} (θ)^{'} W \hat{m} (θ),

ここで W は正値定符号である加重行列で m′ は転置を表す。実践上、加重行列 W は利用可能なデータセットに基づいて計算され、そのようにして計算された加重行列を ${\hat{W}}_{T}$ とする。よって一般化モーメント法による推定量は以下のように書ける。

\hat{θ} = \arg min_{θ \in Θ} (\frac{1}{T} \sum_{t = 1}^{T} g (Y_{t}, θ))^{'} {\hat{W}}_{T} (\frac{1}{T} \sum_{t = 1}^{T} g (Y_{t}, θ))

適切な条件の下で、一般化モーメント法による推定量は一致性と漸近正規性を持つ。そして加重行列 $\scriptstyle {\hat {W}}_{T}$ を正しく選択すれば効率的な推定量となる。

他の多くの推定法は一般化モーメント法の意味で解釈できる。

最小二乗法（英: Ordinary least squares, OLS）は一般化モーメント法と以下のモーメント条件で同値となる。

E [x_{t} (y_{t} - x_{t}^{'} β)] = 0

一般化最小二乗法（英語版）（英: Generalized least squares, GLS）

E [x_{t} (y_{t} - x_{t}^{'} β) / σ^{2} (x_{t})] = 0

操作変数法（英: Instrumental variables regression, IV）

E [z_{t} (y_{t} - x_{t}^{'} β)] = 0

非線形最小二乗法（英: Non-linear least squares, NLS）

E [\nabla_{β} g (x_{t}, β) \cdot (y_{t} - g (x_{t}, β))] = 0

最尤法（英: Maximum likelihood estimation, MLE）

E [\nabla_{θ} \ln f (x_{t}, θ)] = 0

Lars Hansenラース・ハンセン一般化モーメント法（Generalized method of moments, GMM）

http://nam-students.blogspot.jp/2017/02/lars-hansen-generalized-method-of.html＠

ＧＭＭ（一般化モーメント法）と直交条件：

　　　　　　　　　　　　　　　　　／｜　
　　　　　　　　　　　　　　ｙ　／　｜ε
　　　　　　　　　　＿＿＿＿＿／＿＿｜＿＿＿＿＿＿＿
　　　　　　　　　／　　　　／　　　｜　　　　ｓ　／　　　　
　　　　　　　　／　　　　／　　　　｜　　　　　／　　　　　
　　　　　　　／　　　　／　　＾ｙ↗︎　　　　　／　　　
　　　　　　／　　　　／　　　　　　　　　　／
　　　　　／＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿／　

　ＧＭＭの名称のベースになっているモーメント(=積率)法は、母集団の
モーメントについて成立しているはずの条件が、私たちの手元にある標本に
ついて計算されるモーメントにおいても同様に成立されるはずだ、という
ことから推定する手法だ。
…
　今、目的変数ｙをいくつかの説明変数によって構成される平面（世界）Ｓに
写し取って推定値＾ｙを得ることを考える。この場合、もっとも適切な＾ｙは、
ｙから平面Ｓに対して垂線εを下ろすことで得られるだろう。とすれば、ｙの
推定値＾ｙの特徴は、＾ｙとεとが直角に交わることに見出だせる。これが直交
条件だ。OLS(=最小二乗法)の場合であれば、残差と説明変数とが無相関という

特徴が直交条件に該当するし、IV(=操作変数法)の場合であれば、操作変数の

唯一経路条件が直交条件に該当する。
　あとは、この直交条件を満たすような形で連立方程式を解けば、パラメータの
推定値が得られる。

実証分析入門データから「因果関係」を読み解く作法 #27

森田　果

著

日本評論社 2014.06

https://www.nippyo.co.jp/shop/book/6554.html

https://www.amazon.co.jp/dp/4535557934

OLS(=最小二乗法) (Ordinary Least Squares)

IV(=操作変数法)（そうさへんすうほう、英: method of instrumental variables）