読者です 読者をやめる 読者になる 読者になる

myumori diary

ねこのようにいきる

Wed, Feb 15, 2017

8時起床. 昨夜コードを書いていたらそのまま椅子で寝落ちしてしまった.

時系列勉強会でハミルトン上巻の8章(時系列モデルに対する最小二乗法関連の話)を読んだ. その際, 「AR(1)モデルのパラメータをOLS(ordinary least squares)で推定しても不偏推定量にはならない」という点でハマった(後述).

コアエコノメの成績が開示され, 無事Aであった. ただしAは9位〜18位相当ということなので, 今後他の大学院に行くのであれば再履修する必要があるかも. 同ゼミの某氏はA+だったようだ. さすが.

その後エコノメのTAの方と話したら, ネットワークの勉強会に誘ってくださった. ありがたや.

オーストラリアの件とは別件で, 3月26日〜31日までプノンペンカンボジア)に行くことになった. たまに顔を出しているNPO法人で今年度分のチケットが余ったので, ということだそうだ. 航空券, ホテル, ビザ, 保険その他の交通費等を負担してくれるらしい.

AR(1)モデル:

 \begin{align} y_t = b_0 + b_1 y_{t-1} + \epsilon_t, \ \text{where} \ \epsilon_t \overset{\text{i.i.d.}}{\sim} N(0, 1) \end{align}

の係数 b_0, b_1を素朴に最小二乗法で推定すると, OLS推定量 \beta_0, \beta_1は一致推定量だが, 不偏推定量ではなくなるらしい.

データ y_tが0期〜T期まであるとすると, OLS推定量は

 \begin{align} \min_{\beta_0, \beta_1} \sum_{t=1}^{T} (y_t - \beta_0 - \beta_1 y_{t-1})^{2} \end{align}

を与える \beta_0, \beta_1となる. いま

 \begin{align} 
  Y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_T \end{bmatrix}, \ 
  X = \begin{bmatrix} 1 & y_0 \\ 1 & y_1 \\ \vdots & \vdots \\ 1 & y_{T-1} \end{bmatrix}, \ 
  b= \begin{bmatrix} b_0 \\ b_1 \end{bmatrix}, \ 
  \beta = \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}, \ 
  \epsilon = \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_T \end{bmatrix} \ 
\end{align}

とおけば, 真のモデルと最小化問題は

 \begin{align} Y_T &= X b + \epsilon \end{align}

 \begin{align} \min_{\beta} &\ (Y_T - X^T \beta)^T (Y_T - X^T \beta) \end{align}

となる.  \betaについてF.O.Cを解けば,

 \begin{align} 
\beta &= (X^T X)^{-1} X^T Y \\
&= b + (X^T X)^{-1} X^T \epsilon \\
&= b + \left( \frac{1}{T} \sum_{t=1}^{T} \begin{bmatrix} 1 & y_{t-1} \\ y_{t-1} & y_{t-1}^2 \end{bmatrix} \right)^{-1}  \frac{1}{T} \sum_{t=1}^{T} \begin{bmatrix} 1 \\ y_{t-1} \end{bmatrix} \epsilon_{t}
\end{align}

 \newcommand{\E}{\mathrm{E}} \beta bの一致推定量であることは,  \E[y_t^2] < \inftyを仮定すれば, 大数の法則から

 \begin{align} 
&\frac{1}{T} \sum_{t=1}^{T} \epsilon_{t} \stackrel{p}{\longrightarrow }  \E[\epsilon_{t}] = 0 \\
&\frac{1}{T} \sum_{t=1}^{T} y_{t-1} \epsilon_{t} \stackrel{p}{\longrightarrow }  \E[y_{t-1} \epsilon_{t}] = \E[y_{t-1} \E[\epsilon_t | y_{t-1}]] = 0 \\
&\frac{1}{T} \sum_{t=1}^{T}  \begin{bmatrix} 1 & y_{t-1} \\ y_{t-1} & y_{t-1}^2 \end{bmatrix} \stackrel{p}{\longrightarrow }  E\left[\begin{bmatrix} 1 & y_{t} \\ y_{t} & y_{t}^2 \end{bmatrix}\right]
\end{align}

よりわかる(ただし2番目と3番目はデータがiidでなく, それ用のLLNが必要).

以下2017/2/17改訂

一方で \beta bの不偏推定量にならないのは,  \epsilon_t y_{t},  y_{t+1},  y_{t+2}, \ldotsが相関していることに起因する. 具体的には

 \begin{align} 
\E[\beta - b] &= \E[(X^T X)^{-1} X^T \epsilon] \\
&= \E\left[
      \begin{bmatrix} T & \sum_{t=1}^{T} y_{t-1} \\ \sum_{t=1}^{T} y_{t-1} & \sum_{t=1}^{T} y_{t-1}^2 \end{bmatrix}^{-1} 
      \begin{bmatrix} 1 & 1 & \ldots & 1 \\ y_0 & y_1 & \ldots & y_{T-1} \end{bmatrix}
      \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_T \end{bmatrix} 
      \right] \\
&= \E\left[
      \cfrac{1}{\sum y_{t-1}^2 - (\sum y_{t-1})^2}
      \begin{bmatrix} \sum y_{t-1}^2 & -\sum y_{t-1} \\ -\sum y_{t-1} & T \end{bmatrix}
      \begin{bmatrix} \sum \epsilon_t \\ \sum y_{t-1} \epsilon_t \end{bmatrix} 
      \right] \\
&= \E\left[
      \cfrac{1}{\sum y_{t-1}^2 - (\sum y_{t-1})^2}
      \begin{bmatrix} (\sum y_{t-1}^2)(\sum \epsilon_t) - (\sum y_{t-1})(\sum y_{t-1} \epsilon_t) \\ -(\sum y_{t-1}) (\sum \epsilon_t) + T(\sum y_{t-1} \epsilon_t) \end{bmatrix} 
      \right] \\
\end{align}

のようになる.  \epsilon_t y_{t+1}以降のクロス項がでてきているので結果は \mathbb{0}になりそうもないが, 実際にどの程度のbiasがあるのかはわかっていない.

ちょうどAR(1)のOLS推定量のbiasを解析する論文を見つけたので, あとで読んでみる.

ところではてなブログ, 数式がものすごく書きづらい. 例えば &= で式の位置を縦に揃えることができない. なんとかしたいが……

広告を非表示にする