Wed, Feb 15, 2017 - myumori diary

8時起床. 昨夜コードを書いていたらそのまま椅子で寝落ちしてしまった.

時系列勉強会でハミルトン上巻の8章（時系列モデルに対する最小二乗法関連の話）を読んだ. その際, 「AR(1)モデルのパラメータをOLS(ordinary least squares)で推定しても不偏推定量にはならない」という点でハマった（後述）.

コアエコノメの成績が開示され, 無事Aであった. ただしAは9位〜18位相当ということなので, 今後他の大学院に行くのであれば再履修する必要があるかも. 同ゼミの某氏はA+だったようだ. さすが.

その後エコノメのTAの方と話したら, ネットワークの勉強会に誘ってくださった. ありがたや.

オーストラリアの件とは別件で, 3月26日〜31日までプノンペン（カンボジア）に行くことになった. たまに顔を出しているNPO法人で今年度分のチケットが余ったので, ということだそうだ. 航空券, ホテル, ビザ, 保険その他の交通費等を負担してくれるらしい.

AR(1)モデル:

$\begin{align} y_t = b_0 + b_1 y_{t-1} + \epsilon_t, \ \text{where} \ \epsilon_t \overset{\text{i.i.d.}}{\sim} N(0, 1) \end{align}$

の係数 $b_0, b_1$ を素朴に最小二乗法で推定すると, OLS推定量 $\beta_0, \beta_1$ は一致推定量だが, 不偏推定量ではなくなるらしい.

データ $y_t$ が0期〜T期まであるとすると, OLS推定量は

$\begin{align} \min_{\beta_0, \beta_1} \sum_{t=1}^{T} (y_t - \beta_0 - \beta_1 y_{t-1})^{2} \end{align}$

を与える $\beta_0, \beta_1$ となる. いま

$\begin{align} Y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_T \end{bmatrix}, \ X = \begin{bmatrix} 1 & y_0 \\ 1 & y_1 \\ \vdots & \vdots \\ 1 & y_{T-1} \end{bmatrix}, \ b= \begin{bmatrix} b_0 \\ b_1 \end{bmatrix}, \ \beta = \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}, \ \epsilon = \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_T \end{bmatrix} \ \end{align}$

とおけば, 真のモデルと最小化問題は

$\begin{align} Y_T &= X b + \epsilon \end{align}$

$\begin{align} \min_{\beta} &\ (Y_T - X^T \beta)^T (Y_T - X^T \beta) \end{align}$

となる. $\beta$ についてF.O.Cを解けば,

$\begin{align} \beta &= (X^T X)^{-1} X^T Y \\ &= b + (X^T X)^{-1} X^T \epsilon \\ &= b + \left( \frac{1}{T} \sum_{t=1}^{T} \begin{bmatrix} 1 & y_{t-1} \\ y_{t-1} & y_{t-1}^2 \end{bmatrix} \right)^{-1} \frac{1}{T} \sum_{t=1}^{T} \begin{bmatrix} 1 \\ y_{t-1} \end{bmatrix} \epsilon_{t} \end{align}$

$\newcommand{\E}{\mathrm{E}} \beta$ が $b$ の一致推定量であることは, $\E[y_t^2] < \infty$ を仮定すれば, 大数の法則から

$\begin{align} &\frac{1}{T} \sum_{t=1}^{T} \epsilon_{t} \stackrel{p}{\longrightarrow } \E[\epsilon_{t}] = 0 \\ &\frac{1}{T} \sum_{t=1}^{T} y_{t-1} \epsilon_{t} \stackrel{p}{\longrightarrow } \E[y_{t-1} \epsilon_{t}] = \E[y_{t-1} \E[\epsilon_t | y_{t-1}]] = 0 \\ &\frac{1}{T} \sum_{t=1}^{T} \begin{bmatrix} 1 & y_{t-1} \\ y_{t-1} & y_{t-1}^2 \end{bmatrix} \stackrel{p}{\longrightarrow } E\left[\begin{bmatrix} 1 & y_{t} \\ y_{t} & y_{t}^2 \end{bmatrix}\right] \end{align}$

よりわかる(ただし2番目と3番目はデータがiidでなく, それ用のLLNが必要).

以下2017/2/17改訂

一方で $\beta$ が $b$ の不偏推定量にならないのは, $\epsilon_t$ と $y_{t}, y_{t+1}, y_{t+2}, \ldots$ が相関していることに起因する. 具体的には

$\begin{align} \E[\beta - b] &= \E[(X^T X)^{-1} X^T \epsilon] \\ &= \E\left[ \begin{bmatrix} T & \sum_{t=1}^{T} y_{t-1} \\ \sum_{t=1}^{T} y_{t-1} & \sum_{t=1}^{T} y_{t-1}^2 \end{bmatrix}^{-1} \begin{bmatrix} 1 & 1 & \ldots & 1 \\ y_0 & y_1 & \ldots & y_{T-1} \end{bmatrix} \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_T \end{bmatrix} \right] \\ &= \E\left[ \cfrac{1}{\sum y_{t-1}^2 - (\sum y_{t-1})^2} \begin{bmatrix} \sum y_{t-1}^2 & -\sum y_{t-1} \\ -\sum y_{t-1} & T \end{bmatrix} \begin{bmatrix} \sum \epsilon_t \\ \sum y_{t-1} \epsilon_t \end{bmatrix} \right] \\ &= \E\left[ \cfrac{1}{\sum y_{t-1}^2 - (\sum y_{t-1})^2} \begin{bmatrix} (\sum y_{t-1}^2)(\sum \epsilon_t) - (\sum y_{t-1})(\sum y_{t-1} \epsilon_t) \\ -(\sum y_{t-1}) (\sum \epsilon_t) + T(\sum y_{t-1} \epsilon_t) \end{bmatrix} \right] \\ \end{align}$

のようになる. $\epsilon_t$ と $y_{t+1}$ 以降のクロス項がでてきているので結果は $\mathbb{0}$ になりそうもないが, 実際にどの程度のbiasがあるのかはわかっていない.

ちょうどAR(1)のOLS推定量のbiasを解析する論文を見つけたので, あとで読んでみる.

ところではてなブログ, 数式がものすごく書きづらい. 例えば &= で式の位置を縦に揃えることができない. なんとかしたいが……