Sun, Feb 19, 2017 - myumori diary

10時起床.

12時〜16時頃まで時系列勉強会の続き. 本題ではないのだが, あるモデル

$y_i = g(x_i) + \epsilon_i, \hspace{10pt} \text{where} \hspace{5pt} \epsilon_i \ \overset{\text{i.i.d.}}{\sim} f(\mu, \sigma^2)$

から得られたデータ $\{y_i, x_i\}$ があり, ここで関数 $g$ をニューラルネットワークで近似した場合, どんな性質の推定量 $\hat{g}_n$ (n: sample size)が手に入るのか, という話題がでた.

特に, 一般的に推定量の性能を評価する際に使われる一致性 (i.e, $\hat{g_n}(x) \overset{p}{\rightarrow} g(x), \forall x$ ) に相当するものが考えられるのか, が気になった. 調べたところ,

任意の連続関数は, いくつかの条件を満たす関数を活性化関数に用いた3層(i.e, 入力層/1層の中間層/出力層)のパーセプトロンで一様に近似できる(Universal Approximation Theorem)
$g$ に関する一定の条件のもとで, 上のモデルから得られたデータを用いて3層のパーセプトロンを学習させれば, $g$ を一致推定することができる(Mielniczuk&Tyrcha(1993))

が言えるようだ.

前者は活性化関数がsigmoidの場合(Cybenko(1989)) *1が有名で, ざっと見た限りわたしでも読めそう. 一方で後者は関数 $g$ が含まれる関数のクラスを扱う必要があり, 前提知識がある程度必要なようだ.

この話題はエコノメとの共通点が多く, 面白そうなので今後勉強していきたい.

夜は同級生で集まり, SHIROBAKOのBDを観た. 時間の制約上1〜10話までしか観ることができなかったが, 既視聴組が途中途中で盛り上がっているのをよそに, 初視聴組は食い入るように観てくれていたので嬉しかった.

*1:George Cybenko. (1989). Approximation by Superpositions of a Sigmoidal Function. Math. Control Signals Systems, Vol. 2., 303-314.