実験ノート

実験ノート

12/02.1

概要

新たな評価基準を設けた。それによる考察を兼ねて、実験結果を整理する。

実験

次元数 \(2\) 、\(w_{0}=(0,0)^T\) で、次の４象限に分けて実験結果をまとめた。

\(\boldsymbol\Gamma\)	\(\boldsymbol\Sigma\)
\(2^{-4}\mathbf I\)	\(2^{-2}\mathbf I\)
\(2^{-4}\mathbf I\)	\(2^{4}\mathbf I\)
\(2^{-12}\mathbf I\)	\(2^{-2}\mathbf I\)
\(2^{-12}\mathbf I\)	\(2^{4}\mathbf I\)

結果

エビフライトライアングル

• \(\mathbf w_t\) の遷移が大きい（ \(\boldsymbol\Gamma\) が大きい）ほど、(EKFよりも)変分近似が優れる
• \(\mathbf x\) の分散に関しては、単純に優劣の評価ができない。

aaa

• \(\mathbf x_t\) の分散や \(\mathbf w_t\) の分散は、単純にスケールされている点に注意が必要

12/10.1

概要

推定誤差共分散行列は、両者に明確な大小がある。

\[\mathbf P_{t/t}^{-1}=\mathbf P_{t/t-1}^{-1}+\sigma_t(1-\sigma_t)\mathbf x_t\mathbf x_t^T\]

\[\mathbf P_{t/t}^{-1}=\mathbf P_{t/t-1}^{-1}+2\lambda(\xi_t)\mathbf x_t\mathbf x_t^T\]

• 青: \(\displaystyle\sigma(x)\{1-\sigma(x)\}\)
• 緑: \(2\lambda(x)=\displaystyle\frac{1}{x}\left(\sigma(x)-\frac{1}{2}\right)\)

aaa

実験

\[\overline{\mathbf P}=\frac{1}{N_{\text{seed}}T}\sum_{s,t}\text{seed} (s) \text{における}\mathbf P_{t/t}\] \[\text{frob\_error}=\|\overline{\mathbf P}-\mathbf\Gamma\|_F\] \[\text{relative\_error}=\frac{\text{frob\_error}}{\|\Gamma\|_F}\] \[\mathbf\Gamma=2^p\mathbf I\]

aaa

備考

\[p(\mathbf w_{t}\mid\mathbf w_{t-1}) = \mathcal N(\mathbf w_{t}\mid\mathbf w_{t-1},\mathbf \Gamma)\] \[p(\mathbf w_t\mid\mathbf Y_t) = \mathcal N(\mathbf w_t\mid\hat{\mathbf w}_{t/t},\mathbf P_{t/t})\]

\(\mathbf Y_t\) には \(\mathbf w_{t-1}\) の情報が入っているので、次の２つの式はほとんど同じ

\[p(\mathbf w_t)=\int p(\mathbf w_t\mid\mathbf Y_t)p(\mathbf Y_t)d\mathbf Y_t\]

\[p(\mathbf w_t\mid\mathbf w_{t-1})=\int p(\mathbf w_t\mid\mathbf w_{t-1}, \mathbf Y_t)p(\mathbf Y_t)d\mathbf Y_t\]

実験では、\(\mathbf P_{t/t}\) に対して期待値をとっている。

12/16.1

概要

表に対して、比較するグラフを作成。

\(\!\)	Frobenius error	Relative error
normal plot
log plot

考察

\(\boldsymbol\Gamma\) の大きさに合わせて、フロベニウス誤差が線形に増加しているのが正常であると考えられる。

\(\!\)	\(p=-4\)	\(p=-12\)
\[\hat w_t^1-w_t^1\]

12/23.1

概要

データの生成過程を変更して実験を行ったが、結果があまり変わらなかった。

aaa

1/6.1

概要

濾波推定値 \(\mathbf w_{t/t}\) を EKF によって推論し、誤差共分散行列 \(\mathbf P_{t/t}\) を変分近似で推論する手法を試した。

通常の EKF と比較して、性能が向上すれば、EKF の誤差共分散行列の推定が不適切であることを部分的に示すことができる。

\[\hat{\mathbf w}_{t/t}=\hat{\mathbf w}_{t/t-1}+\frac{1}{1+\sigma_t(1-\sigma_t)\mathbf x_t^T\mathbf P_{t/t-1}\mathbf x_t}\mathbf P_{t/t-1}\mathbf x_t(y_t-\sigma_t)\]

\[\mathbf P_{t/t}=\mathbf P_{t/t-1}-\frac{2\lambda(\xi_t)}{1+2\lambda(\xi_t)\mathbf x_t^T\mathbf P_{t/t-1}\mathbf x_t}\left(\mathbf P_{t/t-1}\mathbf x_t\right)\left(\mathbf P_{t/t-1}\mathbf x_t\right)^T \]

\[\xi_t=\sqrt{\mathbf x_t^T\left(\mathbf P_{t/t-1}+\hat{\mathbf w}_{t/t-1}\hat{\mathbf w}_{t/t-1}^T\right)\mathbf x_t}\]

結果

wEXP_PVA がここで定義した手法

• この手法はどのパラメータにおいても、変分近似に劣る
• EKF のばらつきが大きいパラメータにおいては、この手法はばらつきがそれほど大きくない
• EKF のばらつきは、誤差共分散行列によって引き起こされていると考えられる

\(\!\)	\[p=-4\]
\[q=-2\]
\[q=2\]
\[q=4\]