共通概念・表記
環境
\[ \begin{split} p(y_t=1\mid\mathbf w_t) &= \sigma(\mathbf w_t^T\mathbf x_t) \\ p(\mathbf w_{t+1}\mid\mathbf w_t) &= \mathcal N(\mathbf w_{t+1}\mid\mathbf w_t,\mathbf \Gamma) \end{split} \]
記法
\[ \begin{split} p(\mathbf w_t\mid\mathbf Y_t) &= \mathcal N(\mathbf w_t\mid\hat{\mathbf w}_{t/t},\mathbf P_{t/t}) \\ p(\mathbf w_{t+1}\mid\mathbf Y_t) &= \mathcal N(\mathbf w_{t+1}\mid\hat{\mathbf w}_{t+1/t},\mathbf P_{t+1/t}) \end{split} \]
- \(\hat{\mathbf w}_{t/t}\) : 濾波推定値
- \(\hat{\mathbf w}_{t+1/t}\) : 一段予測推定値
- \(\mathbf P_{t/t}\), \(\mathbf P_{t+1/t}\) : 推定誤差共分散行列
Logistic sigmoid func. と Softmax func.
クラスの条件付き確率密度がガウス分布であると仮定する。このとき、共分散行列が各クラスに共有されるとする。
\[p(\mathbf x_t\mid y_t=\mathcal C_1)=\mathcal N(\mathbf x_t\mid\boldsymbol \mu_{\mathcal C_1},\boldsymbol\Sigma)\]
このとき、決定境界は \(\mathbf x_t\) に対して線形となる。
共分散行列が各クラスに共有されないとすると、決定境界は２次判別関数となる \(\mathbf x_t\) の２次関数を得る。
状態推定問題
観測データ \(\mathbf Y_t\) に基づいて、ベイズリスク
\[ J=\mathbb E[\|\mathbf w_{t+m}-\hat{\mathbf w}_{t+m/t}\|^2],\ m=0,1 \]
を最小にする最適推定値 \(\hat{\mathbf w}_{t+m/t}\) は
\[ \hat{\mathbf w}_{t+m/t}=\mathbb E_{\mathbf w_{t+m}\mid\mathbf Y_t}[\mathbf w_{t+m}] \]
で与えられる。次式で説明される。
\[\frac{\partial}{\partial \hat{\mathbf w}_{t+m/t}}J=\int 2(\mathbf w_{t+m}-\hat{\mathbf w}_{t+m/t})p(\mathbf w\mid y)d\mathbf w=0\]