非線形カルマンフィルタの概要

概要

クラメル・ラオ不等式

局所的な逆行列の補題

任意の行列\(\mathbf A\)に対して、次の逆行列の公式が成り立つ：

\[\begin{pmatrix}\mathbf I & \mathbf 0 \\ \mathbf A & \mathbf I\end{pmatrix}^{-1}=\begin{pmatrix}\mathbf I & \mathbf 0 \\ -\mathbf A & \mathbf I\end{pmatrix}\tag{1}\]

Schur 補行列

定義

区分行列 \(\mathbf M\) を

\[\mathbf M=\begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf C & \mathbf D \end{pmatrix}\tag{2}\]

としたとき、区画 \(\mathbf D\) に関する Schur 補行列とは

\[\mathbf M/\mathbf D=\mathbf A-\mathbf B\mathbf D^{-1}\mathbf C\tag{3}\]

で与えられる。区画 \(\mathbf A\) に関する Schur 補行列とは

\[\mathbf M/\mathbf A=\mathbf D-\mathbf C\mathbf A^{-1}\mathbf B\tag{4}\]

で与えられる。

背景

Schur 補行列はブロック三角行列を掛けるという形でガウス消去法を施した結果として生じる。

\[ \begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf C & \mathbf D\end{pmatrix} \begin{pmatrix}\mathbf I & \mathbf 0 \\ \mathbf -\mathbf D^{-1}\mathbf C & \mathbf I\end{pmatrix} = \begin{pmatrix}\mathbf M/\mathbf D & \mathbf B \\ \mathbf 0 & \mathbf D\end{pmatrix} \tag{5} \]

\[ \begin{pmatrix}\mathbf I & -\mathbf B\mathbf D^{-1} \\ \mathbf 0 & \mathbf I\end{pmatrix} \begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf C & \mathbf D\end{pmatrix} = \begin{pmatrix}\mathbf M/\mathbf D & \mathbf 0 \\ \mathbf C & \mathbf D\end{pmatrix} \tag{6} \]

\[ \begin{pmatrix}\mathbf I & \mathbf 0 \\ -\mathbf C\mathbf A^{-1} & \mathbf I\end{pmatrix} \begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf C & \mathbf D\end{pmatrix} = \begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf 0 & \mathbf M/\mathbf A\end{pmatrix} \tag{7} \]

\[ \begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf C & \mathbf D\end{pmatrix} \begin{pmatrix}\mathbf I & -\mathbf A^{-1}\mathbf B \\ \mathbf 0 & \mathbf I\end{pmatrix} = \begin{pmatrix}\mathbf A & \mathbf 0 \\ \mathbf C & \ \mathbf M/\mathbf A\end{pmatrix} \tag{8} \]

区分行列の分解公式

定理

\[ \begin{pmatrix} \mathbf A & \mathbf B \\ \mathbf C & \mathbf D \end{pmatrix} = \begin{pmatrix} \mathbf I & \mathbf B\mathbf D^{-1} \\ \mathbf 0 & \mathbf I \end{pmatrix} \begin{pmatrix} \mathbf A-\mathbf B\mathbf D^{-1}\mathbf C & \mathbf 0 \\ \mathbf 0 & \mathbf D \end{pmatrix} \begin{pmatrix} \mathbf I & \mathbf 0 \\ \mathbf D^{-1}\mathbf C & \mathbf I \end{pmatrix} \tag{9}\]

特に

\[ \begin{pmatrix} \mathbf A & \mathbf b \\ \mathbf b^T & c \end{pmatrix} = \begin{pmatrix} \mathbf I & c^{-1}\mathbf b \\ \mathbf 0^T & 1 \end{pmatrix} \begin{pmatrix} \mathbf A-c^{-1}\mathbf b\mathbf b^T & \mathbf 0 \\ \mathbf 0^T & c \end{pmatrix} \begin{pmatrix} \mathbf I & \mathbf 0 \\ c^{-1}\mathbf b^T & 1 \end{pmatrix} \tag{10}\]

証明

\(\mathbf M\) , \(\mathbf N\) をそれぞれ次のように定義する。 \(\mathbf N\) は \(\mathbf M\) に \((5)\) の操作を施したときの右側の行列である。

\[\mathbf M=\begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf C & \mathbf D\end{pmatrix},\ \mathbf N=\begin{pmatrix}\mathbf M/\mathbf D & \mathbf B \\ \mathbf 0 & \mathbf D\end{pmatrix}\tag{11}\]

\[\mathbf M\begin{pmatrix}\mathbf I & \mathbf 0 \\ -\mathbf D^{-1}\mathbf C & \mathbf I\end{pmatrix}=\mathbf N\tag{12}\]

\((6)\) の左辺右側の行列と \(\mathbf N\) の、右側のブロック要素はそれぞれ \(\mathbf B, \mathbf D\) であり、\((6)\) の左辺左側の行列は \(\mathbf B, \mathbf D\) しか使われていないから、\((6)\) の左辺左側の行列をそのまま使って、

\[\begin{pmatrix}\mathbf I & -\mathbf B\mathbf D^{-1} \\ \mathbf 0 & \mathbf I\end{pmatrix}\mathbf N=\begin{pmatrix}\mathbf N/\mathbf D & \mathbf 0 \\ \mathbf 0 & \mathbf D\end{pmatrix}\tag{13}\]

と表せる。

ここで、

\[\mathbf N/\mathbf D=\mathbf M/\mathbf D-\mathbf B\mathbf D^{-1}\mathbf O=\mathbf M/\mathbf D\tag{14}\]

であるから、

\[\begin{pmatrix}\mathbf I & -\mathbf B\mathbf D^{-1} \\ \mathbf 0 & \mathbf I\end{pmatrix}\mathbf N=\begin{pmatrix}\mathbf M/\mathbf D & \mathbf 0 \\ \mathbf 0 & \mathbf D\end{pmatrix}\tag{15}\]

が成り立つ。 \((12)\) と \((15)\) から、

\[\begin{pmatrix}\mathbf I & -\mathbf B\mathbf D^{-1} \\ \mathbf 0 & \mathbf I\end{pmatrix}\mathbf M\begin{pmatrix}\mathbf I & \mathbf 0 \\ -\mathbf D^{-1}\mathbf C & \mathbf I\end{pmatrix}=\begin{pmatrix}\mathbf M/\mathbf D & \mathbf 0 \\ \mathbf 0 & \mathbf D\end{pmatrix}\tag{16}\]

である。 \((1)\) を用いると、

\[\mathbf M=\begin{pmatrix}\mathbf I & \mathbf B\mathbf D^{-1} \\ \mathbf 0 & \mathbf I\end{pmatrix}\begin{pmatrix}\mathbf M/\mathbf D & \mathbf 0 \\ \mathbf 0 & \mathbf D\end{pmatrix}\begin{pmatrix}\mathbf I & \mathbf 0 \\ \mathbf D^{-1}\mathbf C & \mathbf I\end{pmatrix}\tag{17}\]

が成り立つ。

区分行列の逆行列

定理

区分行列 \(\mathbf M\) を

\[\mathbf M=\begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf C & \mathbf D \end{pmatrix}\tag{18}\]

としたとき、

\[ \begin{split} \mathbf M^{-1} &=\begin{pmatrix}\mathbf A^{-1}+\mathbf A^{-1}\mathbf B(\mathbf M/\mathbf A)^{-1}\mathbf C\mathbf A^{-1} & -\mathbf A^{-1}\mathbf B(\mathbf M/\mathbf A)^{-1} \\ -(\mathbf M/\mathbf A)^{-1}\mathbf C\mathbf A^{-1} & (\mathbf M/\mathbf A)^{-1}\end{pmatrix} \\ &=\begin{pmatrix}(\mathbf M/\mathbf D)^{-1} & -(\mathbf M/\mathbf D)^{-1}\mathbf B\mathbf D^{-1} \\ -\mathbf D^{-1}\mathbf C(\mathbf M/\mathbf D)^{-1} & \mathbf D^{-1}+\mathbf D^{-1}\mathbf C(\mathbf M/\mathbf D)^{-1}\mathbf B\mathbf D^{-1}\end{pmatrix} \end{split} \tag{19}\]

が成り立つ。

区分行列の行列式

\((59)\) の行列式は、右辺の左右の行列の行列式は \(1\) になるから

\[ \det\begin{pmatrix} \mathbf A & \mathbf B \\ \mathbf C & \mathbf D \end{pmatrix} = \det\left(\mathbf A-\mathbf B\mathbf D^{-1}\mathbf C\right)\det\mathbf D \tag{20}\]

特に、

\[ \begin{split} \det\begin{pmatrix} \mathbf A & \mathbf b \\ \mathbf b^T & c \end{pmatrix} &= \det\left(\mathbf A-c^{-1}\mathbf b\mathbf b^T\right)\det c \\ &= \det\left(c\mathbf A-\mathbf b\mathbf b^T\right) \end{split} \tag{21}\]

Schur 補行列の正定値性

定理

対称な行列 \(\mathbf M\) を

\[\mathbf M=\begin{pmatrix}\mathbf A & \mathbf B \\ \mathbf B^T & \mathbf C\end{pmatrix}\tag{22}\]

とすると、

\[\text{If}\ \mathbf C\succ 0, \text{then}\ (\mathbf M\succeq 0\iff \mathbf M/\mathbf C\succeq 0)\tag{23}\]

\[\text{If}\ \mathbf A\succ 0, \text{then}\ (\mathbf M\succeq 0\iff \mathbf M/\mathbf A\succeq 0)\tag{24}\]

が成り立つ。

定理

\(\mathbb E\) を任意の期待値： \(\mathbb E_{\mathbf x,\mathbf y}, \mathbb E_{\mathbf x\mid\mathbf y}, \mathbb E_{\mathbf y\mid\mathbf x}\) であるとする。

\[ \begin{pmatrix} \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf f(\mathbf x,\mathbf y)^T] & \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T] \\ \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T]^T & \mathbb E[\mathbf g(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T] \end{pmatrix}\succeq 0 \tag{25}\]

証明

\(\mathbf h(\mathbf x,\mathbf y)\) を

\[\mathbf h(\mathbf x,\mathbf y)=\begin{pmatrix}\mathbf f(\mathbf x,\mathbf y) \\ \mathbf g(\mathbf x,\mathbf y)\end{pmatrix}\tag{26}\]

とすると、任意のベクトル \(\mathbf u\) に対して

\[ \begin{split} &\phantom{=}\mathbf u^T\begin{pmatrix} \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf f(\mathbf x,\mathbf y)^T] & \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T] \\ \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T]^T & \mathbb E[\mathbf g(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T] \end{pmatrix}\mathbf u \\ &= \mathbf u^T\mathbb E[\mathbf h(\mathbf x,\mathbf y)\mathbf h(\mathbf x,\mathbf y)^T]\mathbf u \\ &= \mathbb E[(\mathbf h(\mathbf x,\mathbf y)\mathbf u)^2] \\ &\succeq 0 \end{split} \tag{27}\]

定理

\(\mathbb E[\mathbf g(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T]\succ 0\) のとき、

\[\mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf f(\mathbf x,\mathbf y)^T]\succeq\mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T]\mathbb E[\mathbf g(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T]^{-1}\mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T]^T\tag{28}\]

が成り立つ。

証明

\[\mathbf M=\begin{pmatrix} \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf f(\mathbf x,\mathbf y)^T] & \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T] \\ \mathbb E[\mathbf f(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T]^T & \mathbb E[\mathbf g(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T] \end{pmatrix}\tag{29}\]

とすると、\((59)\) より \(\mathbf M\succeq 0\) であり、よって \((59)\) より \(\mathbf M/\mathbb E[\mathbf g(\mathbf x,\mathbf y)\mathbf g(\mathbf x,\mathbf y)^T]\succeq 0\) である。

Fisher 情報行列

\(\mathbf w\) を未知変数、 \(y\) を観測変数とする。 Fisher 情報行列を

とする。各要素は

\[ I_{ij}=-\mathbb E_{y\mid\mathbf w}\left[\frac{\partial^2}{\partial w_i\partial w_j}\ln p(y\mid\mathbf w)\right] \tag{31}\]

となる。

Fisher 情報行列は対称行列である

\[ \begin{split} I(\mathbf w) &=-\mathbb E_{y\mid \mathbf w}\left[\frac{\partial^2}{\partial \mathbf w^2}\ln p(y\mid\mathbf w)\right] \\ &= -\int\left(\frac{\partial^2}{\partial \mathbf w^2}\ln p(y\mid\mathbf w)\right)p(y\mid\mathbf w)dy \\ &= -\int\left(\frac{\partial}{\partial\mathbf w}\left[\frac{1}{p(y\mid\mathbf w)}\frac{\partial}{\partial\mathbf w}p(y\mid\mathbf w)\right]\right)p(y\mid\mathbf w)dy \\ &= -\int\left(-\left[\frac{1}{p(y\mid\mathbf w)}\right]^2\left[\frac{\partial}{\partial\mathbf w}p(y\mid\mathbf w)\right]\left[\frac{\partial}{\partial\mathbf w}p(y\mid\mathbf w)\right]^T+\frac{1}{p(y\mid\mathbf w)}\frac{\partial^2}{\partial\mathbf w^2}p(y\mid\mathbf w)\right)p(y\mid\mathbf w)dy \\ &= \int\left(\frac{1}{p(y\mid\mathbf w)}\frac{\partial}{\partial \mathbf w}p(y\mid\mathbf w)\right)\left(\frac{1}{p(y\mid\mathbf w)}\frac{\partial}{\partial \mathbf w}p(y\mid\mathbf w)\right)^Tp(y\mid\mathbf w)dy-\int\frac{\partial^2}{\partial\mathbf w^2}p(y\mid\mathbf w)dy \\ &= \int\left(\frac{\partial}{\partial\mathbf w}\ln p(y\mid\mathbf w)\right)\left(\frac{\partial}{\partial\mathbf w}\ln p(y\mid\mathbf w)\right)^Tp(y\mid\mathbf w)dy-\underbrace{\frac{\partial^2}{\partial\mathbf w^2}\int p(y\mid\mathbf w)dy}_\mathbf O \\ &= \mathbb E_{y\mid\mathbf w}\left[\left(\frac{\partial}{\partial\mathbf w}\ln p(y\mid\mathbf w)\right)\left(\frac{\partial}{\partial\mathbf w}\ln p(y\mid\mathbf w)\right)^T\right] \end{split} \tag{32}\]

であるから、Fisher 情報行列は

\[ I(\mathbf w) =-\mathbb E_{y\mid \mathbf w}\left[\frac{\partial^2}{\partial \mathbf w^2}\ln p(y\mid\mathbf w)\right] = \mathbb E_{y\mid\mathbf w}\left[\left(\frac{\partial}{\partial\mathbf w}\ln p(y\mid\mathbf w)\right)\left(\frac{\partial}{\partial\mathbf w}\ln p(y\mid\mathbf w)\right)^T\right] \tag{33}\]

と表せる。

クラメル・ラオ不等式

定理

\(I(\mathbf w)\succ 0\) のとき、

\[\mathbb E_{y\mid\mathbf w}\left[(\mathbf w-\mathbf f(y))(\mathbf w-\mathbf f(y))^T\right]\succeq I^{-1}(\mathbf w)\tag{34}\]

が成り立つ。ただし、 \(\mathbf f(y)\) は不偏推定値とする。つまり、次式が成り立つとする。

\[\mathbb E_{y\mid\mathbf w}[\mathbf f(y)]=\mathbf w\tag{35}\]

証明

Schur 補行列の正定値性 \((57)\) より、

\[ \begin{split} &\phantom{=}\mathbb E_{y\mid\mathbf w}\left[(\mathbf w-\mathbf f(y))(\mathbf w-\mathbf f(y))^T\right] \\ &\succeq \mathbb E_{y\mid\mathbf w}\left[(\mathbf w-\mathbf f(y))\left(\frac{\partial}{\partial \mathbf w}\ln p(y\mid\mathbf w)\right)^T\right]I^{-1}(\mathbf w)\mathbb E_{y\mid\mathbf w}\left[(\mathbf w-\mathbf f(y))\left(\frac{\partial}{\partial \mathbf w}\ln p(y\mid\mathbf w)\right)^T\right]^T \end{split} \tag{36}\]

ここで、

\[ \begin{split} \mathbb E_{y\mid\mathbf w}\left[(\mathbf w-\mathbf f(y))\left(\frac{\partial}{\partial \mathbf w}\ln p(y\mid\mathbf w)\right)^T\right] &= \int\left(\mathbf w-\mathbf f(y)\right)\left(\frac{1}{p(y\mid\mathbf w)}\frac{\partial}{\partial\mathbf w}p(y\mid\mathbf w)\right)^Tp(y\mid\mathbf w)dy \\ &= \int \left(\mathbf w - \mathbf f(y)\right)\left(\frac{\partial}{\partial\mathbf w}p(y\mid\mathbf w)\right)^Tdy \\ &= \mathbf w\left( \frac{\partial}{\partial \mathbf w} \int p(y\mid\mathbf w) dy \right)^T-\frac{\partial}{\partial \mathbf w^T}\int \mathbf f(y) p(y\mid\mathbf w)dy \\ &= \underbrace{\mathbf w\left(\frac{\partial}{\partial \mathbf w} 1\right)^T}_\mathbf O-\frac{\partial}{\partial\mathbf w^T}\mathbf w \\ &= -\mathbf I \end{split} \tag{37}\]

が成り立つ。 \(\mathbf I\) は単位行列を表す。

ベイズ情報行列

\(\mathbf w\) を未知変数、 \(y\) を観測変数とする。ベイズ情報行列を

とする。各要素は

\[ J_{ij}=-\mathbb E_{\mathbf w,y}\left[\frac{\partial^2}{\partial w_i\partial w_j}\ln p(\mathbf w,y)\right] \tag{39}\]

となる。

ベイズ情報行列は対称行列である

\[ \begin{split} J &=-\mathbb E_{\mathbf w,y}\left[\frac{\partial^2}{\partial \mathbf w^2}\ln p(\mathbf w,y)\right] \\ &= -\int\int\left(\frac{\partial^2}{\partial \mathbf w^2}\ln p(\mathbf w,y)\right)p(\mathbf w,y)d\mathbf wdy \\ &= -\int\int\left(\frac{\partial}{\partial\mathbf w}\left[\frac{1}{p(\mathbf w,y)}\frac{\partial}{\partial\mathbf w}p(\mathbf w,y)\right]\right)p(\mathbf w,y)d\mathbf wdy \\ &= -\int\int\left(-\left[\frac{1}{p(\mathbf w,y)}\right]^2\left[\frac{\partial}{\partial\mathbf w}p(\mathbf w,y)\right]\left[\frac{\partial}{\partial\mathbf w}p(\mathbf w,y)\right]^T+\frac{1}{p(\mathbf w,y)}\frac{\partial^2}{\partial\mathbf w^2}p(\mathbf w,y)\right)p(\mathbf w,y)d\mathbf wdy \\ &= \int\int\left(\frac{1}{p(\mathbf w,y)}\frac{\partial}{\partial \mathbf w}p(\mathbf w,y)\right)\left(\frac{1}{p(\mathbf w,y)}\frac{\partial}{\partial \mathbf w}p(\mathbf w,y)\right)^Tp(\mathbf w,y)d\mathbf wdy-\int\int\frac{\partial^2}{\partial\mathbf w^2}p(\mathbf w,y)d\mathbf wdy \\ &= \int\int\left(\frac{\partial}{\partial\mathbf w}\ln p(\mathbf w,y)\right)\left(\frac{\partial}{\partial\mathbf w}\ln p(\mathbf w,y)\right)^Tp(\mathbf w,y)d\mathbf wdy-\underbrace{\frac{\partial^2}{\partial\mathbf w^2}\int\int p(\mathbf w,y)d\mathbf wdy}_\mathbf O \\ &= \mathbb E_{\mathbf w,y}\left[\left(\frac{\partial}{\partial\mathbf w}\ln p(\mathbf w,y)\right)\left(\frac{\partial}{\partial\mathbf w}\ln p(\mathbf w,y)\right)^T\right] \end{split} \tag{40}\]

であり、

であるから、ベイズ情報行列は

\[ \begin{split} J &=-\mathbb E_{\mathbf w,y}\left[\frac{\partial^2}{\partial \mathbf w^2}\ln p(\mathbf w,y)\right] \\ &= \mathbb E_{\mathbf w,y}\left[\left(\frac{\partial}{\partial\mathbf w}\ln p(\mathbf w,y)\right)\left(\frac{\partial}{\partial\mathbf w}\ln p(\mathbf w,y)\right)^T\right] \\ &= \mathbb E_{\mathbf w,y}\left[\left(\frac{\partial}{\partial\mathbf w}\ln p(\mathbf w\mid y)\right)\left(\frac{\partial}{\partial\mathbf w}\ln p(\mathbf w\mid y)\right)^T\right] \end{split}\tag{42} \]

と表せる。

事後クラメル・ラオ不等式 (Posterior Cramér-Rao inequality)

定理

\(J\succ 0\) のとき、

\[\mathbb E_{\mathbf w,y}\left[(\mathbf w-\mathbf f(y))(\mathbf w-\mathbf f(y))^T\right]\succeq J^{-1}\tag{43}\]

が成り立つ。ただし、次式が成り立つとする。

\[\lim_{\mathbf w_i\to\pm\infty}\mathbb E_{y\mid\mathbf w}[\mathbf f(y)-\mathbf w]p(\mathbf w)=\lim_{\mathbf w_i\to\pm\infty}\int (\mathbf f(y)-\mathbf w)p(\mathbf w,y)dy=\mathbf 0,\ i=1,\ldots,n\tag{44}\]

証明

Schur 補行列の正定値性より、

\[ \begin{split} &\phantom{=}\mathbb E_{\mathbf w,y}\left[(\mathbf w-\mathbf f(y))(\mathbf w-\mathbf f(y))^T\right] \\ &\succeq \mathbb E_{\mathbf w,y}\left[(\mathbf w-\mathbf f(y))\left(\frac{\partial}{\partial \mathbf w}\ln p(\mathbf w,y)\right)^T\right]J^{-1}\mathbb E_{\mathbf w,y}\left[(\mathbf w-\mathbf f(y))\left(\frac{\partial}{\partial \mathbf w}\ln p(\mathbf w,y)\right)^T\right]^T \end{split} \tag{45}\]

ここで、

\[ \begin{split} \mathbb E_{\mathbf w,y}\left[(\mathbf w-\mathbf f(y))\left(\frac{\partial}{\partial \mathbf w}\ln p(\mathbf w,y)\right)^T\right] &= \int\int\left(\mathbf w-\mathbf f(y)\right)\left(\frac{1}{p(\mathbf w,y)}\frac{\partial}{\partial\mathbf w}p(\mathbf w,y)\right)^Tp(\mathbf w,y)d\mathbf wdy \\ &= \int\int \left(\mathbf w - \mathbf f(y)\right)\left(\frac{\partial}{\partial\mathbf w}p(\mathbf w,y)\right)^Td\mathbf wdy \end{split} \tag{46}\]

が成り立つ。\(ij\) 要素に対して部分積分すると、

\[ \begin{split} & \left\{\int\int \left(\mathbf w - \mathbf f(y)\right)\left(\frac{\partial}{\partial\mathbf w}p(\mathbf w,y)\right)^Td\mathbf wdy\right\}_{ij} \\ &= \int\int(w_i-f_i(y))\left(\frac{\partial}{\partial w_j}p(\mathbf w,y)\right)d\mathbf wdy \\ &= \int\int\left[(w_i-f_i(y))p(\mathbf w,y)\right]_{w_j=-\infty}^{w_j=\infty}d\mathbf w_kdy-\int\int\frac{\partial}{\partial w_j}(w_i-f_i(y))p(\mathbf w,y)d\mathbf wdy \\ &= \int\left[\lim_{w_j\to\infty}\int(w_i-f_i(y))p(\mathbf w,y)dy-\lim_{w_j\to-\infty}\int(w_i-f_i(y))p(\mathbf w,y)dy\right]d\mathbf w_k - I_{ij} \\ &= -I_{ij} \end{split} \tag{47}\]

となる。\(\mathbf w_k\) は \(k\neq j\) となる全ての \(k\) を添字とする \(w\) を表す。 \(I_{ij}\) とは単位行列 \(\mathbf I\) の \(ij\) 要素を表す。

部分ベイズ行列

定理

\[\mathbf w - \mathbf f(y)=\begin{pmatrix}\mathbf w_a-\mathbf f_a(y) \\ \mathbf w_b-\mathbf f_b(y)\end{pmatrix}\tag{48}\]

とおくと、ベイズ情報行列は

\[J=\begin{pmatrix}\mathbf A &\mathbf B \\\mathbf C &\mathbf D\end{pmatrix}\tag{49}\]

と表せる。ただし、例えば \(\mathbf A\) は

\[\mathbf A=\mathbb E_{\mathbf w_a,y}\left[\left(\frac{\partial}{\partial\mathbf w_a}\ln p(\mathbf w_a\mid y)\right)\left(\frac{\partial}{\partial \mathbf w_a}\ln p(\mathbf w_a\mid y)\right)^T\right]\tag{50}\]

と表す。このとき、\(J\succ 0\) ならば、次を得る。

\[\mathbb E_{\mathbf w_b,y}\left[(\mathbf w_b-\mathbf f_b(y))(\mathbf w_b-\mathbf f_b(y))^T\right]\succeq (J/\mathbf A)^{-1}\tag{51}\]

証明

次の式において、\(\cdot\) は省略を意味する。

\[\mathbb E_{\mathbf w,y}\left[(\mathbf w-\mathbf f(y))(\mathbf w-\mathbf f(y))^T\right]=\begin{pmatrix}\cdot & \cdot \\ \cdot & \mathbb E_{\mathbf w_b,y}\left[(\mathbf w_b-\mathbf f_b(y))(\mathbf w_b-\mathbf f_b(y))^T\right]\end{pmatrix}\tag{52}\]

\[J^{-1}=\begin{pmatrix}\cdot & \cdot \\ \cdot & (J/\mathbf A)^{-1}\end{pmatrix}\tag{53}\]

任意の \(\mathbf x\) について、

\[\mathbf x^T(\mathbb E_{\mathbf w,y}\left[(\mathbf w-\mathbf f(y))(\mathbf w-\mathbf f(y))^T\right]-J^{-1})\mathbf x\ge 0\tag{54}\]

であるから、

\[\mathbf x=\begin{pmatrix}\mathbf 0 \\ \mathbf x_b\end{pmatrix}\tag{55}\]

として、

\[ \begin{split} \phantom{=}&\, \mathbf x^T(\mathbb E_{\mathbf w,y}\left[(\mathbf w-\mathbf f(y))(\mathbf w-\mathbf f(y))^T\right]-J^{-1})\mathbf x \\ =&\, \mathbf x_b^T (\mathbb E_{\mathbf w_b,y}\left[(\mathbf w_b-\mathbf f_b(y))(\mathbf w_b-\mathbf f_b(y))^T\right]-(J/\mathbf A)^{-1})\mathbf x_b \\ \ge&\, 0 \end{split} \tag{56}\]

が成り立つ。

非線形フィルタリング

最小分散推定値と条件付き期待値は等価

\[ \hat{\mathbf w}\coloneqq\mathbb E_{\mathbf w\mid y}[\mathbf w]=\int \mathbf w p(\mathbf w\mid y)d\mathbf w \tag{57}\]

\[\overline{\mathbf w}\coloneqq\mathbb E_{\mathbf w}[\mathbf w],\ \overline{y}\coloneqq\mathbb E_y[y]\tag{58}\]

\[ \begin{pmatrix} \mathbf\Sigma_{\mathbf w\mathbf w} & \mathbf\Sigma_{\mathbf wy} \\ \mathbf\Sigma_{\mathbf wy}^T & \Sigma_{yy} \end{pmatrix} \coloneqq \begin{pmatrix} \mathbb E[(\mathbf w-\overline{\mathbf w})(\mathbf w-\overline{\mathbf w})^T] & \mathbb E[(y-\overline y)(\mathbf w - \overline{\mathbf w})] \\ \mathbb E[(y-\overline y)(\mathbf w - \overline{\mathbf w})^T] & \mathbb E[(y-\overline y)^2] \end{pmatrix} \tag{59}\]

区分行列の行列式より