Multivariate Gaussian Distributiuon

Description

随机变量 $X=[X_1\cdots X_n{]}^T$ ，均值为 $\mu \in R^n$ ，协方差 $\Sigma \in S_{++}^n$ ， 概率密度函数为：

$$p(x;\mu ,\Sigma )=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$$

我们称这组随机变量服从多维正态分布 $X\sim \mathcal{N}(\mu ,\Sigma )$ 。

协方差求解方法：

$$Cov[X,Y]=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$$

对于任意均值为 $\mu$ 协方差为 $\Sigma$ 的随机变量 $X$ ，有

$$\Sigma =E[(X-\mu )(X-\mu {)}^T]=E[X{X}^T]-\mu {\mu }^T$$

当协方差矩阵是对角矩阵时，即两向量独立不相关时，多维正态分布和正态分布之间的关系为：

$$p(x;\mu ,\Sigma )=p(x_1;{\mu }_1,{\Sigma }_1)\cdot p(x_2;{\mu }_2,{\Sigma }_2)\cdots$$

多维随机变量的正态分布的轮廓是以 ${\mu }_1,{\mu }_2,\cdots$ 为中心的椭圆。

若多维随机变量 $X$ 服从多维正态分布，那么对 $X$ 作线性变化后，仍然服从多维正态分布。

Gaussian facts

1. 如果已知高斯分布变量的均值 $\mu$ 和协方差矩阵 $\Sigma$ ，就可以直接写出 $x$ 的密度函数。
2. 多维高斯分布的性质：

$${\int }_{x\in {\mathbf{R}}^n}p(x;\mu ,\Sigma )dx={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }p(x;\mu ,\Sigma )d{x}_1\dots d{x}_n=1$$ $${\int }_{x\in {\mathbf{R}}^n}{x}_{i}p\left(x;\mu ,{\sigma }^2\right)dx={\mu }_i$$ $${\int }_{x\in {\mathbf{R}}^n}\left(x_i-{\mu }_i\right)\left(x_j-{\mu }_j\right)p\left(x;\mu ,{\sigma }^2\right)dx={\Sigma }_{ij}$$

1. 扩展
   • 相互独立的高斯随机变量之和也是高斯分布。
   • 高斯联合分布的边缘分布是高斯分布。
   • 高斯联合分布的条件分布也是高斯分布。

多维高斯分布的扩展

相互独立的高斯随机变量之和也是高斯分布。

假设 $y\sim \mathcal{N}(\mu ,\Sigma )$ ， $z\sim \mathcal{N}({\mu }^{\prime },{\Sigma }^{\prime })$ ， 二者相互独立，则：

$$y+z\sim \mathcal{N}(\mu +{\mu }^{\prime },\Sigma +{\Sigma }^{\prime })$$

上诉定义中，有两个需要注意的地方：

1. 随机变量需要相互独立。举个极端的例子，当 $z=-y$ 时，显然 $y+z$ 不服从正态分布。
2. 如果两个服从正态分布的随机变量相加，它们的密度函数会变成多峰的图形吗？ 需要注意的是，随机变量相加之后的密度函数，不是简单的叠加。

高斯联合分布的边缘分布是高斯分布

假设

$$\left[\begin{array}{l}{x}_A\\ \\ x_B\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{l}{\mu }_A\\ \\ {\mu }_B\end{array}\right],\left[\begin{array}{ll}{\Sigma }_{AA}& {\Sigma }_{AB}\\ & \\ {\Sigma }_{BA}& {\Sigma }_{BB}\end{array}\right]\right)$$

那么其边缘分布：

\begin{aligned} p\left(x_{A}\right) &=\int_{x_{B} \in \mathbf{R}^{n}} p\left(x_{A}, x_{B} ; \mu, \Sigma\right) d x_{B} \\ p\left(x_{B}\right) &=\int_{x_{A} \in \mathbf{R}^{m}} p\left(x_{A}, x_{B} ; \mu, \Sigma\right) d x_{A} \end{aligned}

且服从：

\begin{array}{l} x_{A} \sim \mathcal{N}\left(\mu_{A}, \Sigma_{A A}\right) \\ x_{B} \sim \mathcal{N}\left(\mu_{B}, \Sigma_{B B}\right) \end{array}

高斯联合分布的条件分布也是高斯分布

假设

$$\left[\begin{array}{l}{x}_A\\ \\ x_B\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{l}{\mu }_A\\ \\ {\mu }_B\end{array}\right],\left[\begin{array}{ll}{\Sigma }_{AA}& {\Sigma }_{AB}\\ & \\ {\Sigma }_{BA}& {\Sigma }_{BB}\end{array}\right]\right)$$

其条件分布为：

\begin{array}{l} p\left(x_{A} \mid x_{B}\right)=\frac{p\left(x_{A}, x_{B} ; \mu, \Sigma\right)}{\int_{x_{A} \in \mathbf{R}^{m}} p\left(x_{A}, x_{B} ; \mu, \Sigma\right) d x_{A}} \\ p\left(x_{B} \mid x_{A}\right)=\frac{p\left(x_{A}, x_{B} ; \mu, \Sigma\right)}{\int_{x_{B} \in \mathbf{R}^{n}} p\left(x_{A}, x_{B} ; \mu, \Sigma\right) d x_{B}} \end{array}

且服从：

\begin{array}{l} x_{A} \mid x_{B} \sim \mathcal{N}\left(\mu_{A}+\Sigma_{A B} \Sigma_{B B}^{-1}\left(x_{B}-\mu_{B}\right), \Sigma_{A A}-\Sigma_{A B} \Sigma_{B B}^{-1} \Sigma_{B A}\right) \\ x_{B} \mid x_{A} \sim \mathcal{N}\left(\mu_{B}+\Sigma_{B A} \Sigma_{A A}^{-1}\left(x_{A}-\mu_{A}\right), \Sigma_{B B}-\Sigma_{B A} \Sigma_{A A}^{-1} \Sigma_{A B}\right) \end{array}

Ref

• 证明推导