Multivariate Gaussian Distributiuon
随机变量 $X=[X_1\cdots X_n]^T$ ，均值为 $\mu\in R^n$ ，协方差 $\Sigma\in S^{n}_{++}$ ， 概率密度函数为：
$$ p(x ; \mu, \Sigma)=\frac{1}{(2 \pi)^{n / 2}|\Sigma|^{1 / 2}} \exp \left(-\frac{1}{2}(x-\mu)^{T} \Sigma^{-1}(x-\mu)\right) $$
我们称这组随机变量服从多维正态分布 $X\sim\mathcal{N}(\mu,\Sigma)$ 。
协方差求解方法： $$ Cov[X,Y]=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y] $$
对于任意均值为 $\mu$ 协方差为 $\Sigma$ 的随机变量 $X$ ，有
$$ \Sigma=E[(X-\mu)(X-\mu)^T]=E[XX^T]-\mu\mu^T $$
当协方差矩阵是对角矩阵时，即两向量独立不相关时，多维正态分布和# 正态分布之间的关系为： $$ p(x;\mu,\Sigma)=p(x_1;\mu_1,\Sigma_1)\cdot p(x_2;\mu_2,\Sigma_2) \cdots $$
多维随机变量的正态分布的轮廓是以 $\mu_1,\mu_2,\cdots$ 为中心的椭圆。
若多维随机变量 $X$ 服从多维正态分布，那么对 $X$ 作线性变化后，仍然服从多维正态分布。
Gaussian facts
- 如果已知高斯分布变量的均值 $\mu$ 和协方差矩阵 $\Sigma$ ，就可以直接写出 $x$ 的密度函数。
- 多维高斯分布的性质：
$$ \int_{x \in \mathbf{R}^{n}} p(x ; \mu, \Sigma) d x=\int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} p(x ; \mu, \Sigma) d x_{1} \ldots d x_{n}=1 $$
$$ \int_{x \in \mathbf{R}^{n}} x_{i} p\left(x ; \mu, \sigma^{2}\right) d x=\mu_{i} $$
$$ \int_{x \in \mathbf{R}^{n}}\left(x_{i}-\mu_{i}\right)\left(x_{j}-\mu_{j}\right) p\left(x ; \mu, \sigma^{2}\right) d x=\Sigma_{i j} $$
-
扩展
- 相互独立的高斯随机变量之和也是高斯分布。
- 高斯联合分布的边缘分布是高斯分布。
- 高斯联合分布的条件分布也是高斯分布。
多维高斯分布的扩展
相互独立的高斯随机变量之和也是高斯分布
假设 $y\sim\mathcal{N}(\mu,\Sigma)$ ， $z\sim\mathcal{N}(\mu^{\prime},\Sigma^{\prime})$ ， 二者相互独立，则： $$ y+z\sim\mathcal{N}(\mu+\mu^{\prime},\Sigma+\Sigma^{\prime}) $$
上诉定义中，有两个需要注意的地方：
- 随机变量需要相互独立。举个极端的例子，当 $z=-y$ 时，显然 $y+z$ 不服从正态分布。
- 如果两个服从正态分布的随机变量相加，它们的密度函数会变成多峰的图形吗？ 需要注意的是，随机变量相加之后的密度函数，不是简单的叠加。
高斯联合分布的边缘分布是高斯分布
假设 $$ \left[\begin{array}{l} x_{A} \\ x_{B} \end{array}\right] \sim \mathcal{N}\left(\left[\begin{array}{l} \mu_{A} \\ \mu_{B} \end{array}\right],\left[\begin{array}{ll} \Sigma_{A A} & \Sigma_{A B} \\ \Sigma_{B A} & \Sigma_{B B} \end{array}\right]\right) $$
那么其边缘分布：
$\begin{aligned} p\left(x_{A}\right) &=\int_{x_{B} \in \mathbf{R}^{n}} p\left(x_{A}, x_{B} ; \mu, \Sigma\right) d x_{B} \\ p\left(x_{B}\right) &=\int_{x_{A} \in \mathbf{R}^{m}} p\left(x_{A}, x_{B} ; \mu, \Sigma\right) d x_{A} \end{aligned}$
且服从：
$
\begin{array}{l}
xA ∼ \mathcal{N}≤ft(μA, ΣA A\right)
xB ∼ \mathcal{N}≤ft(μB, ΣB B\right)
\end{array} $
高斯联合分布的条件分布也是高斯分布
假设 $$ \left[\begin{array}{l} x_{A} \\ x_{B} \end{array}\right] \sim \mathcal{N}\left(\left[\begin{array}{l} \mu_{A} \\ \mu_{B} \end{array}\right],\left[\begin{array}{ll} \Sigma_{A A} & \Sigma_{A B} \\ \Sigma_{B A} & \Sigma_{B B} \end{array}\right]\right) $$
其条件分布为：
$
\begin{array}{l}
p≤ft(xA \mid xB\right)=\frac{p≤ft(xA, xB ; μ, Σ\right)}{∫_{xA ∈ \mathbf{R}m} p≤ft(xA, xB ; μ, Σ\right) d xA}
p≤ft(xB \mid xA\right)=\frac{p≤ft(xA, xB ; μ, Σ\right)}{∫_{xB ∈ \mathbf{R}n} p≤ft(xA, xB ; μ, Σ\right) d xB}
\end{array} $
且服从：
$
\begin{array}{l}
xA \mid xB ∼ \mathcal{N}≤ft(μA+ΣA B ΣB B-1≤ft(xB-μB\right), ΣA A-ΣA B ΣB B-1 ΣB A\right)
xB \mid xA ∼ \mathcal{N}≤ft(μB+ΣB A ΣA A-1≤ft(xA-μA\right), ΣB B-ΣB A ΣA A-1 ΣA B\right)
\end{array} $