引言
這篇筆記以belief propagation的方式推導Marchenko–Pastur Law。
推導
高斯積分
在推導之前，需要計算一種高斯積分
$$
G(x_j) = \int dx_{\backslash j} \exp\left[ \left(\sum_{i=1}^n a_ix_i\right)^2 - \sum_{i=1}^n b_i^2x_i^2 \right] \frac{1}{\prod_{i=1}^n\sqrt{\pi / b_i^2}}
$$
其中$\int dx_{\backslash j}$表示對除$x_j$以外的所有$x_i$（注意$i \neq j$）積分。假設$j \neq 1,2$，先試著對$x_1$積分
$$
\begin{equation}
\begin{aligned}
G(x_j) = \int dx_{\backslash j,1} \exp\left[ \frac{1}{1 - \alpha_1}\left(\sum_{i=2}^n a_ix_i\right)^2 - \sum_{i=2}^n b_i^2x_i^2 \right] \frac{1}{\sqrt{1-\alpha_1}\prod_{i=2}^n\sqrt{\pi / b_i^2}}
\end{aligned}
\end{equation}
$$
其中$\alpha_i \equiv a_i^2 / b_i^2$，再對$x_2$積分得到
$$
\begin{equation}
\begin{aligned}
G(x_j) = \int dx_{\backslash j,1,2} \exp\left[ \frac{1}{1 - \alpha_1 - \alpha_2}\left(\sum_{i=3}^n a_ix_i\right)^2 - \sum_{i=3}^n b_i^2x_i^2 \right] \frac{1}{\sqrt{1-\alpha_1-\alpha_2}\prod_{i=3}^n\sqrt{\pi / b_i^2}}
\end{aligned}
\end{equation}
$$
因此，可以總結得到
$$
\begin{equation}
\begin{aligned}
G(x_j) = \exp\left[ \frac{1}{1 - \sum_{i \neq j}\alpha_i} a_j^2x_j^2 - b_j^2x_j^2 \right] \frac{1}{\sqrt{1-\sum_{i \neq j}\alpha_i}\sqrt{\pi / b_j^2}}
\end{aligned}
\end{equation}
$$
消息傳遞
對於Wishart Ensemble，系統的哈密頓量為
$$
\mathcal{H} = \frac{z}{2}\sum_i x_i^2 - \frac{1}{2N}\sum_\mu \left(\sum_{j \in \partial \mu}\xi_j^\mu x_j\right)^2
$$
寫出消息傳遞的自洽方程
$$
q_{i \to \mu}(x_i) \propto \exp(-\frac{zx_i^2}{2}) \prod_{\nu \in \partial i \backslash \mu}p_{\nu \to i}(x_i)
$$
另一個方程為
$$
p_{\nu \to i}(x_i) \propto \int dx_{\partial \nu \backslash i} \exp\left[\frac{1}{2N}\left( \sum_{j \in \partial \nu}\xi_j^\nu x_j\right)^2 \right] \prod_{j \in \partial\nu \backslash i} q_{j \to \nu}(x_j)
$$
考慮高斯近似
$$
q_{j \to \nu}(x_j) \propto \exp\left(-\frac{x_j^2}{2\Delta_j^\nu}\right)
$$
根據上節計算的高斯積分的結果（注意需要去掉$q_{i \to \nu}(x_i)$）可以得到
$$
p_{\nu \to i}(x_i) \propto \exp\left( \frac{(\xi_i^\nu)^2}{2N}\frac{x_i^2}{1 - \sum_{j \neq i}(\xi_j^\nu)^2\Delta_j^\nu / N} \right)
$$
代回自洽方程得到
$$
q_{i \to \mu}(x_i) \propto \exp\left[ -\frac{zx_i^2}{2} + \sum_{\nu \in \partial i \backslash \mu}\left( \frac{(\xi_i^\nu)^2}{2N}\frac{x_i^2}{1 - \sum_{j \neq i}(\xi_j^\nu)^2\Delta_j^\nu / N}\right) \right]
$$
如果考慮$\sum_{j \neq i}(\xi_j^\nu)^2\Delta_j^\nu / N \simeq \Delta$，以及$\Delta_i^\mu \simeq \Delta_j^\nu \simeq \Delta$，其中$\alpha \simeq \sum_{\nu \in \partial i \backslash \mu} (\xi_i^\nu)^2 / N$是一個序參量。這樣可以得到
$$
\frac{1}{\Delta} - z + \frac{\alpha}{1 - \Delta} = 0
$$
解出$\Delta$，它是$z$的函數，接著通過Stieltjes Transform
$$
\rho(\lambda) = \lim_{\epsilon \to 0^+} \frac{1}{\pi}\text{Im}\left(\Delta_{z=\lambda - i\epsilon}\right)
$$
即可得到譜分佈，在此不作展開討論。
後記
本文需要一定的基礎。