概率论笔记（上）

看的是 IMPA 的 Probability Theory 课，教授是 Claudio Landim。

https://www.youtube.com/playlist?list=PLo4jXE-LdDTS5BYqea-LcHdtjKwVcepP7

Lecture 1 Introduction

setup：我们总会有三元组 $(\Omega, \mathcal{F}, P)$，其中：

• $\Omega$ 是 abstract space
• $\mathcal{F}$ 是 $\sigma$-algebra

• $P$ 是 probability measure，即

  • $P:\mathcal{F}\rightarrow \mathbb{R}_+\cup\{+\infty\}$
  • $P(\varnothing)=0$
  • $\{A_j\in\mathcal{F},j\ge1\},A_j\cap A_k=\varnothing \Rightarrow P[\cup_j A_j]=\sum_j P[A_j]$
  • $P(\Omega)=1$，这条是 probablility 的部分。

定义：$X: \Omega\rightarrow \mathbb{R}$ 是 random variable（R.V.），其中 $\mathbb{R}$ 我们会和 $(\mathbb{R},\mathcal{B})$ 相结合（$\mathcal{B}$ 是 Borel $\sigma$-algebra，也就是包含 $\mathbb{R}$ 中所有开集的最小的 $\sigma$-algebra），如果 $X$ 是 measurable function，即 $\forall A\in\mathcal{B},X^{-1}(A)\in\mathcal{F}$

定义：对于 random variable $X$，probability distribution measure $\mu_X$（在 $(\mathbb{R},\mathcal{B})$ 上定义的），满足：

$\mu_X(A)=P[X^{-1}(A)]=P[\{\omega\in\Omega|X(\omega)\in A\}]$

记作 $\mu_X(A)=P[X\in A]$。

• 可以根据上面的 probability measure 的定义，证明这样定义的 $\mu_X$ 也是 probability measure。

定义：对于 random variable $X$，distribution function $F_X:\mathbb{R}\rightarrow [0,1]$，为：

$F_X(x)=P[X\le x]$

其有如下特性：

1. $F_X$ 单调上升
2. $F_X$ right continuous，因为其单调，所以有 left limit
3. $\lim_{x\rightarrow\infty}F_X(x)=1,\lim_{x\rightarrow-\infty}F_X(x)=0$

probability measure $\mu$ 和 distribution function $F$ 之间有一一对应，可以通过如下的方式构造：

• $\mu\rightarrow F(x)=\mu(-\infty,x] \rightarrow F$ 是 distribution function

• $F\rightarrow \mu(a,b]=F(b)-F(a),-\infty\le a<b\le \infty$

  • 注意这里的证明中，需要 $\mathcal{S}=\{(a,b]|-\infty\le a<b\le \infty\}$ 是 semi-algebra，然后证明他是 $\sigma$-additive 的，就可以用测度论的那套方法往上推了。

定义：random variable $X$ 是 discrete 的，当且仅当 $\exist B\in\mathbb{R},B$ 是可数集，$P[X\in B]=1$。

定义：distribution function $F$ 是 discrete 的，当且仅当

$\exist B\in\mathbb{R},B=\{x_j,j\ge1\}, \{p_j, p_j\ge0,j\ge1\},\sum_j p_j=1,\\ F(x)=\sum_{j,x_j\le x}p_j$

定义：distribution function $F$ 是 absolutely continuous，如果

$\exist \text{ measurable fucntion } f:\mathbb{R}\rightarrow\mathbb{R},\text{s.t.}\\ \forall a,b\in\mathbb{R},F(b)-F(a)=\int_a^b f(t)dt$

• 由测度论的结论，$F$ differentiable, a.e.，且 $F'=f$。

定义：distribution function $F$ 是 singular，当且仅当，

• $F$ continuous（因为 $F$ monotone，所以由测度论的结论，$F$ differentiable, a.e.）
• $F'=0$ a.e.

例子：只在康托集中值有变化的 $F$

定理：distribution function $F\Rightarrow \alpha F_d+\beta F_{ac}+(1-\alpha-\beta)F_s,\alpha,\beta\ge0,\alpha+\beta\le1$，其中：

• $F_d$ discrete
• $F_{ac}$ absolutely continous
• $F_s$ singular

证明见测度论 lecture 31。

定义：$(\Omega,\mathcal{F}, P)$，R.V. $X$ 满足 $\int_\Omega |X|dP<\infty$，expectation 为 $E[X]=\int_\Omega XdP$

练习：$E[X]=\int_\mathbb{R}x\mu_x(dx)$

PROP：R.V. $X\ge0, \sum_{n\ge1}P[x\ge n]\le E[X]\le 1+\sum_{n\ge1}P[x\ge n]$

• $\begin{aligned} \sum_{n\ge1}\sum_{j\ge n}P[X\in[j,j+1)]&=\sum_{j\ge1}P[X\in[j,j+1)]j\\ &=\sum_{j\ge1}\int j\chi_{[j,j+1)}(x)dP\le \sum_{j\ge1}\int X\chi_{[j,j+1)}(x)dP\\ &=\int X\chi_{[1,\infty)}(x)dP\le \int XdP \end{aligned}$

  反过来则是在从 $j$ 变 $X$ 的那步改成 $X+1$ 就好了。

推论：R.V. $X,P[X\in\{0,1,2,...\}]=1\Rightarrow E[X]=\sum_{n\ge1}P[X\ge n]$。

断言：$(\Omega, \mathcal{F}, P)$, R.V. $X$, $f:\mathbb{R}\rightarrow \mathbb{R}$ measurable（$\mathcal{B}$ 中的集合的 inverse image 还是在 $\mathcal{B}$ 中），那么 $f(X)=f\circ X:\Omega\rightarrow \mathbb{R}$ 是一个新的 R.V.。

定理：根据上述的条件，会有 $\int_\Omega f(X)dP=\int_\mathbb{R}f(x)\mu_x(dx)$。为了让这两个东西有定义，还需要补充以下 2 个定义中的一个：

1. $f\ge0$ 或者
2. $\int_\Omega |f(X)|dP<\infty$ 且 $\int_\mathbb{R}|f(x)|\mu_x(dx)<\infty$
3. 证明略，都是测度论方面的知识。

定理（Jensen's inequality）：$\varphi:\mathbb{R}\rightarrow\mathbb{R}$ 是 convex function，即 $\varphi(\theta x+(1-\theta)y)\le \theta\varphi(x)+(1-\theta)\varphi(y),\forall\theta\in[0,1]$。有，R.V. $X$，满足 $E[|X|]<\infty,E[|\varphi(X)|]<\infty$，那么：

$\varphi(E[X])\le E[\varphi(X)]$

• 首先观察到凸函数有这么个特点：$\forall x_0\in\mathbb{R},\exist l(x)=ax+b$，满足 $l(x_0)=\varphi(x_0)$，并且 $l(x)\le \varphi(x),\forall x\in\mathbb{R}$。（这件事在这里就不证了。）

  因为 $l(x_0)=\varphi(x_0)$ 所以我们可以把 $l(x)$ 写作 $l(x)=\varphi(x_0)+c(x-x_0)\le \varphi(x)$。所以如果我们取 $x_0=E[X]$，就会有：

  $\varphi(E[X])+c(x-E[X])\le \varphi(x)$

  因为对于所有 $x\in\mathbb{R}$ 都成立，所以可以把上面的 $x$ 替换成 R.V. $X$，即在 $\Omega$ 上，有：

  $\varphi(E[X])+c(X-E[X])\le \varphi(X)$

  然后两边求积分：

  $\int_\Omega \varphi(E[X])dP+\int_\Omega c(X-E[X])dP\le \int_\Omega \varphi(X)dP$

  从而得到了：

  $\varphi(E[X])\le E[\varphi(X)]$

定理（Chebyshev's inequality）：$X\ge0,f:\mathbb{R}_+\rightarrow\mathbb{R}_+$ 单调上升，那么只要 $f(a)>0$，就有：

$P[X\ge a]\le\frac{1}{f(a)}E[f(x)]$

• 因为单调性，所以：

  $P[X\ge a]\le P[f(X)\ge f(a)]=\int_\Omega\chi_{[f(X)\ge f(a)]}dP$

  另一方面当 $f(X)\ge f(a)$ 时，显然有 $1\le \frac{f(x)}{f(a)}$，那么：

  $\begin{aligned} P[X\ge a]&\le\int_\Omega\chi_{[f(X)\ge f(a)]}dP\le\int_\Omega\frac{f(x)}{f(a)}\chi_{[f(X)\ge f(a)]}dP\\ &\le\int_\Omega\frac{f(x)}{f(a)}dP=\frac{1}{f(a)}E[f(x)] \end{aligned}$
• Chebyshev's inequality 可以用来把概率转为期望。

Lecture 2 Independence

定义：$A\in\mathcal{F}$，我们称 $A$ 为 event。

定义：event $A_1,A_2,...,A_n$，他们被称为相互 independent，如果

$\forall\{n_1,n_2,...n_p\}\subseteq\{1,...,N\}, j\ne k\Rightarrow n_j\ne n_k,\\P[\cap_{k=1}^p A_{n_k}]=\prod_{k=1}^p P[A_{n_k}]$

定义：我们称 R.V $X_1,...,X_n$ 相互 independent，如果：

$\forall \{B_1,...,B_n\}\in\mathcal{B},\\ P[\cap_{j=1}^N X_j\in B_j]=\prod_{j=1}^N P[X_j\in B_j]$

定义：$\{X_\alpha,\alpha\in I\}$，即任意 R.V. family，他们相互 independent，如果任取有限的指标 $\{\alpha_1,\alpha_1,...,\alpha_N\},k\ne j\Rightarrow \alpha_k\ne\alpha_j$，都有 $\{X_{\alpha_1},X_{\alpha_2},...,X_{\alpha_N}\}$ 相互独立。

Remark：如果 $\{X_1,...,X_n\}$ 相互独立，那么这个集合的子集里面的 R.V. 也相互独立。

• 显然可以取去掉的 R.V. 的值域为 $\mathbb{R}$。

定义：取 $(\mathbb{R}^N,\mathcal{B}^N)$（$\mathcal{B}^N$ 是包含所有 $\mathbb{R}^N$ 中开集的最小的 $\sigma$-algebra），那么 $X:\Omega\rightarrow\mathbb{R}^N$ 是 random vector（R. vector），如果 $\forall A\in\mathcal{B}^N,X^{-1}(A)\in\mathcal{F}$。

定义：distribution function of random vector $X$，是 $F_X:\mathbb{R}^N\rightarrow[0,1]$ 满足：

$F_X(x)=P[X_1\le x_1,...,X_N\le x_N]$

定义：probability distribution measure of random vector $X$，是 $(\mathbb{R}^N,\mathcal{B}^N)$ 上定义的 $\mu_X$，满足：

$\mu_X(A)=P[X^{-1}(A)]=P[X\in A]$

引理：R. vector $X=(X_1,X_2,...,X_N)$，那么 $\{X_1,...,X_N\}$ 相互独立，当且仅当：

$F_X(x_1,...,x_n)=\prod_{j=1}^NF_{X_j}(x_j)$

• 反向证明独立有点麻烦，需要从 $(-\infty,x_j]$ 推到任意 $B_j\in\mathcal{B}$，是测度论的常见证明流程。

• 另外一种定义的方法是说：

  $\mu_X(B_1\times ...\times B_N)=\prod_{j=1}^N\mu_{X_j}(B_j)$

定理：independent R.V. $X_1,...,X_N$，有 $f_1,...f_N$ 均是 $\mathbb{R}\rightarrow\mathbb{R}$ 且 measurable，那么 $f_1(X_1),...,f_N(X_N)$ 相互独立。

• 证明：

  $\begin{aligned} P[\cap_{j=1}^N\{f(X_j)\in B_j\}]&=P[\cap_{j=1}^N\{X_j\in f_J^{-1}(B_j)\}]\\ &=\prod_{j=1}^N P[X_j\in f_J^{-1}(B_j)]=\prod_{j=1}^N P[f_j(X_j)\in B_j] \end{aligned}$

定理：independent R.V. $X_1,...,X_N$，其中取 $X_{n_1},...X_{n_p},1\le n_1<...<n_p= N$，并且有 measurable function，$f_1:\mathbb{R}^{n_1}\rightarrow\mathbb{R},f_2:\mathbb{R}^{n_2-n_1}\rightarrow\mathbb{R},...,f_p:\mathbb{R}^{n_p-n_{p-1}}\rightarrow\mathbb{R}$，那么 $f_1(X_1,...,X_{n_1}),f_2(X_{n_1+1,...,n_2}),...,f_p(X_{n_{p-1}+1,...,n_p})$ 相互独立。

定理：independent R.V. $X,Y$ 满足 $X\ge0,Y\ge0$ 或 $E[|X|]<\infty,E[|Y|]<\infty$，那么有：

$E[XY]=E[X]E[Y]$

• 首先假设 $X,Y$ 是 simple function (simple random variable)，即

  $X=\sum_{j=1}^Nx_j\chi_{E_j},x_j\ge0\\ Y=\sum_{k=1}^My_k\chi_{F_k},y_k\ge0$

  那么：

  $\begin{aligned} E[XY]&=\sum_{j=1}^N\sum_{k=1}^Mx_jy_kE[\chi_{E_j}\chi_{F_k}]\\ &=\sum_{j=1}^N\sum_{k=1}^Mx_jy_kP[E_j\cap F_k]=\sum_{j=1}^N\sum_{k=1}^Mx_jy_kP[X=x_j,Y=y_k]\\ &=\sum_{j=1}^N\sum_{k=1}^Mx_jy_kP[X=x_j]P[Y=y_k]=\sum_{j=1}^N\sum_{k=1}^Mx_jy_kP[E_j]P[E_k]\\ &=E[X]E[Y] \end{aligned}$

  其次我们扩展到任意 $X\ge0,Y\ge0$。由于在测度论中，有 simple R.V. $X_n\uparrow X,Y_n\uparrow Y$，同时会有 $X_nY_n\uparrow XY$，由 monotone convergence theorem 有：

  $E[XY]=\lim_nE[X_nY_n]=\lim_nE[X_n]E[Y_n]=E[X]E[Y]$

  最后考虑 $E[|X|]<\infty,E[|Y|]<\infty$ 的情况。自然是把 $X=X^+-X^-,Y=Y^+-Y^-$，所以有：

  $E[XY]=E[(X^+-X^-)(Y^+-Y^-)]=E[X]E[Y]$

  这里有一个小细节，就是 $X^+=f(X)$ 所以可以和 $Y^+$ 以及 $Y^-$相互独立。

• 我们给另外一个证明的方法。这里我们要用这样一个证明留习题的结论：

  • 对于 $X:\Omega\rightarrow\mathbb{R}^N,f:\mathbb{R}^N\rightarrow\mathbb{R},E[|f(X)|]<\infty$，有
  $\int_\Omega f(X)dP=\int_{\mathbb{R}^N}f(x)\mu_X(dx)$

  基于这个结论，因为独立性，有 $\mu_{(X,Y)}(dx,dy)=\mu_X(dx)\mu_Y(dy)$，然后我们取 $f(x,y)=xy$，也就有：

  $\begin{aligned} E[XY]=E[f(X,Y)]&=\int_{\mathbb{R}^2} f(x,y)\mu_{(X,Y)}(dx,dy)\\ &=\int_{\mathbb{R}^2} xy\mu_{X}(dx)\mu_{Y}(dy)\\ &=\int_{\mathbb{R}}x\mu_{X}(dx) \int_{\mathbb{R}}y\mu_{Y}(dy)=E[X]E[Y] \end{aligned}$

  最后一行用了 fubini theorem。

  • 注意，实际上的证明要先证非负函数，从而推出 $E[|XY|]<\infty$。

最后我们要研究一下 infinity family of independent R.V.。

Lecture 4 Convergence of random variables

定义：almost surely convergence 是 $X_n\rightarrow X$ a.s. (a.e.) 如果 $\exist A\in\mathcal{F},P[A]=1,\forall \omega\in A,X_n(w)\rightarrow w$。

我们如何把这个定义转换成概率论相关的定义呢。

考虑到 $X_n(\omega)\rightarrow X(\omega)$，那么 $\forall \varepsilon>0,\exists n\ge1,\forall m\ge n,|X(\omega)-X_m(\omega)|\le \varepsilon$。如果把这里的 $\varepsilon$ 换成 $1/k$，也就有了：

$\forall k\ge 1,\exists n\ge1,\forall m\ge n,|X(\omega)-X_m(\omega)|\le \frac{1}{k}$

那么也就是说，这一个 $w$ 满足：

$\omega\in \cap_{k\ge1}\cup_{n\ge 1}\cap_{m\ge n}\{w'\in\Omega||X_m(\omega')-X(\omega')|\le\frac{1}{k}\}$

因为 $X_n,X$ 都是 R.V.，所以这里的任何一个 $\{w'\in\Omega||X_m(\omega')-X(\omega')|<\frac{1}{k}\}$ 都属于 $\sigma$-algebra，所以这个 $\omega$ 的大集合是属于 $\mathcal{F}$ 的。这意味着：

$\begin{aligned} X_n\rightarrow X\text{ a.e.}&\Longleftrightarrow P[\cap_{k\ge1}\cup_{n\ge 1}\cap_{m\ge n}\{w'\in\Omega||X_m(\omega')-X(\omega')|\le\frac{1}{k}\}]=1\\ &\Longleftrightarrow \forall k\ge1,P[\cup_{n\ge 1}\cap_{m\ge n}\{|X_m-X|\le\frac{1}{k}\}]=1\\ &\Longleftrightarrow \forall \varepsilon>0,P[\cup_{n\ge 1}\cap_{m\ge n}\{|X_m-X|\le\varepsilon\}]=1 \end{aligned}$

进一步，如果我们定义 $B_n=\cap_{m\ge n}\{|X_m-X|<\varepsilon\}$，会发现 $B_n\uparrow$，而且肯定有 $B_n\uparrow\cup_{j\ge1}B_j$，也就是：

$\begin{aligned} X_n\rightarrow X\text{ a.e.}&\Longleftrightarrow \forall \varepsilon>0,P[\cup_{n\ge 1}\cap_{m\ge n}\{|X_m-X|\le\varepsilon\}]=1\\ &\Longleftrightarrow \forall \varepsilon>0,\lim_{n\rightarrow\infty}P[\cap_{m\ge n}\{|X_m-X|\le\varepsilon\}]=1 \end{aligned}$

（最后的这个极限要用 monotone convergence theorem）。

推论：

$\begin{aligned} X_n\xrightarrow{\text{a.e.}}X&\Longleftrightarrow \forall \varepsilon>0,\lim_{n\rightarrow\infty}P[\cap_{m\ge n}\{|X_m-X|\le\varepsilon\}]=1\\ &\Longleftrightarrow \forall \varepsilon>0,\lim_{n\rightarrow\infty}P[\cup_{m\ge n}\{|X_m-X|>\varepsilon\}]=0 \end{aligned}$

定义：convergence in probability， $X_n\xrightarrow{P}X$ 为 $\forall \varepsilon>0,P[|X_n-X|>\varepsilon]\rightarrow 0$

引理：$X_n\xrightarrow{\text{a.e.}}X\Longrightarrow X_n\xrightarrow{P}X$

引理：$X_n\xrightarrow{P}X\Longrightarrow \exist X_{n_k},X_{n_k}\xrightarrow{\text{a.e.}}X$

• 证明方式差不多就是造一个 $\frac{1}{2^n}\varepsilon$ 的级数。

定义：convergence in $L_p$，$X_n\xrightarrow{L_p}X,0<p<\infty$ 为 $\forall \varepsilon>0,\lim_{n\rightarrow\infty}E[|X_n-X|^p]\rightarrow 0$

引理：$X_n\xrightarrow{L_p}X\Longrightarrow X_n\xrightarrow{P}X$

• 使用 Chebyshev inequality，$P[|X_n-X|>\varepsilon]\le \frac{1}{\varepsilon^p}E[|X_n-X|^p]$

定理：$X_n\xrightarrow{P}X,|X_n|\le Y,E[Y^p]<\infty\Longrightarrow X_n\xrightarrow{L_p}X$

• 首先先证明 $E[|X|^p]<\infty$。

  因为 $X_n\xrightarrow{P}X$ 所以我们可以取子序列满足 $X_{n_k}\xrightarrow{\text{a.e.}}X$，这意味着 $|X|\le Y$ a.e.。所以 $E[|X|]\le E[Y^p]$（最后这个不等式加了积分仍然成立不太确定用测度论应该咋证）。

  然后考虑：

  $\begin{aligned} E[|X_n-X|^p]&\le E[|X_n-X|^p\chi_{|X_n=X|\ge\varepsilon}]+E[|X_n-X|^p\chi_{|X_n=X|<\varepsilon}]\\ &\le E[|X_n-X|^p\chi_{|X_n=X|\ge\varepsilon}]+\varepsilon^p \end{aligned}$

  对于第一项，因为 $|X_n-X|\le |X_n| + |X|\le 2|Y|$ a.e.。所以有：

  $E[|X_n-X|^p]\le E[2^p Y^p\chi_{|X_n=X|\ge\varepsilon}]+\varepsilon^p$

  因为 $X_n\xrightarrow{P}X$，所以对于 $A_n=\{|X_n-X|\ge\varepsilon\}$，有 $P[A_n]\rightarrow 0$，而又由于 $E[Y^p]<\infty$，会有 $E[Y^p\chi_{A_n}]\rightarrow 0$（这里是用的测度论上的一个结论）。也就是：

  $\lim_{n\rightarrow \infty}E[|X_n-X|^p]\le \varepsilon^p$

  因为 $\varepsilon$ 是任取的，证毕。

例子：（为了方便，这些例子都取 取 $\Omega=[0,1),\mathcal{B},P=\lambda$（lebesgue measure））

• $P\ne L^p$：$X_n=n^{1/p}\chi_{[0,1/n]}$ 满足 $X_n\xrightarrow{P}0$ 而不满足 $X_n\xrightarrow{L_p}0$。
• $L^p\ne \text{a.s.}$：这个构造挺有意思的。其实关键就是，可以构造每个点的值都有是 0 或者是 1 的，但是他们的总积分可以变小。

Lecture 6 Weak convergence: Helly's selection theorem and tightness

这一讲考虑的是 $(\mathbb{R},\mathcal{B})$ 下，如何定义 probability measure 的收敛 $\mu_n\rightarrow \mu$。

我们最初可能会想这么定义：

$\sup_{A\in\mathcal{B}}|\mu_n(A)-\mu(A)|<\varepsilon$

但是这个定义过强了，没法用。因为比如说 $\mu=\delta_x(A),\nu=\delta_y(A)$，其中：

$\delta_x(A)=\begin{cases} 1 & x\in A \\ 0 & x\notin A \end{cases}$

那么 $\sup_{A}|\mu_n(A)-\mu(A)|=1,x\ne y$，$x$ 逐渐接近 $y$ 也没用。所以有了如下定义。

定义：weak convergence (distribution convergence) $\mu_n\xrightarrow[d]{weak} \mu$ 为 $\forall (a,b],\mu_n((a,b])\rightarrow \mu((a,b])$，但是这里要限制 $\mu(\{a\})=\mu(\{b\})=0$。

如果我们用 $F_n$ 和 $F$ 表示的话，有 $F_n(x)\rightarrow F(x),\forall x\in\mathbb{R}$，且 $x$ 是 $F$ 上的 continuous point。

因为 $F$ 右连续，所以 $x$ 是 $F$ 上的 continuous point 的意思是 $F(x^-)=\lim_{y\uparrow x}F(y)=F(x)$。

定义：如果 $F_n(x)\rightarrow F(x),\forall x\in\mathbb{R}$，且 $x$ 是 $F$ 上的 continuous point，我们称 $F_n(x)\rightarrow F(x)$ in distribution。

• 这个定义和上面的那个定义等价。

我们进一步把这个定义扩展到 R.V.

定义：$X_n\xrightarrow[law]{dist}X$，如果 $F_n(x)\xrightarrow{d} F(x)$。

• 注意，这个定义不需要 $X_n$ 和 $X$ 可以在不同的 $(\Omega_n,\mathcal{F}_n,P_n)$ 上定义的，这点和上一讲的 3 种收敛不同。

定义：$\mathcal{N}$ 为 distribution function $F$ 的集合，并定义 $\mathcal{M}\supseteq \mathcal{N}$，其中函数 $G$ 满足：

1. $G$ 单调上升
2. $G$ right continuous，因为其单调，所以有 left limit
3. $\lim_{x\rightarrow\infty}G(x)\le1,\lim_{x\rightarrow-\infty}G(x)\ge 0$
4. 注意，就是把 distribution function 的第三条改了。

我们可以进一步扩展收敛的定义。

定义：$G_n\xrightarrow{d}G\Longleftrightarrow \forall x,G(x)=G(x^-),\lim_{n\rightarrow\infty} G_n(x)=G(x)$。

定理：

$(F_n,n\ge 1),F_n\in\mathcal{N}\Longrightarrow\exists N\in\mathcal{M},(n_k,k\ge1),\text{ s.t. }F_{n_k}\xrightarrow{d}G$

Lecture 7 Weak convergence: Helly-Bray's theorem

定理（Helly-Bray）：

$\mu_n\xrightarrow{w}\mu\Longleftrightarrow \forall f\in C_b(\mathbb{R}),\int fd\mu_n\rightarrow \int f d\mu$

其中 $C_b(\mathbb{R})$ 是 bounded continue function on $\mathbb{R}$。

引理：$X_n\xrightarrow{P}X\Longrightarrow X_n\xrightarrow{d}X$

引理：$X_n\xrightarrow{P}X\Longrightarrow E[f(X_n)]\rightarrow E[f(x)],\forall f\in C_b(\mathbb{R})$

• 引理：$X_n\xrightarrow{d} C,C\in\mathbb{R}\Longrightarrow X_n\xrightarrow{P} C$

Lecture 8 Characteristic functions

$t\in\mathbb{R}$，定义 $F_t:\mathbb{R}\rightarrow\mathbb{C}$ 为 $F_t(x)=e^{itx}$

定义：characteristic function $\varphi_X(t)=E[F_t(X)]=E[e^{itX}]$

因为 $F_t$ 是 continuous function，所以有 $X_n\xrightarrow{d} X\Rightarrow E[F_t(X_n)]\rightarrow E[F_t(X)]$，所以有 $\varphi_{X_n}(t)\rightarrow \varphi_X(t),\forall t\in\mathbb{R}$。

引理：

1. $\varphi_X(0)=1$
2. $|\varphi_X(t)|=|\int e^{itX}dP|\le 1$