进阶概率与统计

一个连续变量 $X$ 由一个概率密度函数(probability density function)$f(x)$ 描述,它可能被分段定义。一个范围上的概率是 $f$ 下的面积,而 $X$ 的任何函数的平均值是

累积分布函数(cumulative distribution function)$F(x) = P(X \leqslant x)$ 是累加的总数:$F(x) = \displaystyle\int_{-\infty}^{x} f(t)\,dt$,而 $f(x) = F'(x)$。用 $F$ 求概率和百分位数(percentiles,例如中位数(median)解 $F(x) = 0.5$)。

例题。 一个变量对 $0 \leqslant x \leqslant 2$ 有 $f(x) = \tfrac12 x$。求中位数。

累积分布函数是 $F(x) = \displaystyle\int_0^x \tfrac12 t\,dt = \tfrac14 x^2$。令 $F(m) = 0.5$:

一个相关变量的分布。 若 $Y=g(X)$,通过它的累积函数求 $Y$ 的分布。对 $Y=X^2$:$F_Y(y)=P(X^2\leqslant y)=P(-\sqrt y\leqslant X\leqslant\sqrt y)=F_X(\sqrt y)-F_X(-\sqrt y)$,然后微分得 $f_Y=F_Y'$。当 $g$ 单调递增时有一个捷径,$F_Y(y)=F_X\big(g^{-1}(y)\big)$。

例题。 用 $f_X(x)=\tfrac12 x$ 在 $[0,2]$ 上(所以 $F_X(x)=\tfrac14 x^2$),令 $Y=X^2$。对 $0\leqslant y\leqslant 4$,$F_Y(y)=F_X(\sqrt y)=\tfrac14 y$,所以 $f_Y(y)=F_Y'(y)=\tfrac14$——就是说 $Y$ 在 $[0,4]$ 上均匀分布。

当一个样本小而总体方差未知时,把你的假设检验(hypothesis test)建立在 $t$ 分布而不是正态上。同样的思想给出平均值的一个置信区间(confidence interval):

其中 $t$ 来自带 $n - 1$ 自由度的 $t$ 表。要比较两个总体,用一个双样本(2-sample)或配对样本 $t$ 检验,在适当时找到共享方差的一个合并估计(pooled estimate)之后。

例题。 一个 $n = 10$ 的样本有平均值 $\bar{x} = 50$ 和标准差 $s = 4$。求平均值的一个 $95\%$ 置信区间(对 $9$ 个自由度用 $t = 2.262$)。

一个 $\chi^2$ 检验(卡方检验(chi-squared test))把观察计数 $O$ 与一个理论分布(theoretical distribution)的预期计数 $E$ 比较:

把这个与正确数目的自由度(degrees of freedom)的一个表值比较。两个用途:一个拟合优度(goodness of fit)检验(数据是否跟随提议的模型?),以及一个列联表(contingency table)中两个变量的独立性(independence)检验。

例题。 四个等可能的类别给出观察计数 $20, 30, 25, 25$(所以每个预期计数是 $25$)。在 $5\%$ 水平检验拟合。

用 $4 - 1 = 3$ 个自由度,表值是 $7.815$。因为 $2 < 7.815$,不拒绝模型。

一个非参数检验(non-parametric test)不假设数据是正态的,所以当那个假设失败时它有用。基本的是:

• 符号检验(sign test):数有多少值落在一个提议的中位数之上和之下,并用一个二项模型检验那些计数;
• 威尔科克森符号秩检验(Wilcoxon signed-rank test,配对数据的匹配对检验),它也用差的大小,而不只是它们的符号;
• 威尔科克森秩和检验(Wilcoxon rank-sum test),用于比较两个分开的样本。

例题。 检验一个中位数是否是 $5$。在一个 $10$ 个值的样本中(没有等于 $5$ 的),$9$ 个在 $5$ 之上而 $1$ 个在它之下。在 $5\%$ 水平检验(双尾)。

在 $H_0$(中位数 $= 5$)下,之上的数目跟随 $B(10, 0.5)$。观察结果($9$ 个在上)是极端的,所以求 $P(X \geq 9) = \binom{10}{9}(0.5)^{10} + (0.5)^{10} = \dfrac{11}{1024} = 0.0107$。对一个双尾检验与 $\tfrac{1}{2}(5\%) = 0.025$ 比较。因为 $0.0107 < 0.025$,拒绝 $H_0$:有证据表明中位数不是 $5$。

一个离散变量 $X$ 的概率母函数(probability generating function)是

它把整个分布装进一个函数。平均值和方差来自它在 $t = 1$ 处的导数:$E(X) = G'(1)$ 且 $\mathrm{Var}(X) = G''(1) + G'(1) - \big(G'(1)\big)^2$。而且,独立变量之和的 PGF 是它们 PGF 的乘积。

例题。 $X$ 有 $P(X=0) = 0.5$、$P(X=1) = 0.3$、$P(X=2) = 0.2$。用 PGF 求 $E(X)$。

这里 $G(t) = 0.5 + 0.3t + 0.2t^2$,所以 $G'(t) = 0.3 + 0.4t$ 且

• 对于一个连续型随机变量,pdf 在它的范围上积分为 $1$,而 $E(X) = \int x f(x)\,dx$。
• 当样本小而总体方差未知时用 $t$ 分布;陈述自由度。
• 对一个卡方检验计算 $\sum (O-E)^2/E$、与正确自由度的临界值比较,并合并 $E < 5$ 的类别。
• 为每个检验陈述 $H_0$ 和 $H_1$ 并结合上下文给出结论。