正文:4 应用篇
12 假设检验
12.1 假设检验的基本概念
12.1.1 假设检验的基本思想
根据实际情况的要求对检验对象提出一个假设$H_0$(称为原假设), 同时提出一个与原假设对立的备设假设$H_1$
$\color{Red}Z$: 检验统计量
$\color{Blue}W$: 区域
$\color{Green}\alpha$: 显著性水平
例12.1
已知某炼铁厂的铁水含碳量$X\sim N(4.55, 0.06)$, 现改变了工艺条件, 又测得10种贴水的平均含碳量$\bar X = 4.57$, 假设方差无变化, 问总体均值$\mu$是否有明显改变?
设$H_0:\mu=4.55,H_1:\mu\ne4.55$
令事件$A:|\bar X-4.55|\ge d,d>0, \alpha=0.05$得到不等式:
$P($当$H_0$为真, 拒绝$H_0)=P(|\bar X -4.55|\ge d)\le \alpha$
$P($当$H_0$为真, 拒绝$H_0)=P(|\frac{\bar X -4.55}{\sigma/\sqrt n}|\ge \frac{d}{\sigma/\sqrt n})\le \alpha$
若X的样本观察值满足:
$|Z|=|\frac{\bar X -4.55}{\sigma/\sqrt n}| < k\Rightarrow $接受$H_0$
$|Z|=|\frac{\bar X -4.55}{\sigma/\sqrt n}| \ge k\Rightarrow $拒绝$H_0$($H_0$的拒绝域)
$k = Z_{\alpha/2}$
由$\alpha=0.05$得$Z_{\alpha/2}=1.96$
$Z=\frac{4.57-4.55}{0.66/\sqrt{10}}, |Z|<Z_{\alpha/2}$, 认为接受原假设$H_0$, 认为工艺是正常的
|
(1.054092553389484, 1.959963984540054)
|
12.1.2 左右侧检验与双侧检验
左侧检验: $H_0:\mu\ge\mu_0($或$\mu=\mu_0),H_1:\mu<\mu_0$, 拒绝域: $Z\le-Z_\alpha$
右侧检验: $H_0:\mu\le\mu_0($或$\mu=\mu_0),H_1:\mu>\mu_0$, 拒绝域: $Z\ge Z_\alpha$
双侧检验: $H_0:\mu=\mu_0,H_1:\mu\ne\mu_0$, 拒绝域: $|Z|\ge Z_\alpha$
12.1.3 P值检验法
以上为临界值检验法,下面介绍P值检验法,所谓P值检验法就是由检验统计量的样本观察值得出的原假设可被拒绝的最小显著性水水平。
例12.3
某食品厂用自动装罐机装罐头食品, 每罐的标准重量$\mu_0=500g$
设罐重是服从正态分布的随机变量, 标准差$\sigma=10$
从中抽取$n_1 =10$罐, 测得平均重量为$\bar X_1=506g$
隔一段时间后又抽$n_1=10$罐, 测的平均重量为$\bar X_2=505g$
问这时机器工作是否正常?
提出假设$H_0:\mu=\mu_0=500,H_1:\mu\ne\mu_0$
取$\alpha=0.05$
$Z_1=\frac{506-500}{10/\sqrt{10}}=1.897, Z_2=\frac{505-500}{10/\sqrt{10}}=1.581$
$P\{Z\ge Z_1\}=P\{Z\ge 1.897\}=1-\Phi(1.897)=0.029>\frac{\alpha}{2}=0.025$
$P\{Z\ge Z_2\}=P\{Z\ge 1.581\}=1-\Phi(1.581)=0.057>\frac{\alpha}{2}=0.025$
接受原假设$H_0$, 第二次抽样支持原假设的强度更大
12.2 Z检验(正态总体均值的假设检验, 方差已知时)
$\bar X\sim N(\mu_0, \frac{\sigma^2}{n})$当$H_0$真实时$Z=\frac{\bar X -\mu}{\sigma/\sqrt n}\sim N(0,1)$
若两组样本方差$\sigma^2_1$和$\sigma^2_2$已知, 统计量$Z$的计算公式:
12.3 t检验(正态总体均值的假设检验, 方差未知时)
由于总体方差未知, 用样本标准差$S$代替$Z$检验法中的总体标准差$\sigma$
若有两种独立样本, 选取统计量
其中
12.4 卡方检验
未知总体的分布的假设检验(非参数检验)$\chi^2$拟合检验法
其基本思想是用得到的样本观察值来与假设的总体的分布函数(或分布律)来进行某种拟合, 再根据拟合的程度确定是否接受原假设, 从而推断总体是否服从假设的分布.
设总体$X$的分布函数$F(x)$未知, $X_1,X_2,...,X_n$是来自总体$X$的一个样本, 建立假设检验
$H_0:F(x)=F_0(x), H_1:F(x)\ne F_0(x)$, 其中$F_0(x)$是已知的分布函数
皮尔逊定理
若$n$充分大(一般$n\ge 50$), 则当$H_0$为真时, 无论总体X服从何种分布
统计量$\chi^2=\Sigma^k_{i=1}\frac{(n_i-np_i)^2}{np_i}$都近似服从$\chi^2(k-r-1)$,$r$是分布中未知参数的个数
例12.12
某市自开办有奖储蓄以来, 13期兑奖中各数码的频数汇总如下表所示
数码$i$ | 0 1 2 3 4 5 6 7 8 9 | 总数 |
---|---|---|
频数$f_i$ | 21 28 37 36 31 45 30 37 33 52 | 350 |
如果检验器械或操作方法没有问题, 则各数码服从均匀分布, 提出检验假设$H_0:p_i=\frac{1}{10},i=0,1,2,...,9$理论频数$np_i=35$,
统计量$\chi^2=\Sigma^{10}_{i=1}\frac{(n_i-np_i)^2}{np_i}=\frac{688}{35}=19.657$
而$\chi^2_\alpha(k-1)=16.9,19.657>16.9$拒绝$H_0$, 认为器械操作方法有问题
12.5 假设检验中的两类错误
决策结果\实际情况 | $H_0$为真 | $H_0$为假 |
---|---|---|
拒绝$H_0$ | 弃真(第一类错误) | 取伪(无错) |
接受$H_0$ | 存真(无错) | 取伪(第二类错误) |
$P\{Z\in W|H_0 is true\}\le \alpha$
$P\{Z\notin W|H_0 is not true\}=\beta$
在假设检验中, 通常是要求犯第一类错误的概率不超过预定的数$\alpha$(如0.05, 0.01等), 同时希望犯第二类错误的概率尽可能小
12.6 综合实例1——体检数据中的假设检验问题
变量名 | 描述 |
---|---|
Temperature | 体温(华氏温度) |
Gender | 性别(1为男, 2为女) |
Heart Rate | 心率(每分钟心跳次数) |
(1)显示数据集及相关统计描述信息(均值, 标准差等)
|
Temperature | Gender | Heart Rate | |
---|---|---|---|
count | 130.000000 | 130.000000 | 130.000000 |
mean | 98.249231 | 1.500000 | 73.761538 |
std | 0.733183 | 0.501934 | 7.062077 |
min | 96.300000 | 1.000000 | 57.000000 |
25% | 97.800000 | 1.000000 | 69.000000 |
50% | 98.300000 | 1.500000 | 74.000000 |
75% | 98.700000 | 2.000000 | 79.000000 |
max | 100.800000 | 2.000000 | 89.000000 |
分别显示了各属性的总数, 均值, 标准差, 最大值和最小值, 以及各种分位点值
|
Temperature | Gender | Heart Rate | |
---|---|---|---|
0 | 96.3 | 1 | 70 |
1 | 96.7 | 1 | 71 |
2 | 96.9 | 1 | 74 |
3 | 97.0 | 1 | 80 |
4 | 97.1 | 1 | 73 |
(2) 试检验体温的分布是否服从正态分布
这里用的跟之前书上讲的根本就不是一个方法...
正态检验 (Normality Test)——常见方法汇总与简述
有多种手段评估数据是否正态分布。分两大类:图形和统计量。图形手段包括q-q plot和p-p plot,统计量手段包括Kolmogorov-Smirnov 检验 and Shapiro-Wilks 检验。
Samuel Shapiro 和 MartinWilk于1965年提出了Shapiro–Wilk 检验。他们观察到Normal probability plot与线性回归很类似。Normalprobability plot是q-q plot的特例,检查样本数据集是否匹配某正态分布,比如标准正态分布N(0,1)。
1.直方图初判
|
Average (Mu): 98.24923076923076 / Standard Deviation: 0.7303577789050376
2.利用Scipy工具检验正态性
|
Shapiro-Wilk Stat: 0.9865769743919373
Shapiro-Wilk p-Value: 0.2331680953502655
p: 0.2587479863488212
3.通过分位数-分位数(Q-Q)图检查正态分布
|
4.基于ECDF(经验累积分布函数)正态检验
根据当前样本的均值和标准差随机生成一个新的正态分布, 然后将它的累积分布函数和样本数据的累积分布函数比较, 如果实测差异足够大, 该检验将拒绝总体呈正态分布的原假设
|
Mean temperature: 98.24923076923076 with standard deviation of +/- 0.730357778905038
<matplotlib.legend.Legend at 0x1bc43440b20>
3 有学者提出98.6°F(37°C)是人类的平均气温, 我们是否接受该观点?
|
Ttest_1sampResult(statistic=-5.454823292364077, pvalue=2.410632041561008e-07)
$pvalue\approx0$, 拒绝原假设
4 男性和女性的体温有明显的差异吗?
|
LeveneResult(statistic=2.1897731829800553, pvalue=0.14138681028945846)
Average female body temperature = 98.39384615384616
Average male body temperature = 98.1046153846154
Ttest_indResult(statistic=2.2854345381654984, pvalue=0.02393188312240236)
LeveneResult每次都不尽相同, 但是$pvalue$的值都远大于0.05, 认为两总体具有方差齐性
Ttest_indResult的$pvalue$小于显著性水平0.05, 有超过95%的把握认为两者是有差异的
12.7 综合实例2——种族对求职是否有影响
|
id | ad | education | ofjobs | yearsexp | honors | volunteer | military | empholes | occupspecific | ... | compreq | orgreq | manuf | transcom | bankreal | trade | busservice | othservice | missind | ownership | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
0 | b | 1 | 4 | 2 | 6 | 0 | 0 | 0 | 1 | 17 | ... | 1.0 | 0.0 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | |
1 | b | 1 | 3 | 3 | 6 | 0 | 1 | 1 | 0 | 316 | ... | 1.0 | 0.0 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | |
2 | b | 1 | 4 | 1 | 6 | 0 | 0 | 0 | 0 | 19 | ... | 1.0 | 0.0 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | |
3 | b | 1 | 3 | 4 | 6 | 0 | 1 | 0 | 1 | 313 | ... | 1.0 | 0.0 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | |
4 | b | 1 | 3 | 3 | 22 | 0 | 0 | 0 | 0 | 313 | ... | 1.0 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1.0 | 0.0 | Nonprofit |
5 rows × 65 columns
|
count 2435.000000
mean 0.064476
std 0.245649
min 0.000000
25% 0.000000
50% 0.000000
75% 0.000000
max 1.000000
Name: call, dtype: float64
|
count 2435.000000
mean 0.096509
std 0.295346
min 0.000000
25% 0.000000
50% 0.000000
75% 0.000000
max 1.000000
Name: call, dtype: float64
黑人录取率6.4%, 白人录取率9.7%
|
blacks | whites | |
---|---|---|
called | 157 | 235 |
not_called | 2278 | 2200 |
|
blacks | whites | |
---|---|---|
called | 196.0 | 196.0 |
not_called | 2239.0 | 2239.0 |
|
Power_divergenceResult(statistic=16.87905041427022, pvalue=0.0007483959441097264)
$pvalue\le \chi^2_{0.05}(1)$, 认为求职路上种族歧视是存在的
12.9 习题
1 t检验
在10块土地上同时种植甲, 乙两种作物, 其产量服从正态分布, 并且方差相同.
计算结果得$\bar X=30.97, \bar Y=21.79, S_x=26.7, S_y=12.1$, 试问这两种作物的产量有无明显差异?
|
t statistic is: 0.9394886573346275
pvalue is: 0.35991721678518696
$pvalue\ge 0.05$, 没有显著差异
2 卡方检验
从某中学随机抽取两个班, 判断这两个班对待文理分科的态度是否有显著差异($\alpha=0.05$)?
卡方检验(两个类别变量是否独立)以及chi2_contingency
赞成 | 反对 | ||
---|---|---|---|
甲班 | 37 | 27 | 64 |
乙班 | 39 | 21 | 60 |
76 | 48 | 124 |
自由度=(行数-1)(列数-1)=1
$\chi^2=\frac{(AD-BC)^2}{(A+B)(C+D)}=19.8375>\chi^2_{0.05}(1)=3.843$(不知道这么算对不对..)
所以没有显著差异
|
chisq-statistic=0.4054, p-value=0.5243, df=1 expected_frep=[[39.22580645 24.77419355]
[36.77419355 23.22580645]]
$p-value>0.05$, 所以没有显著差异