概率论:假设检验-t检验、卡方检验和AD-Fuller test

作者:sdll 2018/2/11 9:37:13


标签:python

内容

卡方检验 Chi-Square


the chi-square test measures dependence between stochasticvariables, so using this function “weeds out” the features that are themost likely to be independent of class and therefore irrelevant forclassification.标称数据的相关性分析,衡量 categorical attributes 相关性的。在特征选择中应该是检验某个单一特征和label之间的相关性,如果独立直接剔除该特征。

运用

    建立零假说(Null Hypothesis),即认为观测值与理论值的差异是由于随机误差所致;
    确定数据间的实际差异,即求出卡方值;
    如卡方值大于某特定概率标准(即显著性差异)下的理论值,则拒绝零假说,即实测值与理论值的差异在该显著性水平下是显著的。

[wikipedia]


某小皮



T检验

T检验,亦称student t检验(Student's t test),学生t检验(英语:Student's t-test)是指虚无假设成立时的任一检定统计有学生t-分布的统计假说检定,属于母数统计。学生t检验常作为检验一群来自常态分配母体的独立样本之期望值的是否为某一实数,或是二群来自常态分配母体的独立样本之期望值的差是否为某一实数。

主要用于样本含量较小(例如n<30),总体标准差σ未知的正态分布资料。常被应用于小样本判断的置信度。分为单总体检验和双总体检验。
t检验是用t分布理论来推论差异发生的概率,从而比较两个平均数的差异是否显著。它与z检验、卡方检验并列。
t检验是戈斯特为了观测酿酒质量而发明的。

前提假设

大多数的t检定之统计量具有t = Z/k的形式,其中Zk是已知资料的函数。Z通常被设计成对于对立假说有关的形式,而k是一个尺度参数使t服从于t分布。以单样本t检验为例,Z = \bar{X}/(\sigma/\sqrt{n}),其中\bar{X}为样本平均数,n为样本数,\sigma为总体标准差。至于k在单样本t检验中为\hat{\sigma}/\sigma,其中\hat{\sigma}为样本的标准偏差。在符合零假说的条件下,t检定有以下前题:

  • Z 服从标准正态分布

  • (n - 1)k2 服从自由度(n - 1)的卡方分布

  • Zk互相独立

统计法比较


最常用t检验的情况

  • 单样本检验:检验一个正态分布的总体的均值是否在满足零假设的值之内,例如检验一群人的身高的平均是否符合170公分。

  • 双样本检验:其零假设为两个正态分布的总体的均值之差为某实数,例如检验二群人的身高之平均是否相等。这一检验通常被称为学生t检验。但更为严格地说,只有两个总体的方差是相等的情况下,才称为学生t检验;否则,有时被称为Welch检验。以上谈到的检验一般被称作“未配对”或“独立样本”t检验,我们特别是在两个被检验的样本没有重叠部分时用到这种检验方式。

  • “配对”或者“重复测量”t检验:检验同一统计量的两次测量值之间的差异是否为零。举例来说,我们测量一位病人接受治疗前和治疗后的肿瘤尺寸大小。如果治疗是有效的,我们可以推定多数病人接受治疗后,肿瘤尺寸变小了。

  • 检验一条回归线的斜率是否显著不为零。



    单样本t检验编辑


    检验零假说为一群来自常态分配独立样本xi之母体期望值μμ0可利用以下统计量

    •  t = \frac{\overline{x} - \mu_0}{s/\sqrt{n}}

    其中i = 1 \ldots n\overline{x} = \frac{\sum_{i=1}^{n} x_i}{n}为样本平均数,s = \sqrt{\frac{\sum_{i=1}^{n}(x_i-\overline{x})^2}{n-1}} 为样本标准偏差n样本数。该统计量t在零假说:μ = μ0为真的条件下服从自由度为n − 1的t分布

    配对样本t检验编辑

    配对样本t检验可视为单样本t检验的扩展,不过检验的对象由一群来自常态分配独立样本更改为二群配对样本之观测值之差。

    若二群配对样本x1ix2i之差为di = x1i − x2i独立且来自常态分配,则di之母体期望值μ是否为μ0可利用以下统计量

    •  t = \frac{\overline{d} - \mu_0}{s_d/\sqrt{n}}

    其中i = 1 \ldots n\overline{d} = \frac{\sum_{i=1}^{n} d_i}{n}为配对样本差值之平均数,s_d = \sqrt{\frac{\sum_{i=1}^{n}(d_i-\overline{d})^2}{n-1}} 为配对样本差值之标准偏差n为配对样本数。该统计量t在零假说:μ = μ0为真的条件下服从自由度为n − 1的t分布

    独立双样本t检验编辑

    样本数及变异数相等编辑

    若二群独立样本x1ix2i具有相同之样本数n,并且彼此独立及来自二个变异数相等的常态分配,则二群母体之期望值差μ1 - μ2是否为μ0可利用以下统计量

    •  t = \frac{\overline{x}_1 - \overline{x}_2 - \mu_0}{\sqrt{ 2s_p^2 / n}}

    其中i = 1 \ldots n\overline{x}_1 = (\sum_{i=1}^n x_{1i}) / n\overline{x}_2 = (\sum_{i=1}^n x_{2i}) / n为二群样本各自的平均数,s^2_p = ( \sum_{i=1}^n (x_{1i}-\overline{x}_1)^2  + \sum_{i=1}^n (x_{2i}-\overline{x}_2)^2 ) / (2n-2) 为样本之共同变异数。该统计量t在零假说:μ1 - μ2 = μ0为真的条件下服从自由度为2n − 2的t分布

    样本数不相等但变异数相等编辑

    若二群独立样本x1ix2j具有不相同之样本数n1n2,并且彼此独立及来自二个变异数相等的常态分配,则二群母体之期望值之差μ1 - μ2是否为μ0可利用以下统计量

    •  t = \frac{\overline{x}_1 - \overline{x}_2 - \mu_0}{\sqrt{ s_p^2 / n_1 + s_p^2 / n_2}}

    其中i = 1 \ldots n_1,其中j = 1 \ldots n_2\overline{x}_1 = (\sum_{i=1}^n x_{1i}) / n\overline{x}_2 = (\sum_{i=1}^n x_{2i}) / n为二群样本各自的平均数,s^2_p = ( \sum_{i=1}^n (x_{1i}-\overline{x}_1)^2  + \sum_{j=1}^n (x_{2j}-\overline{x}_2)^2 ) / (n_1 + n_2 - 2) 为二群样本共同之变异数。该统计量t在零假说:μ1 - μ2 = μ0为真的条件下服从自由度为n1 + n2 − 2的t分布

    变异数皆不相等编辑

    若二群独立样本x1ix2j具有相等或不相同之样本数n1n2,并且彼此独立及来自二个变异数不相等的常态分配,则二群母体之期望值之差μ1 - μ2是否为μ0可利用以下统计量

    •  t = \frac{\overline{x}_1 - \overline{x}_2 - \mu_0}{\sqrt{ s_1^2 / n_1 + s_2^2 / n_2}}

    其中i = 1 \ldots n_1,其中j = 1 \ldots n_2\overline{x}_1 = (\sum_{i=1}^{n_1} x_{1i}) / n_1\overline{x}_2 = (\sum_{j=1}^{n_2} x_{2j}) / n为二群样本各自的平均数,s^2_1 = (\sum_{i=1}^n (x_{1i}-\overline{x}_1)^2)/(n_1 - 1)s^2_2 = (\sum_{j=1}^n (x_{2j}-\overline{x}_2)^2)/(n_2 - 1)分别为二群样本之变异数。该统计量t在零假说:μ1 - μ2 = μ0为真的条件下服从自由度为

    •  df = \frac{ (s_1^2/n_1 + s_2^2/n_2)^2 }{ (s_1^2/n_1)^2/(n_1-1) + (s_2^2/n_2)^2/(n_2-1) }

    t分布。这种方法又常称为Welch检验。

    简单线性回归之斜率编辑

    在简单线性回归的模型

    •  y_i = \alpha + \beta x_i + \varepsilon_i,

    其中xii = 1, ..., n为已知,αβ为未知系数,εi残差独立且服从期望值0且变异数σ2未知的正态分布,yii = 1, ..., n为观测值。我们可以检验回归系数(在此例即为回归式之斜率)β是否相等于特定的β0(通常使β0 = 0以检验xiyi是否有关联)。

    \widehat\alpha\widehat\beta最小平方法之估计值,SE_{\widehat\alpha}SE_{\widehat\beta}为最小平方法估计值之标准误差,则

    • t = \frac{\widehat\beta - \beta_0}{ SE_{\widehat\beta} }\sim\mathcal{T}_{n-2}

    在零假设为β = β0的情况下服从自由度为n − 2之t分布,其中

    • SE_{\widehat\beta} = \frac{\sqrt{\frac{1}{n - 2}\sum_{i=1}^n (y_i - \widehat y_i)^2}}{\sqrt{ \sum_{i=1}^n (x_i - \overline{x})^2 }}

    由于 \widehat\varepsilon_i = y_i - \widehat y_i = y_i - (\widehat\alpha + \widehat\beta x_i)为残差(即估计误差),而 \text{SSR} = \sum_{i=1}^n \widehat\varepsilon_i^{\;2} 为残差之离均平方和,我们可改写t

    •  t = \frac{(\widehat\beta - \beta_0)\sqrt{n-2}}{ \sqrt{\text{SSR}/\sum_{i=1}^n \left(x_i - \overline{x}\right)^2} }

    python t-test统计软件

    scipy.stats.ttest_ind(a, b, axis=0, equal_var=True)

    [scipy.stats.ttest_ind]
    皮皮blog

    t检验的一个示例

    t检验步骤

    以单总体t检验为例说明:
    问题:难产儿出生体重
    n=35,  =3.42,S =0.40,一般婴儿出生体重μ0=3.30(大规模调查获得),问相同否?
    解:
    1.建立假设、确定检验水准α
    H0:μ = μ0 (零假设,null hypothesis)
    H1:μ ≠ μ0(备择假设, alternative hypothesis,)
    双侧检验,检验水准:α=0.05
    2.计算检验统计量

    Note: t统计量计算值为1.77, 自由度为34
    3.查相应界值表,确定P值,下结论
    查附表,t0.05 / 2(34) = 2.032   #双侧假设检验,即在alpha/2、自由度34下的t值
    t < t0.05 / 2(34)       #拒绝域是{t>特定值},这样才说明|u-u0|>特定值,也就是u!=u0
    P > 0.05
    按α=0.05水准,不拒绝H0,两者的差别无统计学意义

    [wikipedia-學生t檢驗]
    [Richard Mankiewicz, The Story of Mathematics (Princeton University Press), p.158.]

    皮皮blog




    Augmented Dickey–Fuller test 扩展迪基-福勒检验


    用于测试平稳性

    Dickey-Fuller Test: This is one of the statistical tests for checking stationarity. Here the null hypothesis is that the TS is non-stationary. The test results comprise of a Test Statistic and some Critical Valuesfor difference confidence levels. If the ‘Test Statistic’ is less than the ‘Critical Value’, we can reject the null hypothesis and say that the series is stationary. Refer this article for details.

    Note: 可以看出这里的拒绝域是{u<u0},这样代表平稳,是拒绝域.

    用于测试单根

    The Augmented Dickey-Fuller test can be used to test for a unit root in a univariate process in the presence of serial correlation.

    The null hypothesis of the Augmented Dickey-Fuller is that there is a unit root, with the alternative that there is no unit root. If the pvalue is above a critical size, then we cannot reject that there is a unit root.

    [wikipedia: Augmented Dickey–Fuller test]

    [python包:statsmodels.tsa.stattools.adfuller]

    ADFuller平稳性测试示例


    可以看到,这里最小拒绝H0的alpha值p-value太大,没法拒绝H0,所以This is not a stationary series(H0). 
    当然同样可以通过the test statistic is way more than the critical values来判断不能拒绝H0(拒绝域是{u<u0},也就是u越小越可能拒绝,而这里u相对于u0相当大,只能接受)。Note that the signed values should be compared and not the absolute values.

    [pandas小记:pandas时间序列分析和处理Timeseries ]

    from: http://blog.csdn.net/pipisorry/article/details/51184556

    ref: