结合R语言学习多元统计分析1——相关系数及其检验

数理相关知识

对于连续无序变量x、y&＃xff0c;计算其相关性通常采用皮尔森相关系数&＃xff0c;其表达式为
ρ&＃61;cov(x,y)var(x)var(y)&＃61;σxyσx2σy2\rho&＃61;\frac{cov(x, y)}{\sqrt{var(x)var(y)}}&＃61;\frac{\sigma_{xy}}{\sqrt{\sigma_x^{2}\sigma_y^{2}}}ρ&＃61;var(x)var(y)

​cov(x,y)​&＃61;σx2​σy2​

​σxy​​
在实际操作中&＃xff0c;总体的方差标准差、两个变量间的协方差并不是已知&＃xff0c;而是未知&＃xff0c;所以通常利用样本的Pearson相关系数&＃xff1a;
r&＃61;sxysx2sy2&＃61;∑(x−x‾)(y−y‾)∑(x−x‾)2(y−y‾)2r&＃61;\frac{s_{xy}}{\sqrt{s_x^{2}s_y^{2}}}&＃61;\frac{\sum{(x-\overline x)(y-\overline y)}}{\sqrt{\sum{(x-\overline x)^{2}(y-\overline y)^{2}}}}r&＃61;sx2​sy2​

​sxy​​&＃61;∑(x−x)2(y−y​)2

​∑(x−x)(y−y​)​
其中sxys_{xy}sxy​是变量$x$与变量$y$的样本协方差&＃xff0c;sx2s_x^{2}sx2​是变量$x$的样本方差&＃xff0c;sy2s_y^{2}sy2​是变量$y$的样本协方差。
在多元统计中&＃xff08;假设有n个系数、p个变量&＃xff09;&＃xff0c;由于不同变量之间的对比有更多的可能&＃xff0c;相关系数就成了一个$n\ast p$的相关系数矩阵&＃xff0c;其具体形式如下&＃xff1a;
r&＃61;(1ρ12…ρ1pρ211…⋮⋮⋮⋱⋮ρn1ρn2…1)&＃61;D−12SD−12r&＃61;\begin{pmatrix} 1&\rho_{12}&\dots&\rho_{1p}\\ \rho_{21}&1&\dots& \vdots\\ \vdots&\vdots&\ddots&\vdots\\ \rho_{n1}&\rho_{n2}&\dots&1 \end{pmatrix} &＃61;D^{-{1\over2}}SD^{-{1\over2}}r&＃61;⎝⎜⎜⎜⎜⎛​1ρ21​⋮ρn1​​ρ12​1⋮ρn2​​……⋱…​ρ1p​⋮⋮1​⎠⎟⎟⎟⎟⎞​&＃61;D−21​SD−21​
其中D为变量的标准差&＃xff1a;
D&＃61;(σ120…00σ22…00…⋱00……σn2)D&＃61;\begin{pmatrix} \sigma_1^{2}&0&\dots&0\\ 0&\sigma_2^{2}&\dots&0\\ 0&\dots&\ddots&0\\ 0&\dots&\dots&\sigma_n^{2} \end{pmatrix}D&＃61;⎝⎜⎜⎛​σ12​000​0σ22​……​……⋱…​000σn2​​⎠⎟⎟⎞​

代码实现

在利用R语言求相关系数时&＃xff0c;通常使用cor函数:

cor(x,y&＃61;NULL,method&＃61;c(“pearson”, “kendall”, “spearman”)|

其中x为数值向量、矩阵或数据框&＃xff1b;y为空或数值向量、矩阵或数据框
method表示三种相关系数的计算方法&＃xff0c;从左到右依次是&＃xff1a;皮尔森相关系数、kendall秩相关系数、斯皮尔曼相关系数。R语言默认为pearson相关系数&＃xff0c;即本文介绍的相关系数。

数理基础

相关系数与其它统计指标一样&＃xff0c;有抽样误差&＃xff0c;从同一总体抽取的大小相同的样本&＃xff0c;其相关系数也不一定一致&＃xff0c;要判断不等于0的r值来自$\rho \&＃61;0$的总体样本还是$\rho /\&＃61;0$的总体&＃xff0c;必须进行显著性检验。对样本相关系数r进行t检验的步骤为&＃xff1a;

1. 建立检验假设&＃xff0c;H0:ρ&＃61;0H_0:\rho&＃61;0H0​:ρ&＃61;0&＃xff0c;H1:ρ≠0H_1:\rho\ne0H1​:ρ​&＃61;0
2. 计算相关系数r的t值&＃xff1a;
   tr&＃61;r−01−r2n−2t_r&＃61;\frac{r-0}{ \sqrt{\frac{1-r^{2}}{n-2}} }tr​&＃61;n−21−r2​

   ​r−0​
   3.计算t值和p值&＃xff0c;解释结果并作出结论。

代码实现

t统计量的计算&＃xff1a;

n&＃61;length(x1) #计算向量的长度
tr&＃61;r/sqrt(1-r^2)/(n-2)) #相关系数假设检验t统计量


cor.test(x,y,alternative&＃61;c(“two.sided”,“less”,"greater),
method&＃61;c(“pearson”,“kendall”,“spearman”),…)

其中&＃xff0c;x、y时长度相同的数据向量&＃xff0c;alternative时备择假设&＃xff0c;“two.sided”是双侧检验&＃xff0c;“greater”是右侧检验&＃xff0c;“less”是左侧检验。
method是计算方法。

使用的数据

一家保险公司十分关心其总公司营业部加班的程度&＃xff0c;决定认真调查以下现状。经过10周的时间&＃xff0c;手机了该公司每周加班工作时间y&＃xff08;小时&＃xff09;的数据何签发的新保单数目x&＃xff08;张&＃xff09;&＃xff0c;数据见下表&＃xff1a;

(1)绘制散点图&＃xff0c;并以此判断x与y之间是否大致呈线性关系。
(2)计算x与y的相关系数并检验¹

代码实现

data&＃61;read.table("clipboard",header &＃61; T)
plot(data)
#生成的图表示x与y大致呈线性关系
#但是数据太少了&＃xff0c;并不可以十分武断
r&＃61;cor(data$x,data$y)
#计算x与y的相关系数矩阵
n&＃61;length(data$x)
#计算样本的个数
tr&＃61;(r-0)/sqrt((1-r^2)/(n-2))
cor.test(data$x,data$y)
#从结果来看&＃xff0c;其中p值是小于0.05的&＃xff0c;由此拒绝原假设&＃xff0c;即总体相关系数并不为0

总结

事实上&＃xff0c;样本相关系数的假设检验并不常用。因为大部分的数据值之间的相关系数都难以等于零。

[1]王斌会, 多元统计分析及R语言建模[M], 广东&＃xff1a;暨南大学出版社, 2019.
[2]hhhhhliu, markdown编辑希腊字母[OB], CSDN, 不想按格式来了你点这个超链接吧.