使用R对共线性检验
【摘要】使用R对共线性检验 高维数据常会出现共线性 、变量选择等问题 。如何消除共线性确定最佳模型,是回归分析的一个重点。 传统的最小二乘
使用R对共线性检验
高维数据常会出现共线性 、变量选择等问题 。如何消除共线性确定最佳模型,是回归分析的一个重点。 传统的最小二乘估计在处理多重共线性问题上 往往有令人不太满意的地方, 主要有两点: 一是 预测准确性,二是模型可解释性。 目前处理严重共线性的常用方法有以下几种: 主成分回归、逐步回归、岭回归等, 这些方法有各自的优缺点 多重共线性的Lasso 方法兼有子集选择和岭估计的优点,同时进行变 量选择与未知参数估计。选择最佳模型的标准有 Cp、AIC、BIC准则,它们也有各自的适用范围。(Mallows Cp 统计量用来作为逐步回归的判停规则,对于一个好的模型,它的Cp统计量非常接近于模型的参数数目)
Robert Tibshirani (就是R中MASS以及 The Elements of Statistical Learning的作者之一)于 1996 年提出了一种新的变 量选择技术Lasso,即 Least Absolute Shrinkage and Selection Operator 就是翻译过来颇显别扭的套索回归, lasso方法用模型系数的绝对值 函数作为惩罚来压缩模型系数,使一些回归系数变 小,甚至使一些绝对值较小的系数直接变为0 。
本文先从普通回归说起:
R语句如下
[plain] view plain copy
library(car)
D=read.csv("/Users/Documents/train_test_model/ridgereg1.csv",sep=",") # 加载数据
a=lm(y~., data=D);summary(a) # 定义模型,summary为输出汇总
vif(a) # 输出模型汇总
得到一下拟合检验参数
[plain] view plain copy
Call:
lm(formula = y ~ ., data = D)
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 11.011694 1.718393 6.408 4.94e-06 ***
long 1.692736 0.369589 4.580 0.000232 ***
touwei -2.158831 0.535513 -4.031 0.000783 ***
weight 0.007472 0.001144 6.531 3.87e-06 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.163 on 18 degrees of freedom
Multiple R-squared: 0.9754, Adjusted R-squared: 0.9713
F-statistic: 238.1 on 3 and 18 DF, p-value: 1.14e-14
long
200.013181140721
touwei
209.429825510575
weight
9.68788132590006
通过vif方差膨胀因子可以知道上面三个变量存在严重的共线性,有书中规定超过10就算存在严重共线性同时分析回归系数,婴儿的头围越大,年龄应该越大才对,不应该是负向预测关系,从这里也可以看出一些端倪以上是我们依据数据诊断出多元回归中自变量存在严重共线性,当然在spss中也是可以直接选择,杜宾-瓦特森检验,也是统计分析中常用的一种检验序列一阶自相关最常用的方法。所以不能直接使用常规ols方法。于是请看下面的解决办法。#我们进一步的对检测回归分析的另一个前提--即方差齐性
[plain] view plain copy
library(MASS)
install.packages("gvlma") #导入gvlma包
library(gvlma)
gvmodel <- gvlma(a)
summary(gvmodel)
得到如下参数
[plain] view plain copy
Call:
lm(formula = y ~ ., data = D)
Residuals:
Min 1Q Median 3Q Max
-1.87262 -0.69499 -0.09376 0.74618 2.80676
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 11.011694 1.718393 6.408 4.94e-06 ***
long 1.692736 0.369589 4.580 0.000232 ***
touwei -2.158831 0.535513 -4.031 0.000783 ***
weight 0.007472 0.001144 6.531 3.87e-06 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Call:
gvlma(x = a)
Value p-value Decision
Global Stat 6.6421 0.15605 Assumptions acceptable.
Skewness 0.7794 0.37733 Assumptions acceptable.
Kurtosis 0.1147 0.73484 Assumptions acceptable.
Link Function 1.7108 0.19088 Assumptions acceptable.
Heteroscedasticity 4.0372 0.04451 Assumptions NOT satisfied!
可以得出,异方差性违反,也违反了普通最小二乘建模的前提。如果还是不死心,我们来看看残差分析吧。
#建模试试,看是否存在异常
[plain] view plain copy
lm.sol<-lm(y~.,data=D)
summary(lm.sol)
#可视化,残差与预测散点图
plot(fitted(lm.sol), resid(lm.sol),
cex=1.2, pch=21, col="red", bg="orange"
xlab="Fitted Value", ylab="Residuals")
当描绘的点围绕残差等于0的直线上下随机散布,说明回归直线对原观测值的拟合情况良好。否则,说明回归直线对原观测值的拟合不理想。 在标准化残差图中,大约有95.45%的残差在-2到+2之间 同时,也可以识别异常点,标准化残差小于-3或者大于+3时,就可以判断为异常值。
那么最后大概是可以相信这个模型用最小二乘法是并不合适。
就业培训申请领取
环球青藤
官方QQ群扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群
刷题看课 APP下载
免费直播 一键购课
代报名等人工服务
- 1 传统数据和大数据的区别
- 2 数据分析的8种方法都是哪些?
- 3 数据分析的具体流程是什么?
- 4 3大常用的数据分析工具是什么?
- 5 excel中的运算符
- 6 数据分析的作用有哪些?
- 7 电子商务需要分析哪些数据?
- 8 数据分析包括哪些内容?
- 9 数据分析的基本步骤
- 10 rdd是什么?