心得2:数据预处理第二点异常值的处理。
我大概学了两门统计软件SPSS和Stata,SPSS用的时间久些,熟悉一下,Stata最近才学,不是太熟。关于这点我结合着来说。关于异常值的处理可分为两点,一是怎么判定一个值是异常值,二是怎么去处理。
判定异常值的方法我个人认为常用的有两点:1是描述性统计分析,看均值、标准差和最大最小值。一般情况下,若标准差远远大于均值,可粗略判定数据存在异常值。2是通过做指标的箱图判定,箱图上加“*”的个案即为异常个案。
发现了异常值,接下来说怎么处理的问题。大概有三种方法:
1是正偏态分布数据取对数处理。我做农户微观实证研究,很多时候得到的数据(如收入)都有很大的异常值,数据呈正偏态分布,这种我一般是取对数处理数据。若原始数据中还有0,取对数ln(0)没意义,我就取ln(x+1)处理;
2是样本量足够大删除异常值样本;
3 是从stata里学到的,对数据做结尾或者缩尾处理。这里的结尾处理其实就是同第二个方法,在样本量足够大的情况下删除首尾1%-5%的样本。缩尾指的是 人为改变异常值大小。如有一组数据,均值为50,存在几个异常值,都是500多(我这么说有点夸张,大概是这个意思),缩尾处理就是将这几个500多的数 据人为改为均值+3标准差左右数据大小,如改为100。
总结而言,我个人认为做数据变换的方式比较好,数据变换后再做图或描述性统计看数据分布情况,再剔除个别极端异常值。
关于SPSS回归分析
心得1:如何做好回归分析。
经过多次实战,以及看了N多视频,上了N多课,看了N多专业的书。我个人总结做回归的步奏如下:
1对数据进行预处理,替换缺失值和处理异常值;
2是将单个自变量分别与因变量做散点图和做回归,判定其趋势,并做好记录(尤其是系数正负 ,要特别记录);
3是自变量和因变量一起做相关系数,看各个变量相关关系强弱,为下一步检验多重共线性做准备;
4是自变量多重共线性诊断。若变量存在多重共线性,可采用主成分回归,即先将存在多重共线性的变量做主成分分析合并为1个变量,然后再将合并成的新变量和其余自变量一起纳入模型做回归;
5是做残差图,看残差图分布是否均匀(一般在+-3个单位之间均匀分布就比较好);
6是 告相应结果。
相关资源:本草纲目下载李时珍本草纲目查询软件版v1.4_本草纲目pdf彩图版…
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!