




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
线性回归原理与spark实践提纲线性回归算法原理利用线性回归做成绩预测线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y=w'x+e,e为误差服从均值为0的正态分布。线型回归模型一般需满足方差齐性,变量间相互独立且服从正态分布,样本间相互独立,在大数据应用中,由于特征体量巨大,往往不可避免出现与上述假设矛盾的情况,针对这种情况,数据标准化必不可少,同时,我们设计了一个基于非参数检验方式预先挑选特征。线性回归算法简介线性回归算法流程数据整理清洗划分训练集遍历各个变量的相关性,构建F检验,挑选特征针对测试集数据,特征代入回归方程训练阶段计算模型相关系数,回归残差应用评价阶段按训练集特征标准化训练与检验数据整理阶段构建并训练回归模型提纲线性回归算法原理利用线性回归做成绩预测线性回归实验前提准备系统准备:centos6.8、Spark2.3.1、Pyrhon3.X。导入pandas,numpy,statsmodels,Selection_regression数据准备:某校某专业某年级成绩,包含25门历史学科,以及一门目标学科,样本量110个。建模目的:1、通过非参数检验获取显著特征,2、训练回归方程,预测目标学科。importpandasaspd#读取数据并打乱
df=pd.read_csv("本地文件/成绩数据集.txt",index_col=0,header=0).sample(frac=1)
实例:启动python,读取数据实例:源数据展示#展示数据
df.head()实例:源数据划分,标准化#数据集划分训练集80%,测试集20%PP=0.8
df_train=df.iloc[:int(np.ceil(len(df)*PP))]
df_test=df.iloc[int(np.ceil(len(df)*PP)):]
#数据标准化
avg_col=df_train.mean()
td_col=df_train.std()df_train_norm=(df_train-avg_col)/td_col
实例:特征选取,线性回归#基于F检验的特征选择
#由于建模需要标准化字符串,故需重命名表头importSelection_regressionasSrlist_columns_to_train=df_train_norm.columns
change_columns=['A'+str(zr+1)forzrinnp.arange(len(list_columns_to_train))]
df_train_norm.columns=change_columns
co=dict(zip(change_columns,list_columns_to_train))
select_list=Sr.forward_step(df_train_norm,response=change_columns[-1])#获取选择结果
#线性回归模型训练importstatsmodels.formula.apiassmf
formula="{}~{}+1".format(change_columns[-1],'+'.join(select_list))
model=smf.ols(formula,df_train_norm).fit()实例:利用模型进行预测,输出准确率#利用训练集统计量标准化测试集df_test_norm=(df_test-avg_col)/td_col
df_test_norm.columns=change_columns#模型预测,并还原百分制predict=model.predict(df_test_norm)
predict_df=predict*td_col[-1]+avg_col[-1]
#被选择特征反编码
select_list_old=[co[z]forzinselect_list]#结果对比,计算回归残差,以及结果相关系数
F=pd.DataFrame(df_test["目标学科"]).join(pd.DataFrame(predict_df))
corr=F.corr()["目标学科"][0]
stds=abs(F["目标学科"]-F[0]).sum()
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 配送在物流中的作用
- 中医护理学(第5版)课件 第九章针灸疗法与护理3十四经脉及其常用腧穴
- 交通运输行业智能交通与船舶导航方案
- 科技项目研究可行性研究报告
- 家庭智能家居控制系统的
- 股份制改革流程及关键文书编写指南
- 家庭园艺种植技术手册
- 项目申请书和可行性研究报告的关系
- 工厂项目可行性报告
- 企业人力资源管理师(三级)实操练习试题及答案
- 加强沟通协调:制定沟通协调工作方案
- 中西医结合规范化癌痛全程管理 癌痛的中西医结合规范化治疗(一)课件
- 新产品开发流程图
- 储气罐日常点检记录表
- 安 全 旁 站 监 理 记 录 表
- 村卫生室医疗质量督导检查汇总表
- 电子商务专升本考试(习题卷12)
- 小学部编五下快乐读书吧整本书阅读-《西游记》阅读指导课教学设计
- 高中英语-what's in a name教学课件设计
- 德能勤绩考核评价表
- 新译林牛津版英语八年级上册Unit1-Friends复习优质课公开课课件
评论
0/150
提交评论