线性回归原理与spark实践

线性回归原理与spark实践提纲线性回归算法原理利用线性回归做成绩预测线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y=w'x+e，e为误差服从均值为0的正态分布。线型回归模型一般需满足方差齐性，变量间相互独立且服从正态分布，样本间相互独立，在大数据应用中，由于特征体量巨大，往往不可避免出现与上述假设矛盾的情况，针对这种情况，数据标准化必不可少，同时，我们设计了一个基于非参数检验方式预先挑选特征。线性回归算法简介线性回归算法流程数据整理清洗划分训练集遍历各个变量的相关性，构建F检验，挑选特征针对测试集数据，特征代入回归方程训练阶段计算模型相关系数，回归残差应用评价阶段按训练集特征标准化训练与检验数据整理阶段构建并训练回归模型提纲线性回归算法原理利用线性回归做成绩预测线性回归实验前提准备系统准备：centos6.8、Spark2.3.1、Pyrhon3.X。导入pandas，numpy，statsmodels，Selection_regression数据准备：某校某专业某年级成绩，包含25门历史学科，以及一门目标学科，样本量110个。建模目的：1、通过非参数检验获取显著特征，2、训练回归方程，预测目标学科。importpandasaspd#读取数据并打乱

df=pd.read_csv("本地文件/成绩数据集.txt",index_col=0,header=0).sample(frac=1)

实例：启动python，读取数据实例：源数据展示#展示数据

df.head()实例：源数据划分，标准化#数据集划分训练集80%，测试集20%PP=0.8

df_train=df.iloc[:int(np.ceil(len(df)*PP))]

df_test=df.iloc[int(np.ceil(len(df)*PP)):]

#数据标准化

avg_col=df_train.mean()

td_col=df_train.std()df_train_norm=(df_train-avg_col)/td_col

实例：特征选取，线性回归#基于F检验的特征选择

#由于建模需要标准化字符串,故需重命名表头importSelection_regressionasSrlist_columns_to_train=df_train_norm.columns

change_columns=['A'+str(zr+1)forzrinnp.arange(len(list_columns_to_train))]

df_train_norm.columns=change_columns

co=dict(zip(change_columns,list_columns_to_train))

select_list=Sr.forward_step(df_train_norm,response=change_columns[-1])#获取选择结果

#线性回归模型训练importstatsmodels.formula.apiassmf

formula="{}~{}+1".format(change_columns[-1],'+'.join(select_list))

model=smf.ols(formula,df_train_norm).fit()实例：利用模型进行预测，输出准确率#利用训练集统计量标准化测试集df_test_norm=(df_test-avg_col)/td_col

df_test_norm.columns=change_columns#模型预测，并还原百分制predict=model.predict(df_test_norm)

predict_df=predict*td_col[-1]+avg_col[-1]

#被选择特征反编码

select_list_old=[co[z]forzinselect_list]#结果对比，计算回归残差,以及结果相关系数

F=pd.DataFrame(df_test["目标学科"]).join(pd.DataFrame(predict_df))

corr=F.corr()["目标学科"][0]

stds=abs(F["目标学科"]-F[0]).sum()