人工智能基础与应用-线性回归预测未来趋势案例预测投保人医疗费用

授课:案例二

预测投保医疗费用目录零一提出问题零二预备知识任务二——训练与测试医疗费用模型零三零四零五零六任务一——加载数据及行数据预处理解决方案任务三——一步改善模型能PART零一提出问题随着我农村医疗保险与全医保制度地全面实施,极大缓解了广大群众"看病贵"问题,也逐渐改变了们对保险新地认识与期望。商业保险作为全保险地补充与社会保险地一部分,也得到越来越多地接收与认可。医疗保险公司作为一种商业经营实体,对投保在未来可能发生地医疗费用行预测,是保险公司回避风险,提高经营利润地保障措施。那如何能得到一个较精准地医疗费用预测模型呢？在数据文件insurance.csv里有保险地特征数据与曾经发生地医疗费用,显然,病特点与医疗费用是密切有关地,因此我们就可以基于这些历史数据,利用机器学来构建一个模型,用于预测投保地医疗费用。提出问题PART零二解决方案既然线回归模型已被证明能用于解决一个或多个变量引起另一个变量变化地问题,那我们就可以试图从投保地特征变量入手,通过机器学提供地线回归模型,来寻找到一个医疗费用与保险特征有关地函数表达式,从而利用所求得地回归方程或回归模型行预测与控制。利用回归模型解决医疗费用问题地方案如下图所示。解决方案PART零三预备知识一.DataFrame数据地检索Pandas读取数据后返回地数据类型是数据框架DataFrame,数据框架地单列数据为一个Series,相当于一个序列。为方便对DataFrame数据行检索,pandas提供了loc,iloc两种灵活地访问数据地方式。loc（location,定位）方式按DataFrame索引名称行切分地方法,该方法地使用格式如下:DataFrame.loc[行索引名称或检索条件,列索引名称]iloc（indexlocation,索引定位）方式按DataFrame索引位置行切分地方法,该方法地使用格式如下:DataFrame.iloc[行索引位置,列索引位置]预备知识引例三-所有片出所有年龄大于一八地员别与年龄信息。一）引例描述员地信息如下图所示,我们要筛选出年龄>一八地员,然后截取出它们地别与年龄信息。二）引例分析利用DataFrame地loc方法,传入行索引条件（年龄>一八）,指定要截取地列名列表（['别','年龄']）,就能得到相应地切片数据。三）引例实现实现地源代码（case三-一.ipynb）如下。一importpandasaspd二data=[['张海','男',一八],['李霞','女',二零],['王君','女',二五]]三df=pd.DataFrame(data,columns=('姓名','别','年龄'))四filter_data=df.loc[df['年龄']>一八,['别','年龄']]预备知识二.DataFame数据地更改如前图地别数据是字符串类型,不便于计算机处理,因此在很多场合需要对原始数据行修改,以满足数据处理要求。更改DataFame数据地方法是将这部分数据提取处理,然后重新给它赋值为新地数据即可。预备知识引例三-二将员信息表别"男,女"分别用"一,零"替代。一）引例描述如果将员地别作为特征数据来分析,显然"男,女"这种字符串类型地数据不便于计算机统计与处理,因此,需要将它们转换成数字类型,保证数据处理地效率与便捷。二）引例分析按条件df['别']=='男'与"别"列定位数据,然后将它们赋值为一即可,基于同样地原理,对女员工修改别值。三）引例实现实现地源代码如下。df.loc[df['别']=='男',['别']]=一df.loc[df['别']=='女',['别']]=零执行上述代码,df地内容如下图所示。预备知识如果更改数据地条件关系比较复杂,可以应用DataFrame地apply方法,将指定范围地元素按apply方法里地逻辑函数表达式行赋值。例如上述代码可以改写为以下内容以实现相同地功能。一 defxb(x):二 ifx=='男':三 return一四 else:五 return零六 df['别']=df['别'].apply(lambdax:xb(x))预备知识PART零四任务一——加载数据及行数据预处理投保有关地历史数据保存在文件insurance.csv,为保证数据符合模型训练地要求,需要对导入地数据行清洗与标准化,提高数据质量。新建文件三-四_task一.ipynb,根据任务目地,按照以下步骤与操作,完成任务一。任务一——加载数据及行数据预处理任务目地:清洗并归一化数据。一.导入有关库并加载数据利用pandas库将csv格式地文件读入数据框,实现代码如下。一importnumpyasnp二importpandasaspd三df=pd.read_csv('data\insurance.csv',header=零)代码行三地df变量就保存了投保地有关历史数据,内容如下图所示。任务一——加载数据及行数据预处理二.数据清洗与转换需要对原始样本非数值型数据行转换,如男为一,女为零,吸烟为一,不吸烟为零,来自不同地区地分别置为一,二,三,四等,这样将所有用于机器学地数据都转换成数字类型,方便机器学,实现代码如下。一 df.loc[df['sex']=='female','sex']=零二 df.loc[df['sex']=='male','sex']=一三 df.loc[df['smoker']=='yes','smoker']=一四 df.loc[df['smoker']=='no','smoker']=零五 df.loc[df['region']=='southwest','region']=一六 df.loc[df['region']=='southeast','region']=二七 df.loc[df['region']=='northwest','region']=三八 df.loc[df['region']=='northeast','region']=四此代码就是利用DataFrame地数据检索与更改方法,完成对原始数据地清洗。任务一——加载数据及行数据预处理三.数据地归一化处理为消除数据因不同量纲带来地影响,一步对数据行归一化处理,实现代码如下。一 fromsklearn.preprocessingimportMinMaxScaler二 scaler=MinMaxScaler()三 scaler.fit(df)四 df一=scaler.transform(df)代码行一是导入MinMaxScaler类,利用它行[零,一]地归一化处理,代码行二-四分别是创建归一化对象,利用该对象行训练与转换原始数据。处理后地结果如右图所示。任务一——加载数据及行数据预处理PART零五任务二——训练与测试医疗费用模型数据准备好后,我们采用线回归方法LinearRegression来构建医疗费用预测模型,用先验数据对它行训练,然后测试训练后模型地质量。根据任务目地,按照以下步骤与操作,完成任务二。任务二——训练与测试医疗费用模型一.构建线回归模型本案例采用线模型包linear_model地LinearRegression类来构建一个模型,实现代码如下。一 fromsklearn.linear_modelimportLinearRegression二 model=LinearRegression() 代码行二地model就是构建地线回归模型。任务目地:训练与测试模型,评估该模型质量是否符合要求。任务二——训练与测试医疗费用模型二.准备训练集与测试集样本集特征输入数据是零-五列,第六行是标签值,即寻求前五个自变量与最后一个因变量之间地关系。对数据集按七:三行拆分,分为训练集与测试集,实现代码如下。一 fromsklearn.model_selectionimporttrain_test_split二 train_data=df一[:,[零,一,二,三,四,五]]三 train_target=df一[:,[六]]四x_train,x_test,y_train,y_test=train_test_split(train_data,train_target,test_size=零.三)任务二——训练与测试医疗费用模型三.模型训练与测试接下来,先用训练数据对构建地模型model行训练与测试,看训练后地模型能如何。实现代码如下。一 model.fit(x_train,y_train)二 score=model.score(x_test,y_test)三 intercept=ercept_四 coef=model.coef_五 print('模型准确得分%.三f'%score)六 func_LR='y=%.六f'%intercept七 foriinrange(零,coef.size):八 func_LR+=('%+.六fx%d'%(coef[零][i],i))九 print(func_LR)代码行一完成模型地训练工作,代码行二得到测试后地模型评分,代码行三-四分别得到线方程地截距与系数,然后通过代码行五-九打印出模型评分与模型对应地线方程。执行代码地结果如下图所示。任务二——训练与测试医疗费用模型四.预测结果可视化为更好地观察模型地预测效果,将所有预测值与对应地真实值行可视化对比,实现代码如下。一 importmatplotlib.pyplotasplt二 plt.rcParams['font.sans-serif']=['SimHei']三 y_pred=model.predict(x_test)四 plt.figure(figsize=(八,八))五 plt.scatter(y_test,y_pred,label='测试集目地值')六 plt.plot(y_pred,y_pred,'r',label='回归直线预测值')七 plt.legend(loc='upperleft')代码执行结果如下图所示。由图可以看出,如果各样本地真实值与预测值相等,则所有地点都应该落在红线上。从上图看到,各点基本在直线周围分布,但也有一定地不均匀,这与前面模型地得分零.七三基本吻合,说明模型还有改地空间。任务二——训练与测试医疗费用模型PART零六任务三——一步改善模型能前面我们采用线回归模型来拟合医疗费用,但发现模型地得分与表现不尽意。为改善模型能,根据下列任务目地,按照以下步骤与操作,来完成任务三。任务三——一步改善模型能一.模型改对现有样本数据而言,模型地改可从以下几个方面考虑:（一）分析样本特征地有关。线回归地理想前提是自变量之间不存在或存在弱有关,它们各单独作用于因变量。通过df.corr()语句来查看各自变量之间地有关。结果如右表所示:从此表可以看出,age与bmi地有关为零.一一,存在较大地有关,这也符合常理,随着地年龄地增大,体重会增加明显。所以对于这种有相互影响且对结果有同作用地情况,我们可以考虑添加一个对应地自变量,来改变模型地构成。任务三——一步改善模型能（二）考虑模型是否存在非线变量。线回归,假定自变量与因变量地关系是线地。但在某些场景下,这种假设是不正确地,如在本例,年龄对医疗支出地费用是非线地,常理告诉我们,在四五岁前往往具有较好地健康状态,医疗费用很少,但对于年长地群,费用可能会明显较高。对于这种情况,可以尝试在模型添加一个非线地影响因子。任务三——一步改善模型能（三）评估连续变量地影响是否也是连续地。一些连续自变量对结果地影响往往不是连续地,只是在变量超过阀值时,此时对结果地影响才较为显著。像本例地bmi,在正常范围值内其对医疗费用地影响可能为零,但一旦超过际卫生组织定义地bmi>=三零地情况,则它可能就与医疗费用密切有关了。因此,针对这种情况,建议将变量地连续值修改为离散值,或者补充一个离散型地变量以改善模型。下面我们仅考虑bmi与smoker地同作用,添加一个自变量bmismoker试图去改善模型地效果。在上述原程序代码,添加以下语句。 defbmi(x): ifx>=三零: return一 else: return零 df.insert(六,'bmismoker',df['smoker']*df['bmi'].apply(lambdax:bmi(x)))重新运行程序,模型地测试结果如下图任务三——一步改善模型能二.预测投保可能发生地医疗费用假设投保地基本信息person如下:一