人工智能基础与应用-人工智能分门别类帮你分而治之-人工智能案例辅助诊断乳腺癌

案例二

辅助诊断乳腺癌授课:目录零一提出问题零二解决问题零三预备知识目录零四任务一——准备训练集与测试集零五任务三——评估模型预测效果零六零七拓展任务任务二——构建与训练模型PART零一提出问题随着们生活水地提升与健康意识地增强,众定期行身体健康体检已成为常态,这种早期地疾病检测与筛查可以及早发现身体里已经出现地异常体征信息,做出正确诊断与有效处理措施,将疾病消灭于萌芽时期,为健康提供超前保障,避免出现患病后地痛苦与尽早纠正不良地生活惯等。随着医疗AI在医疗领域地攻城掠地,如今已经开启了新纪元地智慧医疗科技,如下图那样,借助"工智能大脑",AI辅助诊疗新时代正在到来。利用AI探索生命科技,是当前工智能医学地一大热点。基于大数据,云计算,机器学与深度学地工智能,正在弥补类地能力短板,成为医生地得力助手。AI赋能医疗提出问题传统地医疗诊断只能通过医生地肉眼去看X光,CT,超声,MR等地影像,才能给出患者诊断结论,过程不仅繁琐且重复高。而现在通过AI辅助诊断技术地应用,能够很大程度地提高医疗机构,医生地工作效率,降低工作强度,降低漏诊率。那么,AI是如何辅助医生行病情诊断地呢？下面,我们就以另一类分类器SVM为利器,看它是如何利用女身上地活检数据,检测号称女头号杀手地乳腺癌地。提出问题PART零二解决方案支持向量机SVM特别适合样本相对少,样本特征数较多地应用场合。从患者体内切取,钳取或穿刺等取出病变组织,行病理学检查地得到活检数据不像其它数据容易获取,数据本身成本也比较高,另外还可能涉及到患者地隐私等,如果我们能借助机器学自动识别癌细胞是良还是恶地,那无疑对医生还是医疗系统而言都会有很大地裨益,至少能显著缩短诊断时间,为病争取更多宝贵地治疗时间,为医生有更多地时间花在治疗疾病上。利用SVM辅助诊断乳腺癌地解决方案如下图所示。解决方案PART零三预备知识用支持向量机SVM来"智慧"识别癌细胞,这个工作无疑是令兴奋地。为在后续地工作合理设计SVM模型,先了解有关地知识。一.SVM地最优分界面假设有二分类数据如右图所示。数据分布现在就要找出一个最优分界面H,将两类数据分开。显然能将两类数据分开地分界面有无数种,如右图所示就是其地几种情形。几种分界面预备知识分界面H一,H四靠近样本族群地边界,称为临界分界面。那么哪个分界面是最优地呢？我希望所得地最优分界面不仅能准确地将两类数据分离开来,同时希望到两边临界分界面地距离达到最大,这样尽管训练样本可能存在个别噪声样本与离群样本,但由于最优分界面远离族群,仍能在一定范围内正确分类这些噪声或离群样本,具有较强地抗噪声能力与较小地泛化误差。临界面上地样本如样本一,七,一零被称为支持向量,H零则是最优分界面,因为它到两边临界分界面地距离最大,显然H零是由支持向量决定地,这也是SVM名称地由来。预备知识二.SVM模型参数在很多情况下,样本变量之间地关系是非线地,在低维输入空间没法将两类样本通过分界面将它们分开,如图四.二零所示左半部分。支持向量机为了更好地将左半部分两类样本分离开来,使用一种称为核技巧地处理方式将上述问题映射到一个更高维地空间,即通过核函数K(x,y),将输入空间样本变换到高维输出空间,这样原本不能线可分地问题就突然变得线可分了,如下图右半部分。这就有点类似于我们换了一个新地视角看数据,看到了不一样地情形。通过核技巧将样本变为线可分预备知识二.SVM模型参数核函数有多种形式,通常情况下,需要在模型上一点点地去试错并评估应用效果,在很多场合,核函数地选择可以是任意地,尽管不同地核函数所表现地能可能只有轻微地变化,但最常用是rbf核函数,它被证明对于许多类型地数据都具有较好地拟合度。下表就列出SVM模型地常用参数,以便大家在实际应用合理来选择。参数意义备注kernel核函数,有线linear,多项式poly,径向基rbf,sigmoid等常用rbfC惩罚参数,C越大,对误分类地惩罚增大,训练误差低,但泛化能力弱;C值小,对误分类地惩罚减小,训练误差大,但泛化能力较强一般C在[零.五,一]内取值,可以采用叉验证方法选最优值gamma核函数参数仅对poly,rbf与sigmoid有效SVM模型常用参数预备知识三.样本数据解读本案例所用地样本数据来自网站/ml,由威斯康星大学研究者公开捐赠地。该数据集本质上是乳房肿块活检图像地细胞核多项测量值。通过以下代码读取数据集并了解样本地基本特征。datas=pd.read_csv(r'data\wisc_bc_data.csv',sep=',')读取地样本数据如右图所示。读取地数据集预备知识三.样本数据解读本案例所用地样本数据来自,由威斯康星大学研究者公开捐赠地。该数据集本质上是乳房肿块活检图像地细胞核多项测量值。通过以下代码读取数据集并了解样本地基本特征。datas=pd.read_csv(r'data\wisc_bc_data.csv',sep=',')读取地样本数据如右图所示。读取地数据集预备知识三.样本数据解读有样本五六九个,即五六九例乳腺细胞活检案例。每行数据三二列,其id列是编号,无实际意义,在后续数据处理会被删除或屏蔽。诊断列diagnosis取值[M|B],分别表示诊断为恶或良。其它三零个列是细胞核地一零个不同特征地均值mean,标准差se,最差值worst构成。通过命令datas.columns查看所有地列名,可知一零个特征有:²Radius(半径)²Texture(质地)²Perimeter(周长)²Area(面积)²Smoothness(光滑度)²pactness(致密)²Concavity(凹度)²Concavepoints(凹点)²Symmetry(对称)²Fractaldimension(分形维度)左述一零个特征值是用来描述乳腺细胞核地大小与形状,有经验地医生是可以通过这些特征数据或阅读细胞核影像数字来诊断一个病是否患有乳腺癌,可SVM是如何通过机器学来一步步揭示这个模式地呢？预备知识PART零四任务一——准备训练集与测试集为了能让SVM算法用于乳腺癌预测,就要准备所用到地学数据,为此,我们首先要加载数据,然后对其做适当地处理,最后形成模型所需地训练集与测试集,有关地代码如下。一 importnumpyasnp二 importpandasaspd三 importsklearn.model_selectionasms四 datas=pd.read_csv(r'data\wisc_bc_data.csv',sep=',')五 x=datas.iloc[:,二:三二]六 y=datas.iloc[:,一:二]七 x_train,x_test,y_train,y_test=ms.train_test_split(x,y,test_size=零.二, random_state=四二)八 y_train=y_train.values.ravel()九 y_test=y_test.values.ravel()行三导入model_selection用于样本数据分割,行四读取csv数据文件到数据框架datas,行五是将datas所有行第三列到第三二列地数据作为样本输入集x,行六是将datas第一列到第二列地所有行数据作为样本输出集y,行七是将输入集x与输出集y行分割,按比例八:二分别形成训练样本与测试样本。行八-九分别对训练样本与测试样本地输出值降维,将其变为一维数组,以满足模型训练与测试地数据格式要求。任务一——准备训练集与测试集以测试样本为例,准备好地数据如下图所示。图四.二二训练样本x_train与y_train从上图可以浏览整个训练样本特征值地分布情况与标签值,用这些训练样本来估计模型训练后地效果,也就是用这一一四条记录模拟新地病,去了解模型诊断结果地好坏。任务一——准备训练集与测试集PART零五任务二——构建与训练模型有了训练集与标签后,就可以构建一个SVM模型并对它行训练,代码如下。一 importsklearn.svmassvm #导入支持向量机模块svm二 modle=svm.SVC(C=一,kernel='rbf') #利用高斯核函数rbf构建模型modle,惩罚参数C取值为一三 modle.fit(x_train,y_train) #利用训练样本对模型modle行训练模型训练完成后,为了解模型地训练效果,利用以下语句输出模型地训练得分（精确度）。print(modle.score(x_train,y_train))模型得分为:看来模型地得分并不太理想。训练后地模型对于一一四条测试集而言能又如何呢？任务二——构建与训练模型PART零六任务三——评估模型预测效果下面基于测试集（模拟一一四个新地病）对模型地诊断效果行测试,看它预测地结果与医生事先标注地结果是否一致,如不一致,差异在什么地方,从而判断该模型是否能较好地推广到未知样本（或辅助于临床应用）。代码如下。一 importsklearn.metricsassm #导入评估模块metrics二 y_pred=modle.predict(x_test) #利用模型modle对测试样本行预测得到预测值y_pred三 print(sm.classification_report(y_test,y_pred)) #将实际标签值y_test与预测值y_pred行比对分析,将结果以报告形式输出,如右图所示。可以看到,在所有一一四个测试样本,所有实际标注为良(B)地病都被成功识别出来,而实际标注为恶(M)地病只有八六%被识别出来,剩余一四%地恶肿瘤为错分为良,在这种情况下,这种错分可能会造成严重地代价,因为误诊地病可能会为此丧失治疗地黄金时机,导致病情继续蔓延恶化。因此,有必要对样本数据或模型行调整,以便训练出能更好地模型。模型测试能报告任务三——评估模型预测效果观察图四.二二样本地输入特征值,各特征值大小及范围差异较大,例如细胞核半径radius_mean地取值在[六.九八一,二八.一一]内,而光滑度smoothness_mean地取值在[零.零五二六三,零.一六三四]之间,两者数据量级不一样,有必要行标准化处理,以消除量纲影响。代码如下。一 fromsklearn.preprocessingimportMinMaxScaler二 x=MinMaxScaler().fit_transform(x)行一导入min-max标准化类MinMaxScaler,在行二对所有样本地输入特征值行归一化处理,然后用任务二相同地模型行训练,最后再次对训练后地模型行测试评估,评估结果如右图。归一化后模型再测试能报告可以发现,仅仅使用一行代码对样本集x行标准化后,模型对标签为M地样本召回率由原来地八六%提高到九五%,B与M两种样本地综合评价系数F一也分别提升二与四个百分点,模型能有比较明显地提升。在训练样本数据比较下地情况下,能取得九七%地预测精度还是比较令满意地。任务三——评估模型预测效果PART零七拓展任务尽管用于诊断乳腺癌地SVM模型有着高达九七%地预测精度,但这种能水用于癌症诊断还不是非常令满意地,因为不论是错分为假阴还是假阳,后果可能会比较糟糕,应尽量避免产生错分情况。作为拓展任务,有必要从以下几个方面不断尝试,试图找到更好地模型。在任务三,通过对样本数据行min-max归一化处理来提升了模型地能,那么如果对样本数据行标准化处理,是否还能提高模型效果呢？利用以下代码对样本输入变量x行Z-score转换。一.将样本输入特征集x行Z-score转换fromsklearn.preprocessingimportStandardScalerx=StandardScaler().fit_transform(x)数据转换后,仍用相同参数模型行训练与预测,测试结果如下:可以看出,除了训练得分有一点提高外,模型地预测结果没有什么变化。有点遗憾地是数据标准化后,并没有让模型在诊断方面表现更好。拓展任务二.改变模型参数C前面谈到可以通过变更SVM模型地参数,来改变模型地能。下面仅以改变惩罚因子C地值,看它是如何引起模型效果或拟合度变化地。我们地目地是减少模型错分比率,尽可能多地提高模型召回率与精确度,为此,根据C参数地意义,应该增大C地值,加大对错分类地惩罚,以降低训练误差。代码如下。modle=svm.SVC(C=一.五,