Python与机器学习（第2版）（微课版） 课件 10-05-工件图像数据增强任务实施

主讲人：陈清华工件图像数据增强任务实施【数据挖掘应用】课程智能产线应用>>图像采集与增强会查看服务器API接口定义；会正确地调用API接口读取工件图像；会从服务器批量地读取图像并保存至指定文件夹；会使用正确的图像增广方法实现数据增强。能力目标主要内容任务工单引导问题任务评价标准任务解决步骤工件图像数据增强代码解析原始数据教学难点任务工单

通过数据增强，可以达到扩充数据集的目的。对一副图片做翻转、旋转、裁剪、变形、缩放等不同的变换，以达到扩充图像数据集的目的。任务概述

登陆云平台，使用适当的方法对图像做处理，以扩充数据集。010010011001101010100100110110100101110101000100001011011101001010101101010011010010

任务描述：原始数据图像数据扩充结果

任务要求任务概述

（1）什么情况下需要做数据增强？（2）数据增强方法有哪些？图像数据增强的方法有哪些？如何做选择？（3）给图像数据加噪声对训练的模型有什么作用？（4）数据增强后对后期识别模型的训练会有什么影响？（5）数据扩充后到达什么数据量级比较合适？”

问题引导：任务概述

任务评价：任务概述评价内容评价要点分值分数评定自我评价1.任务实施图像读取4分会查看SwaggerUI得1分，会使用SwaggerUI获取图像信息得1分，能从服务器上正确获取图像并显示得1分，能导出所有图像到指定目录得1分

图像增强2分会图像增强得1分，增强方法2种以上得1分

2.结果检查查看图像并评估效果2分指定目录正常显示增强后的数据得1分，增强后的数量量达到500张以上得1分

3.任务总结依据任务实施情况总结结论2分总结内容切中本任务的重点要点得1分，能有效比较增强方法异同得1分

合计10分

任务解决方案（1）查看API服务产线上传的图片通过RestfulAPI存储在后端的MongoDB中。我们需要通过调用相应的RestfulAPI读取图像数据。http://<服务器地址>:5000/api/ui了解所有的API服务任务解决方案（2）调用API接口调用api/image服务查看每张图像的内容，定义get_image_by_id()获得指定的图像defget_image_by_id(id):r=requests.get("http://服务器地址:5000/api/image/"+id)

ifr.status_code==200:returnPIL.Image.open(io.BytesIO(re.content))

else:raiseRuntimeError(r.text)img=get_image_by_id("60b57a02b08c790b7af038a8")#根据实际情况选择图片IDimg.show()任务解决方案（3）图像导出将所有采集的图像导出到指定目录importnumpyasnpimportmathimage_dir='/tf/data/image'#注意,/tf为工作目录的根目录task_dir=os.path.join(image_dir,task_category_id)train_dir=os.path.join(task_dir,"train")test_dir=os.path.join(task_dir,"test")id_code_mapping={#根据web界面显示情况设定"60b57a02b08c790b7af038a9":"0"

#合格工件"60b57a02b08c790b7af038aa":"1"#不合格工件}limit=10foriinrange(math.ceil(num_images=1.0//li)):#分批次读取image_records=get_image_records(task_id,offset=i*limit,limit=limit)forrecordinimage_records:if'truth_id'notinrecord:continueifnp.random.ranf()<0.8:#需要通过修改数值来控制测试集的⽐例dst_dir=os.path.join(train_dir,id_code_mapping[record['truth_id']])else:dst_dir=os.path.join(test_dir,id_code_mapping[record['truth_id']])ifnotos.path.exists(dst_dir):os.makedirs(dst_dir)

dst=os.path.join(dst_dir,record['id']+'.png')img=get_image_by_id(record['id'])img.save(dst)任务解决方案（3）图像导出将所有采集的图像导出到指定目录任务解决方案（4）统计图像数量用户可以在/tf/data/image目录下查看到相应的图像。用户也可以通过下面的程序查看目录下的图像数量。可比照图像管理中的图像，判断是否读取完整。importpathlibtrain_image_count=len(list(pathlib.Path(train_dir).glob('*/*.png')))test_image_count=len(list(pathlib.Path(test_dir).glob('*/*.png')))print(train_image_count,test_image_count)任务解决方案（5）数据增强对训练集中的图像做数据增强，比如随机旋转。iftrain_flag:foriinrange(20):angle=np.random.randint(1,359)img2=img.rotate(angle)dst2=os.path.join(dst_dir,record['id']+'ro'+