食品安全数据采集与融合共享的研究

1、    食品安全数据采集与融合共享的研究    刘姝 王思宇 王梦可摘 要：食品安全数据资源分散、标准不统一、数据孤岛的存在等制约了食品安全数据价值的释放，难以满足当前食品安全治理需求。本文结合食品安全数据的特点及存在的问题，研究并建立集数据采集、治理、共享服务为一体的食品安全数据采集与融合共享体系。关键词：食品安全;数据采集;数据治理;共享交换国以民为本，民以食为天，食以安为先。食品安全关乎人民健康和生命，“十三五”规划建议更是将食品安全问题提到国家战略高度，提出实施食品安全战略。随着信息技术的发展，有关食品安全的监管工作趋于信息化和网络化，累积了海量

2、的食品安全数据。食品安全数据来源范围广泛，涉及多个部门，包含食品生产、加工、餐饮与流通等多个环节，覆盖网络餐饮、集中配送、食堂等多个业态。然而，无论是食品监管部门内部管理系统的数据，还是互联网等渠道的公开数据，都呈现出零散、异构、低质等特征。不同部门的信息数据被分割存储，数据组织形式各异，相互独立、封闭，无法有效互联互通。要实现对食品安全数据的有效管理、充分挖掘数据价值，需要对碎片化的数据进行有效融合，打破数据壁垒，实现数据互联互通，释放数据潜在价值。1 食品安全数据采集与融合共享研究现状食品安全数据的重要特点就是数据量大、来源分散和格式多样，包括数据库、文本、图片、视频、网页等各类结构化、非

3、结构化及半结构化数据。基于食品安全数据的特征及问题，不少学者也都进行过有关食品安全数据的采集与融合共享研究。刘杨、马东1等学者认为需要通过数据编码标准，实现跨部门、跨层级、跨地域的食品安全相关数据的融合与应用，研究侧重于食品安全数据的分类与编码，对于数据的采集与融合共享缺少系统性描述;张素智、杨芮2等阐述了食品安全大数据预处理方法即数据融合技术，主要是消去食品安全数据中的噪声和冗余点，对从多传感器中采集到的食品安全数据进行分散处理后全局融合，所描述的采集方式较为单一，没有覆盖到常用的数据采集渠道;晏斌、李唯正3等认为需要对具体的信息进行统一规范的本体转化，实现对数据库的精准查询，从而实现不同系

4、统之间的数据交换和融合，文章中更多的是介绍了一种融合技术，而对于数据融合共享的实现逻辑却没有进行阐述;陈小妮、李鹏辉4等对食品安全数据融合的三个层次进行分析和对比，认为食品安全大数据融合方法可以分为经典融合方法和现代融合方法，侧重于方法论的讲解，针对整个系统的构建缺少实质性的建议。本文结合目前食品安全数据采集与融合共享的研究现状及存在的问题，在以往学者研究的基础上，从数据采集的规范性和一致性入手，以数据融合共享为目的，构建了集数据采集、治理、共享服务为一体的食品安全数据采集与融合共享体系。2 食品安全数据采集与融合共享体系本文构建的食品安全数据采集与融合共享体系包含数据的采集、治理和共享交换，

5、利用多种数据接入方式实现数据的统一汇聚，依据丰富的数据治理规则和治理规则集对汇聚进来的数据进行治理，通过共享交换数据资源目录和服务管理來实现食品安全监管各部门之间数据的共享交换，满足食品安全数据融合共享需求。技术路径图如图1所示。2.1 食品安全数据采集鉴于食品安全数据的多源性和分散性，本文构建的食品安全数据采集与融合共享体系采用kettle、flume、sqoop等技术，实现结构化、半结构化、非结构化数据的统一汇聚，把原本分散在各个业务系统的信息汇集起来。基于食品安全数据的不同存储特征，本文建立了数据库复制、接口采集、互联网采集、离线导入4种数据采集方式。2.2 数据库复制方式数据库复制方式

6、主要适用于食品安全相关业务系统可开放核心数据库访问权限的场景，需要对接并汇集食品安全相关业务系统的业务信息以及数据库技术信息（如数据库类型、数据库访问信息等）。数据库复制方式下，需要先开展数据连接测试，确保数据库远程访问流程通畅、数据权限满足业务需求。进一步，利用kettle技术中源表输入、目标表输入、数据比对、分布操作、增加数据、更新数据和删除数据等配置组件，对食品相关业务系统数据库的信息资源进行抽取转换，并通过数据比对的方式实现数据的增量更新。2.3 接口采集方式接口采集方式主要适用于食品相关业务系统提供数据接口的场景。接口采集方式支持结构化数据、半结构化数据（如json格式、xml格式的

7、数据）、非结构化数据（如base64编码的图片等）的采集。通过对接并汇集食品安全相关业务系统的业务信息以及对应接口技术信息（如接口url、请求参数、返回参数等），开展接口连接测试，确保接口远程访问流程通畅，然后利用web service技术和表输入、输入参数字段选择、web服务查询、输出参数字段选择和表输出等配置组件，完成对食品相关业务系统数据抽取、转换、装载的过程，实现对食品安全相关业务系统数据的采集。2.4 互联网采集方式互联网采集方式采用先进的分布式网络爬虫框架，开展食品安全相关业务数据采集任务的统一调度、管理和维护工作，并利用flume技术实现对采集数据的统一存储。可基于关键字段解析方

8、式、关键字搜索规则、冗余数据过滤规则等技术手段，实现对门户网站、网络社交论坛、微博舆论信息、微信公众号等互联网食品安全相关数据的采集。2.5 离线导入方式离线导入方式适用于相关食品安全监管部门无信息化系统、信息化系统网络不可达、本地电子化文件的二次处理等数据采集场景，利用sqoop技术，实现对excel等格式数据的采集;利用ftp和csv文件数据输入等组件配置，实现对csv等格式数据的采集。完成数据抽取、转换、装载的过程，通过预先设置的数据模板上传离线文件。通过上述4种数据接入方式，可将原本相互独立的食品安全数据汇聚在一起，采用hive存储结构化数据，hbase和hdfs存储半结构化和非结构化

9、数据，实现对海量食品安全数据的统一采集及存储，为后续的融合共享提供基础支撑。2.6 食品安全数据融合共享从各渠道采集而来的食品安全数据，量大且种类多，避免不了存在数据错误、数据冲突等问题，在开展数据的共享交换前，需要对数据进行融合治理，确保数据的规范性、一致性。本文研究了基于规则引擎配置的数据融合治理技术，通过管理、配置系列的治理规则集，实现对食品安全数据的融合治理。首先，依据食品安全业务相关需求（如业务流程、判定规则）、数据技术标准需求（如数据字典、元数据、数据库表的技术标准等），设定数据融合治理规范。进一步考量食品安全数据的采集方式（全量/增量）、数据更新频率、数据使用场景等，建立数据治理

10、规则，对采集的食品安全相关数据开展融合治理，识别并剔除失真数据，提升融合后的数据质量。对于融合治理好的数据，本文研究了可配置、高可用的数据共享交换技术。该技术使用hadoop生态中的ranger、rangerkms、kerberos进行数据访问的权限控制，实现对交换资源的目录划分和交换资源的共享，并使用spring cloud集群保证共享交换服务的高可用。服务统一通过spring cloud gateway网关，由网关访问eureka服务注册中心调用可用服务返回共享数据，通过restful/web service数据共享交换服务集群对共享交换服务进行管理，使用kafka作为消息总线保证服务消息

11、不丢失，并对共享交换内容进行展示。同时支持数据同步、历史数据迁移等，为不同系统、数据库和数据格式之间数据的交换提供服务。本文构建的食品安全数据融合共享技术路径，能够基于统一的规范和标准提供数据融合共享交换服务，消除由于应用范围、构建方式、系统结构、数据资源等产生的各业务系统间的差异，实现跨系统、跨平台、跨数据库之间基于不同传输协议的食品安全数据的交换和信息共享。各个食品安全相关单位可以更便捷地共享交换数据，既能节约成本，又能在安全可控的前提下提升数据资源的利用率，提升信息化建设对业务和管理的支撑作用。3 总结食品安全数据的采集与融合共享体系可对原本分散异构的信息系统数据资源进行有效整合，开展多维度数据校验，搭建数据流通渠道，破除数据壁垒，实现不同来源、不同结构、不同类型和不同格式食品安全数据的采集、融合治理和共享，灵活实现不同信息系统间的信息交换、信息共享與业务协同，为食品安全监管内外部门之间信息共享和公众的资源公开服务提供支撑，进一步提升政府服务和监管能力，保障食品安全。参考文献1刘杨，马东，肖革新.食品安全数据融合的实现路径数据编码j.食品安全导刊，2018（31）：42-43.2张素智，杨芮，赵亚楠.食品安全大数据的融合及分类并行处理技术研究j.湖北民族学院学报（自然科学版），2018（3）：256-265.3晏斌，李唯正，梁岩，等.