生物医疗产业大脑项目建设工作任务书

———长沙市生物医疗产业大脑项目建设工作任务书项目概况1.项目名称：长沙市生物医疗产业大脑项目2.建设和运营主体：湖南梅溪湖新城医疗投资有限公司3.建设地点：长沙健康医疗大数据产业孵化基地大数据中心4.建设周期：3个月5.建设内容：项目建设内容项目建设详情系统架构图生物医疗产业大脑平台面向长沙市工信局、湘江新区、生物医疗产业园区，支持电脑端、大屏端和移动端等三类用户端应用场景。针对不同应用端构建适合的模块功能与交互设计，针对不同的用户类型设定访问权限。系统架构图如下：网络架构图生物医疗产业大脑部署在长沙健康医疗大数据产业孵化基地电子政务外网区和互联网区。政府部门采用政务外网区接入平台，园区和企业用户主要通过互联网区接入平台（有条件的园区采用政务外网区接入）。面向园区用户和企业用户的应用系统可以部署在互联网区，面向政府部门的核心应用以及产业数据库应部署在政务外网区。平台网络部署架构如下：软件开发服务产业链云图构建长沙市生物市级人才分布；核心产业投资分布；核心产业融资分布；技术分布；园区产业配套情况；产品分布；核心产业的产量统计；核心产业的产值统计等信息。赛道分析选择对长沙市生物医疗产业的整体情况做数字化和可视化呈现。包括生物医疗产业市场增速、国际国内龙头的数量、本地重点企业、人才、成果、融资的情况，可发现具体赛道对的发展前景、竞争程度和自身潜力。可具体了解生物医疗产业细分领域的市场前景预测，同时可对比长沙市生物医疗产业的自身实力和竞争程度。对于重点细分领域，实时监测进入市场时间、市场占有率、研发资源及创新资源（创新人才、创新专利、论文文献）等资源要素，基于产业评估模型从供应链的上、中、下游分析区域产业发展瓶颈（卡脖子环节）及产业发展优势。产业运行监测产业动态监测从宏观、中观、微观三个层面，客观、全面地监测、分析、评估产业发展情况。通过数据指标实现对产业数据的统计汇总，同时指标的可视化图表展示指标表现出产业各地域发展状况，第一时间掌握产业重点发展领域本地区、全国、全球的动态信息。企业动态监测基于企业所处细分领域和产业链环节，建立企业发展拐点预测模型，根据企业创新成果、业务收入、盈利水平、投融资情况以及相应市场分析，形成拐点监测预警信息判断企业是否进入发展瓶颈期或即将进入快速发展期，展示监测事件类型、重点领域分布图、监测动态、重点监测企业。使产业管理部门针对性的为企业制定帮扶政策，以及匹配服务资源和金融资源。对与舆情（工商变更、人事变动、高管调研、高层言论、投融资事件、子公司设立、产品研发进展、产品上市、产品召回、违规违法）相关的各类企业风险进行重点监测。当出现重大投资并购、通报处罚、违规违法等重大经营、法律风险事件时，系统将自动预警并实时推送给相关产业管理人员，以便及时采取相应措施。一企一档通过对长沙市生物医疗产业数据标签体系和模型算法的构建，绘制丰富立体、实施动态的企业数字画像档案，并根据企业发展评价模型，生成企业质量评价档案，通过企业榜单实现对企业的分类识别和发展拐点监控，同时对企业需求进行实行采集预测，为企业培育发展提供有力服务支撑依据。智能报告系统基于对产业发展中产业载体、产业要素历史成果分析，通过沉淀打磨后的报告模板定时定期自动生成，消除人工收集整理信息的复杂流程，减轻手工编制报告的工作量，提升出具产业报告的效率。根据「产业总览」「产业载体」「重点企业」「创新资源」四个固定模版，按产业分类、每月定时生成相关报告，可以根据地区和生成时间进行筛选。同时提供即时生成数据报告的功能，随时帮助用户了解目标区域产业的总览概况、产业载体、重点企业、创新资源明细信息。系统的进行数据获取及校验，释放人力资源，保证数据质量。根据「产业运行」「企业动态」两个固定模版，按产业分类、每月定时生成相关报告，可以根据地区和生成时间进行筛选。简化报告编制操作难度，提升工作效率。智能招商助手招商管理工作台1、招商列表实现按条件对招商线索数据进行检索查询，列表字段包括线索名称、线索简介、发布时间、意向区域、载体类型、所需面积、所属产业、建议对接部门等，同时可对录入项目进行编辑或删除。2、线索跟进对招商线索的跟进情况进行信息填报及线索流转处理。设置线索跟进记录填报功能，内容包括招商经理姓名、对接时间、对接方式、跟进阶段、企业对接人、对接地点、沟通记录。每次记录按时排序形成对接记录，可查看过往的所有跟进记录信息。同时，系统支持对录入记录进行编辑与删除。招商管理部门可以将线索分发给下辖区县/园区，追踪下辖区县/园区对线索的跟进情况，统筹管控整体招商进展。招商线索对接反馈，包括招商人员与标的企业联系情况、线索准确性、企业投资迁址意愿等，一方面体现招商人员工作绩效，另一方面有助于调整优化智能推荐算法模型，进一步提高推荐的精准性。3、上传招商线索按照线索信息模板填报线索信息后，实现线索数据的批量上传导入。实现填报录入新增线索功能，线索信息包括企业名称、项目名称、对接时间、对接方式、企业对接人、对接地点、企业亮点、沟通记录等；同时可对录入项目进行编辑或删除。4、导出招商线索将当前招商列表数据按表格模板进行数据的批量导出。实现根据时间节点、产业类型、载体类型、跟进阶段不同字段批量统计与导出。招商线索管理1、智能预测利用人工智能及大数据的技术，构建招商预测模型，前置性发现有潜在对外投资选址意向的企业，提升招商工作的效率及成功率。利用不同的招商线索和动因向用户推荐潜在标的。2、我的线索基于对长沙地区的产业基础现状，如产业定位、区位优势、产业政策等，利用人工智能及大数据的技术，建立针对本区域的企业投资选址预测及推荐模型，模型包含四个类型：领域模型、区域模型、客群模型、事件模型。通过企业选址意向、地区匹配度、创新能力、资金实力、团队实力五个方面综合评估企业情况，为招商经理评估企业质量以及落地可能性提供参考依据。应用模型层应用管理系统1、组织用户管理对系统涉及到的政府单位、企业和产业园区等组织单位和用户账号进行管理，可以设置不同机构或部门的子系统管理员，针对机构、部门、职务、岗位、个人等进行管理。职务和岗位可进行明显有序的分离。可以设置用户组，即相同或类似权限的人员，可以归入同一个用户组，进行统一的赋权。2、权限与账号管理为政府产业管理部门以及企业注册用户设置不同的角色与权限。角色管理：根据业务系统功能分发需求制定相应的角色，用户通过隶属于某个角色而获得相应的操作权限。一个用户可以隶属于多个角色，一个角色也可以下辖多个用户，角色可以隶属于应用系统，也可以独立于系统。为角色定义好相应的功能权限和菜单权限配置。角色权限管理：通过权限控制建立功能权限与角色的关联关系，根据需求特点来给用户角色授权。3、用户注册管理为用户提供注册管理，用户注册包括普通用户账号、认证用户账号两种注册方式。4、日志管理提供对系统用户及管理员登录、操作记录日志功能，强化系统的安全性。生成的安全日志可以供安全管理员进行安全审计。安全管理员与系统管理员完全独立，系统管理员不可访问系统日志，只有安全管理员可以访问日志。系统在初始化的时候具有审计安全帐号，该帐号能对日志进行查看和审计、导出，系统管理员不能删除和操作日志。系统提供完备安全的日志实现安全审计，日志覆盖每个用户、每个模块、每条信息，日志内容包括了人、时间、空间、操作类型、操作描述、操作结果等关键内容，并能进行查询统计。5、消息管理通过消息组件为平台提供系统内部消息、短信和邮件的发送和接收接口服务，以WebService的方式向各个应用系统提供接收和发送接口。在接收过程中进行关键字的过滤，后台采用任务的方式进行发送和接收，该服务从数据库收集消息，通过短信接口或邮件服务器进行发送，并将发送结果回写到数据。6、参数设置提供系统运行所需各类参数设置功能，具体设置内容由项目实施机构根据实施方案进行设计。产业链图谱模型产业链图谱模型是为重点产业的产业评价体系建设的基础。根据行业特点、结合重点发展环节及细分方向，明确产业定义、产业外延及内涵、产业分类及集群，和产业链重点赛道分析，是建设长沙市生物医疗产业评价体系的基础。通过产业链模型的建立，可以通过调用底层数据，通过模型进行计算和分析，形成产业链云图等各类应用所需要的各项指标。产业数据管理系统项目数据来源包括两个方面：政府相关部门及园区提供的政府私域产业数据和第三方提供的公域产业数据。依托数据治理平台，实现多来源数据的接入、治理与融合，形成基础库、专题库和应用库的数据资产，为各项应用提供数据支撑。产业数据管理系统的建设主要包括：数据集成管理、全程调度、数据开发管理、数据质量管理、数据资产管理和数据服务等。数据集成管理数据集成服务为平台提供基础数据服务，并为业务应用层提供数据支撑。方案提供了标准数据采集接口、数据抽取、数据文件导入功能，并提供数据源管理功能。全程调度在大数据环境下，每天需要处理海量的任务，多的可以达到几十上百万。任务的类型也很繁杂，有MapReduce、HiveSQL、Spark、Java、Shell、Python、Perl、虚拟节点等，任务之间互相依赖且要不同的运行环境。为了解决以上问题，需要建设全程调度系统。数据开发根据主题域的不同，在生产环境/开发环境中，分别建立相对应的文件层级目录，文件夹名称即为数据层级/主题域/数据库对象的描述信息，叶子节点为数据库对象的名称作为文件的名称，原则上数据开发与手动任务目录下的文件组织形式应该一致。其中，生产环境的文件组织关系与开发环境的相同，区别于生命周期，且生产环境基于开发环境，开发环境将测试成功的数据仓库作业发布与生产环境，用户基于生产环境进行进一步的应用。数据资产管理1、资产目录管理数据目录管理能够实现数据元管理、资源分类与编目、目录注册与注销、目录汇聚同步、资源目录管理、标准落地检查等功能。2、数据标准管理数据标准管理系统基于标准规划、标准管理、标准应用进行设计，从标准的角度规范数据治理元数据，多角度形成数据模型、数据操作规范、数据质量要求。主要功能包括标准库管理、数据架构管理、元数据管理、主数据管理等。3、血缘关系管理数据血缘是指在数据接入、加工融合、流转流通到最终消亡过程中形成的继承关系集合。通过各类数据资源间和数据项间的继承关系进行描述和管理，反应数据资源在各个环节间的继承关系。主要包括血缘关系管理，血缘关系分析和血缘关系查询等功能。4、数据资产开放数据资产开放模块通过收集用户所有数据资产信息，完成以下工作：1）开放数据资源目录体系设计和实施，包括账号、部门、主题、编目发布流程进行设计并实施；2）数据编目，对数据中心的表进行编码，挂载到数据目录平台上；3）通过数据血缘探查，帮助用户完成数据资产的上下游梳理和表关联关系识别，解决用户“有哪些数据可用”、“到哪里可以找到数据”的难题，并且提升数据资源的利用率。数据质量管理1、稽核规则管理可以对空值、数据合法性、记录数、非法值、码值、数据波动、数值、值域、数值重复、主键重复、主外键、业务约束等维度进行稽核。2、稽核任务管理实现数据稽核任务的配置管理，以及对稽核日志和采集日志的管理功能。3、稽核结果管理可以按照日期、稽核类别统计出数据质量报告，包括稽核类别、度量规则、稽核方法等内容，可以按照稽核类别对应的稽核方法数的统计图、度量规则和稽核方法数目的统计表等方式对稽核方法进行分析。4、质量问题管理根据不同稽核方法稽核出的问题数据显示在稽核结果明细列表中展现，根据稽核结果生成相应的问题工单，派发给相关负责人进行整改。5、评分规则管理配置不同稽核规则所占比重，形成最终分值。数据服务1、API管理数据服务以API为技术支撑，为应用和信息服务提供服务集成与管理支撑功能。API系统把数据资产封装成应用系统可以直接调用的WebService或可视化的Web查询服务，通过服务的统一管理与调度，实现基于授权的服务调用和信息共享，以屏蔽背后复杂的数据信息资源机构，简化信息共享服务难度和复杂度，支撑各部门、各系统、各角色灵活、多样的信息应用服务需要。服务主要采用标准接口定义的WebService,从而架设业务系统基础服务架构，充分利用已有的信息化资源，为共享应用提供最大化的服务支撑，以持续性发展方式支撑各个业务系统建设与运维。API系统由基础数据服务、服务注册、服务发布、服务目录、服务管理等几部分组成。2、共享交换共享交换包含数据推送服务和数据下载服务。1）、数据推送服务，支持数据推送规则、推送标准、数据种类、推送周期等参数配置，能够根据配置进行数据封装，将数据资源推送给平台或系统。2）、支持结构化数据的批量下载，应通过大数据量定期打包、小数据量实时打包方式，实现基础数据资源库的全量数据下载和增量数据下载。数据治理服务基于产业大脑的统一规划架构，依托数据体系建设，实现政务跨部门数据、外部跨机构数据、应用系统回流数据等多来源数据的接入、治理与融合，形成基础库、专题库和应用库的数据资产，为各项应用提供数据支撑。数据治理流程包含五个部分，分别为：数据架构设计、数据集成开发、基础数据治理、专题数据治理、应用数据治理。数据架构设计整体架构设计私域数据从长沙市数据局获取、公域数据从第三方订阅，并按照原始格式存储入贴源层，支持结构化数据和非结构化数据的存储。对数据进行清洗、转换、融合后，形成法人单位、人才信息、宏观经济、资源要素、舆情资讯、标准规范等基础数据库。数据仓库模型设计数据仓库模型设计主要包括概念设计、逻辑结构、物理结构三大模块。命名规范1、表命名规范命名形式：<层次名>_<数据内容描述>命名规则：使用英文小写字母，单词之间用下划线分开；数据内容采用英文简称，当英文出现多个单词时，可以用下划线分割。2、任务节点命名规范节点资源类型命名规范备注虚拟节点vt_{虚拟节点含义}根节点启动任务同步节点导入任务cdp_{源业务系统表名}同步节点导出任务cdp_out_{输出表名}如果存在多个目标库，可以添加目标库标识后缀shell节点sh_{脚本名称}mr节点mr_{脚本名称}ddl资源ddl_{输出表名}python资源{脚本名称}.pyjar{脚本名称}.jar跨调度依赖或检查chk_{源表名}3、任务命名规范所有的自动化和手动运行任务均需遵循一定的命名规范，便于管理。手动建表任务：CT_[表名]，[表名]为所需创建表的表名，CT为createtable的缩写；手动初始化任务：INIT_[表名]，[表名]为所需初始化的表的表名，INIT为initialization的缩写；数据开发任务：INIT_[表名]，任务名为最终生成的正式生产表的表名；数据同步任务：TR_[目标数据库的表名]，所有的数据导出任务的命名，以TR打头，后接目标数据库的表名。开发规范1、统一维度为更好的进行数据整合，将来自不同数据源的数据合并到一起，每个维度需要标准化、统一化，在数据仓库中需要为每个维度建立一致型的标准，方便后续的数据交叉探查。为每个维度建立标准化的编码方式，以及数据格式，为后续的数据标准化打下基础；完成标准化后，需要将各源系统中数据中的维度数据进行关联转换，将不同数据源标识同一事物的不同属性值进行统一；对于不同系统的不同维度，可以通过创建维度的映射关系表，将其映射到标准化后的维度上。2、统一数据格式在数据清洗过程中，需要将各源系统的数据格式进行统一，下表为主要的需统一的数据格式。格式类型统一格式示例日期YYYY-MM-DD，默认为1900-01-012021-07-01时间HH:MI:SS，默认为00:00:0012:13:14字符串去除头尾空格，去除回车，默认为NULLTrim(‘AABB’)整型默认为0（可根据具体业务类型调整）1双精度默认保留4位小数（根据具体业务调整）3.1314数据集成开发数据集成范围1、数据归集方式本系统采用的对接方式为库表交换、文件交换和接口服务等方式。2、公域数据归集系统通过向第三方订阅推送的方式，归集第三方的公域产业数据。3、私域数据归集私域数据主要是无法从公开途径获得数据，包括用于统计产业规模的产值、税收、发展目标等统计数据，以及企业的经营收入、税收、员工数量等微观数据。通过这些数据可以更完整体现区域产业发展规模、提高企业画像的信息维度，更精准监测企业发展拐点等动态，这些数据主要分布在税务、统计等政府部门。相关数据的使用申请，已经与长沙市数据资源局沟通，将由建设方协同湘江新区和长沙市产业部门，按照长沙市政府信息化项目相关流程，向长沙市数据资源局提出申请。4、其他来源接入按照业务系统和需求，接入其他来源的数据，如企业自主填报等。数据接入实施流程1、调研准备阶段在这个阶段需要准备以下工作：用户的总体了解；技术方案准备；相关培训资料的准备（行业成功案例和经验总结）。2、业务调研在本阶段调研中，主要是了解用户当前的业务流程和系统概况，并搜集相关的资料和数据，以准备下一阶段的分析。3、系统调研本阶段要细致的分析整理用户报表及业务系统数据，仔细揣摩决策系统各级用户关心的问题；构建分析模型原型，与用户之间互动讨论，确定分析指标、维度和组合规则及计算公式。4、整理分析模型通过原型收集了用户需求后，讨论修改后，确认相应的数据来源，完成分析模型描述。5、审核确认经过对不同的访问对象进行访问后，基于访问记录对数据仓库项目所涉及到的分析主题范围、系统要求等问题进行讨论、整理，形成需求分析文档。最后提交给客户进行审核确认。6、需求调研文档输出项目数据需求调研完成后，输出项目数据需求调研文档，调研文档应包含现有系统业务简介、应用场景、数据表结构、大数据应用需求表。7、源数据接入在ODS（源数据接入层）层创建与源系统中表结构完全一致的数据表，并指定分区字段。由于创建表是一次性操作，所以使用手动任务完成，为每个表创建一个手动任务，将手动任务发布到生产环境，并手动触发执行，完成数据表的创建。在ODS（源数据接入层）层配置数据源，创建数据接入任务，配置数据接入的任务（源表、目的表、分区字段、where条件、调度周期等），将任务发布到生产环境，参与调度。8、数据核查在ODS层数据抽取完成以后，需要对各表的数据进行核查，核查内容包括：字段数是否一致、字段名是否一致、字段数据内容是否一致等工作。基础数据治理基础库建设内容基于生物医疗产业大脑数据分类归集和数据治理工作，形成六大基础库，包含以法人单位为主体的“法人单位基础库”，以人才为主体的“人才信息基础库”，以空间、政策、环境等为主体的“资源要素基础库”，以法律法规、规范、标准为主体的“标准规范基础库”，以经济指标为基础的“宏观经济基础库”。基础库实施步骤基础库的数据治理主要工作包括：数据标准化，对维度编码、字段名称、表名称进行标准化操作；数据清洗，对冗余数据，错误数据，缺失数据进行清洗操作；数据融合，对描述相同对象的信息数据进行合并。数据进入ODS（源数据接入层）层后，会被清洗、整合、转换到DWD（基础数据层）层，因为DWD层对数据的质量和一致性要求很高。按照这种情况，ODS层作为后续流程的数据提供者，不对数据做任何的加工处理，而DWD层作为数据的需求者，需要根据对数据的使用目的进行相应的数据处理，然后存储到的表中，所以数据加工处理工作是在数据的需求方哪里完成的，即数据的清洗、转换和载入的任务是在这一层完成的。专题数据治理专题库建设内容专题库的设计需要结合客户需求和业务应用功能，生物医疗产业大脑项目需要建设生物医疗产业专题库。专题库实施步骤1、数据打标为满足专题库的数据抽取需求，将