大数据计算平台建设方案

大数据计算平台建设方案需求概述根据应用，这个项目数据量30T，企业数据量非常大，需要大量并发，网络爬虫爬取的企业数据信息存储在数据中心此数据量跟企业记录相关。同时需要对清洗后的记录和计算好的推荐结果进行存储但是这些数据不放在数据中心此项目之后会做成实时计算需要用到流式计算的相关计算和调度。计算量很大，可以多部署DCS进程，提高计算并发度，作业调度也要采用分部署调度架构。总体设计云数据采集中心与大数据计算平台的关系是云数据采集中心提供存储和计算资源通过PI的方式访问资源大数据计算平台主要实现核心算法包括图像匹配算法，挖掘算法，智能推荐算法，知识学习算法等等，也能够通过API的方式建立统计应用智能推荐应用等等大数据计算平台的需要的数据包括网上实时爬取得二次计算分析而获取的等等都通过通用接口存储在云数据采集中心的分布式存储平台（分布式文件系统（DF、分布式数据库（DB计算时候，通过接口发起作业，由云数据采集中心的作业调度服务进（J负责调度由数据计算服务进（D）负责计算处理并把结果反馈给大数据计算平台的各个应用根据2小节对DFS分布式文件系统的详细介绍本章节就不重复叙述，由于要增加新的存储设备，对于新设备上安装分布式文件系统是否继续选用还是HDFS，我们需要回答以下几个问题：第一，预算增加及扩展问题要部署DF还得单独购买两台高性能设备作为DFS的元数据库服务（注两台设备构成主备配置不能比我们现在选择的设备配置差，不然就会成为瓶颈，如果差了，数据节点就扩展不了几台第二，学习成本及进度问题：要使用HDFS，必须熟悉它的带来的整个DFS集群部署维护等工作这个与可利用的团队资源相提供标准的协议接口，应用程序代码不需作任么统一接口的底层必须要写两种代码第一是对面DF第二是面对HDFS。新增加了开发、维护、测试的时间。第三，空间浪费及孤岛问题：S2DFS与HDFS是两套不同体系的文件系统，他们之间设备及存储空间是不能共用的后面增加的6台，设备存储与前面部署的0台设备通过对原始数据处理压缩后，存储空间还有多余。二者构成了孤岛，同时造成空间浪费。第四，应用场景问题DFS对存储网页等文件比较友好毕竟它的基因就。数据模型设计数据模型主要主企业数据模型与投资商数据模型两个部分。1.1.1企业数据模型字段名备注name公司名称econ_kind企业类型regist_capi注册资本scope经营范围term_start营业开始日期term_end营业结束日期belong_org所属工商局oper_name法人start_date成立日期status在业employees.job_title主要人员职位employees.sex主要人员性别主要人员姓名分支机构名称changerecords.change_item变更项目changerecords.change_date变更日期changerecords.before_content变更前内容changerecords.after_content变更后内容partners.stock_name股东姓名partners.stock_type股东类型partners.identify_type证照/证件类型partners.identify_no证照/证件号码partners.should_capi_items.shoud_capi认缴出资额partners.should_capi_items.invest_type出资方式partners.should_capi_items.should_capi_date出资时间partners.real_capi_items.real_capi实缴出资额partners.real_capi_items.invest_type出资方式partners.real_capi_items.real_capi_date实缴时间1.1.2投资商数据模型字段名备注name投资商名称econ_kind企业类型regist_capi注册资本scope经营范围term_start营业开始日期term_end营业结束日期belong_org所属工商局oper_name法人start_date成立日期status在业employees.job_title主要人员职位employees.sex主要人员性别主要人员姓名分支机构名称changerecords.change_item变更项目changerecords.change_date变更日期changerecords.before_content变更前内容changerecords.after_content变更后内容partners.stock_name股东姓名partners.stock_type股东类型partners.identify_type证照/证件类型partners.identify_no证照/证件号码partners.should_capi_items.shoud_capi认缴出资额partners.should_capi_items.invest_type出资方式partners.should_capi_items.should_capi_date出资时间partners.real_capi_items.real_capi实缴出资额pa