上海宝钢国际大数据平台方案

1、 上海宝钢国际大数据平台方案Shanghai Baosteel International BigData Platform大数据建模以及智能认知 提升业务收益 降低运营成本宝钢大数据之缘宝钢汽车钢板之痛汽车钢板是宝钢钢材的主要利润来源宝钢利润的50%来源都来自于汽车钢板的销售宝钢的汽车板材占市场的50%左右对汽车市场材料的精确预测一直是宝钢的核心竞争力。钢材的销售都是期货，现金付款3个月后才可交货。冷轧镀锌板冷轧钢板热轧钢板热轧板的市场恶劣，且不易保存，过剩的钢板在电商平台上远低于成本价销售库存，产生巨额亏损冷轧板的预测来源于宝钢股份首席专家基于经验模型的预测，在市场波动时无法准确预测未来的

2、订货量，无法保供，损失利润利润下降80%，3季度净亏损9.8亿，4季度净亏损12亿宝钢现状新形势下的困境宝钢国际宝信软件欧冶数据星环数据SASIBMOracleLenovoGoogleAmazonSAPAccentureAlibabaTencentHuaweiCandidates考察评判宝钢的大数据之路宝钢股份供给侧改革OracleGoogleAmazonSAPAlibabaTencentHuaweiCEO 陈德容方案选型考量业务导向性数据安全性可定制方向成本考量实施灵活性优化宝钢业务思路国家战略自身需求技术先进性挖掘外部信息利用现有系统数据优化宝钢业务方法大数据提供宝钢国际牵头宝信和欧冶数据

3、实施选择优质合适供应商项目设计思路应用架构宏观分析咨询宝钢国际，创立于1996年，组建了覆盖全国、面向用户的营销网络。在当前互联网+ 的新形势下，宝钢国际开始探索使用大数据分析市场精准营销、控制成本的新道路。建立技术驱动的面向全量数据和自学习分析模型当前数据分析以业务部门牵头，多以预设逻辑为基础，缺乏准确性和灵活性互联网+趋势下，技术驱动参与和促进业务创新大数据分析基于全量数据，并通过机器学习建立动态、准确模型形成以客户为中心的业务数据分析（用户画像）行业激烈的竞争环境，对以用户为中心的业务提出更高要求已有业务数据分析报表，无法提供以客户视角多维度服务建议大数据的典型场景用户画像，有效支撑以用

4、户为中心业务转型实现经验驱动分析到大数据驱动分析的转型当前极具业务价值的数据分析，依赖个别首席专家、对小数据集的分析如何通过大数据手段进行分析，成为分析价值转化的关键在此基础上，进一步结合市场趋势，有效指导业务经营管理（提前备货、控制断货等）打破传统报表分析局限，提升经营决策效率当前BMI分析报表围绕各自垂直业务应用，报表呈碎片化大数据全局分析和预测能力，提供直观的经营指导不影响当前BMI分析报表，同步建设大数据分析系统和能力面对成本优化挑战，搭建配套专业分析创新平台部分经营环节缺少大数据分析对业务指导（如物流仓储选址、路线等）如何快速通过大数据，有效降低经营成本大数据对业务创新，提供平台化支

5、持项目设计思路精准营销基于对用户交易数据、商业行为数据和基本属性数据，描绘用户画像，挖掘用户潜在需求，帮助企业客户实现精准营销需求预测根据多方位的用户交易数据、行为数据、行业和相关产业数据，分析预测市场需求，为钢厂生产、钢贸商进货等环节提供数据支撑价格预测整合交易数据及产业链上下游行业运行数据，对钢材价格走势进行分析预测，指导用户对钢材产品定价物流优化结合点上平台交易数据、产品需求预测数据和交通情况等外部数据，帮助客户选择最优运输路线和最佳仓储布局方案。集团大数据方案能力宝信软件东方钢贸&IndustriesConsultant+Data Scientist+DevOps&运维培训体系ETL数

6、据整合数据清洗逻辑回归深度学习随机森林协同过滤SVM朴素贝叶斯知识图谱机器学习精确营销流失预测交通轨迹用户画像欺诈风控选址优化移动互联电信运营金融制造转型营销政府行业智能智能机器智能大数据平台算法客户数据客户订单数据仓储数据其他数据行业元数据系统数据权限控制系统元数据用户数据高速缓存大数据处理批处理流处理内存计算大数据存储分布式文件系统分布式数据库数据抽取、转换、加载实时/迭代处理资源管理大数据ETL拖拽零编程工作流大数据研究团队及人员简介云服务集团大数据实验室ECS大数据实验室团队成员目前近20人，分别来自香港、海外和国内的顶尖高校在人工智能、机器学习、数据挖掘和系统设计中有丰富的工程和研究

7、经验。团队80%成员具有海外背景，全部具有硕士以上学历，其中50%具有博士学历。在顶级期刊和会议中发表学术论文近百篇。获得国内和美国专利十余项。百度大数据+腾讯大数据团队搜狐大数据团队携程大数据团队中科院先进技术研究院香港应用科技研究院新加坡信息通信研究院华为诺亚方舟研究院清华大学北京大学中国科技大学香港大学香港科技大学香港中文大学加拿大不列颠哥伦比亚大学美国达拉斯大学美国Temple大学丰富的工程研究经验优秀的科研背景关键客户成功案例交通拥堵预测交通智能诱导购物篮预测用户购买行为客户画像预测潜在客户用电模式趋势预测.等机器智能应用Ecosystem & Cloud Services软件+硬件

8、+科学家陈嘉高级经理 资深研究员曾在华为诺亚方舟大数据实验室任研究员在百度大数据团队担任资深研发工程师曾联合创立一家机器学习技术公司并负责核心研发团队博士毕业于香港科技大学并从事博士后罗军资深研究员曾在华为诺亚方舟大数据实验室任研究员担任中科院先进院副教授、博士生导师博士毕业于美国UT Dallas大学， 在荷兰Utrecht 大学从事博士后研究姬莉娅研究员曾就职于腾讯基础架构部机器学习团队毕业于香港科技大学，师从人工智能专家杨强教授章一磊研究员香港中文大学博士毕业，曾经就职于华为中央研究院，擅长数据挖掘和机器学习系统。周子叶研究员研究领域包括运筹学及优化，数据挖掘博士毕业于香港中文大学序号名

9、称型号数量单位硬件1MySQL服务器Lenovo System x3650 M51台2Hadoop服务器Lenovo System x3650 M54台3交换机华为s5700s交换机1台软件1深度定制版大数据平台SENSE HD1套2二次开发工具包，提供编程调用接口SENSE Development Kit1套3算法包，包含多个核心算法功能模块SENSE Algorithm Package1套4建模工具，提供自定义设计、调整、评测和输出结果等多项功能的软件SENSE Modeler1套5整合多个数据源，建立知识图谱的软件，提供交互式探索各类信息和知识的工具SENSE Knowledge Gra

10、ph1套6网络爬虫、数据抓取、收集工具SENSE Octpus1套7防火墙飞塔200系列防火墙1套项目规划与实施基础架构拓扑基础架构1台MySQL节点，用于导入宝钢国际BMI数据。4台Hadoop节点，可以用3650，2颗CPU，256内存，2块240GB SSD做系统，3块 4T的SSD盘。1台千兆交换机做管理和互联。宝钢国际大数据项一期规划业务模块二平台及基础架构搭建3月4月5月6月7月8月模块一：需求预测模块二：流失预测1-2人月8-10人月1-2人月2-4人月机器智能试验特征工程模型构建线下评估线上测试汇报交流业务模块一业务资料理解项目目标 一期共实现两个大数据业务模块，每个业务模块，

11、主要包括业务资料理解、特征工程、模型构建、线上线下评估五步骤。宝钢国际大数据平台建设路线图建议宝钢国际的大数据建设完善，应分为四个阶段：试点挖掘重点开发推广应用深化拓展&建设完善包含以下内容：需求分析、业务数据梳理、数据建模、定制开发、平台及基础架构建设、运维保障宝钢国际大数据架构路线图试点挖掘推广应用深化拓展建设完善重点开发钢材需求量预测模型抽象及项目预期效果抽象建模特征：宝钢业务数据客户标注月特征：宝钢业务数据结构化信息预测模型业务决策模型钢材需求量&潜在流失客户机器学习模型结构化信息学习过程预测过程钢材需求量预测输入输出定义输入：宝钢提供的业务数据输出：预测现有客户未来需求量机器学习抽象

12、为经典回归问题未来钢材需求量预测订单数据订单签订时间、开始时间结束时间、订单金额订单钢材种类及其数量等基本信息地理位置、公司规模公司产值、公司成立年份最近仓储距离等客户生产计划及其需求量等信息解决方案思路及所需数据T 1 T T + 1 T + 2 特征特征标注模型训练模型验证离线测试钢材需求量&潜在流失客户时间轴特征标注特征标注实验流程客户流失预测流失客户的定义定义：若某个客户3年内的订货频率远小于前3年的订货频率，则称之为流失客户输入输出定义输入：宝钢提供的业务数据输出：在现有客户中找出一批有潜在流失风险的客户订单数据签订时间，开始时间结束时间，金额钢材种类及其数量等客户基本信息地理位置，

13、公司规模公司产值，成立年份与宝钢仓储最近距离等竞争对手信息同客户基本信息，与客户仓储距离钢材报价，加工能力等仓储基本信息需求定义及所需数据客户流失预测宏观掌控未来流失分类模型预测未来流失概率根据流失概率归入潜在流失分类微观洞察流失因素洞察未来流失的因素所占百分比抢单型流失破产型流失特征工程模型构建线下评估线上测试大数据机器智能实施方法通过完整的大数据分析，协助企业收集和组合各种相关数据，借助机器学习和知识图谱来发现和探索，发掘出数据和业务的本质联系，支撑企业业务和管理的发展和转型。业务理解数据理解根据线上测试反馈来优化模型，周期长，效果最直接线下效果评估反馈优化模型，周期短，效果较直接理解业务逻辑和商业规则理解数据字段含义，完整性及清晰度数据清洗及降噪高维特征生成特征选择及优化大数据平台存储分