基于SaaS和云技术的商业数据分析及挖掘模型应用.docx

基于SaaS和云技术的商业数据分析及挖掘模型应用 摘 要：目前，大数据成为政府、企业等组织机构最重要的资产之一。通过SaaS服务、云技术，依托BDP商业数据平台，研究商业数据分析及挖掘模型，并在企业中进行推广与应用，帮助企业利用数据驱动管理，提升经营绩效。 下载 关键词：SaaS；云技术；商业数据；数据分析及挖掘 一、引言 麦肯锡研究报告大数据：下一个创新、竞争和生产率的前沿（2011）中指出数据已经逐渐成为每个行业的基础性资源，对于海量数据的挖掘、分析，预示着新的生产率增长浪潮的到来。2012年美国公布了“大数据研发计划”。欧盟对科学数据基础设施建设投资1亿多欧元，并将数据信息化基础设施建设作为Horizon 2020计划的优先项目之一。 2015年9月，国务院印发促进大数据发展行动纲要，截止2017年1月底，我国有37个省市专门出台大数据发展规划及行动计划。但国内企业，真正以数据分析为决策依据的，主要集中在银行、保险、电信和电商行业，尚未扩充到运营管理的所有领域。商业企业为了在激烈的市场竞争中取得优势，利用数据分析及挖掘技术，为一系列决策提供科学可靠的依据将势在必行。 二、应用价值与优势 1.数据分析及挖掘模型应用价值 全球数据供应量在2012年已达2800万亿GB，但上述数据中仅有0.5%被用于分析。预计到2020年，人均数据量将达5，247GB。目前，部分大型企业投入几千万甚至上亿的成本进行信息化建设，如利用SAP、ERP、CRM进行数据分析，但部门之间数据没有打通，平台数据不能共享，不能及时支撑业务需求。随着市场竞争的加剧，消费者需求越来越高，对企业经营管理者提出更高的要求，需要将分散的数据聚合在一起，并对这些数据进行高效分析及挖掘。数据分析及挖掘模型的应用能够帮助企业解决上述问题，实现多维度数据的系统分析，及时发现异常并提出改善方案，帮助企业实现智能化的决策支持。 2.商业数据平台优势 （1）一站式数据管理与分析 从各种内部数据，到各种SaaS应用、互联网平台、再到需要监控的各类外部数据，几百种的数据源，一键式进行接入，进行数据处理、分析、挖掘，并多终端可视化呈现，能够对数据进行全价值链的管理。 （2）灵活易用的可视化分析 只需要接入数据源的源数据，不需要任何的预处理就可以对数据做任意维度的多维分析，简单拖拽就可以通过数据获得业务洞察，没有任何技术基础的人都可以自助进行数据分析。 （3）亿行数据、秒级响应 构建完备的数据服务器集群，提供强大稳定的数据计算能力，上亿行的数据，1秒钟可以响应。 三、关键技术与主要应用 1.关键技术 采用业界最新的分布式架构，云计算轻松处理海量数据。数据库兼容+自采集，实现全数据整合。数据对接-数据集中化管理，账号直连-支持SQL Server， Oracle， MySQL； API对接-通过API进行数据写入；零散数据存在EXCEL表格中的，可以直接导入BDP中使用。细颗粒钻取，多维度关联交互。 快速拖拽?活分析建模，点选配置实现数据统计分析。手机、PC同步，数据排名、预警推送，驱动业务流。采用业界最新技术，性能不断优化升级，物理安全（超五星级的数字北京机房）、组织安全（账户系统和数据系统相互隔离）、加密安全技术（等同于银行加密技术等级）、认证安全（乌云24小时安全监测）。 2.主要应用 打通企业常用的数据库，包括MySQL、SQLServer、Oracle等主流数据库；连通上百度、新浪、微信等百家主流的网络营销推广平台；对接在线客服平台；连接百度统计、CNZZ等应用统计数据；导入EXCEL、CRM、ERP等企业日常经营管理数据；汇总移动应用排名数据、本地生活指数等公共数据。通过数据源进行数据接入后，对进入的数据进行多表关联、数据聚合、追加合并、SQL创建、二维转一维、提取数据等数据处理技术，对分散数据源的数据进行建模。并进行可视化的结果分析和呈现，以及对结果的向下钻取进行原因追溯。 对于企业经营管理的关键指标进行预警设置。可以在预警条件被触发的第一时间通过电脑或者手机接收到信息，方便企业管理层与决策层进行实时决策。对数据做任意多维分析，根据企业沉淀的数据资源进行未来一段时期的预测。构建完备的数据服务器集群，提供强大稳定的数据计算能力，提高响应速度。 四、模型构建与应用 1.商业数据分析及挖掘模型构建 通过将企业生产数据、销售数据、客户数据、财务数据等商业数据导入到BDP商业数据平台，对各种数据进行存储及管理、建模并计算分析，然后以可视化图表方式呈现给需要数据的企业进行分析管理决策。如图1所示： 2.商业数据分析及挖掘模型应用 首先收集客户需求，然后提取客户数据源、导入商业数据平台，接着在商业数据平台建立数据分析与挖掘模型并设计计算逻辑、平台自动运转计算，最后平台输出可视化图表及分析结果，指导商业企业制定战略规划，并进行相应的管理决策。 例如：某食品企业需要利用BDP商业数据平台对现有的经营状况进行改进，需完成几个步骤： 步骤一，提出企业初始需求，如：对于现有sku的保质期内的进销存分析精度不够，分析周期过长，分析成果无法指导经营；对于门店拓展缺少数据作为指导；技术团队人员紧缺，需要改进现有的经营状况； 步骤二，业务洞察：分析数据收集不够全面，缺少间接数据；对于现状问题要及时发现、锁定、调整；对于商品库存结构分析 需要进行全面的即时性分析，便于指导送配货；使用BDP机器学习算法分析商品连带率、成交率、客单价等； 步骤三，搭建数据平台架构：将EXCEL数据、公开数据、第三方平台数据，及会员管理系统、ERP系统中的数据进行整合，搭建大数据平台，进行商品分析、业务监控与分析、会员数据分析、各部门KPI考核、成本控制、销售预测； 步骤四，解决方案核心分析场景：销售分析，数据实时更新，店长实时查看各门店销售排名；多维度分析：客单量、同比、环 比、新老门店对比等；促销情况分析；商品分析：商品分类分析，各类商品利润贡献，商品与会员的交叉分析；会员分析：会员系统RFM数据分析模型，会员新增情况、会员分布情况分析，会员消费习惯分析； 步骤五，解决方案数据分析指标体系分解，如图2所示： 步骤六，平台成果展示，如图3所示： 步骤七，移动端随时获取最新数据，如图4所示： 五、结语 常规的数据分析系统对数据源进行抽取、转换需要耗费大量时间。随着数据量迅速增长，大部分企业面临用户量、并发量大，业务需求变化快，响应速度差，数据技术人员短缺，各部门信息不透明等挑战。数据系统瘫痪、数据口径不一等问题层出不穷。数据分析及挖掘模型的应用能够帮助企业解决上述问题，实现多维度数据的系统分析，及时发现异常并提出改善方案，帮助企业实现智能化的决策支持。 随着互联网不断发展，基于SaaS和云技术的数据分析及挖掘服务将逐渐演变为数据分析的新热点。基于这两种技术而研发的商业数据分析及挖掘模型必将广泛应用于各行各业，如交通、医疗、统计领域。其在商业企业的应用也将更加成熟。 参考文献： 任惠琳.商业企业营销数据挖掘及营销数据统计分析系统的有效构建J.现代商业，2013，（31）. 王益萍，琚春华.基于分布式数据挖掘的连锁商业企业经营决策分析J.商业研究，2006，（20）. 杨京，王效岳，白如江，祝娜.大数据背景下数据科学分析工具现状及发展趋势J.情报理论与实践，2015，（3）. 任新社，?静远.关于数据挖掘研究现状及发展趋势的探究J.信息通信，2016，（2）. 刘绍清，黄章树.数据挖掘商业应用平台的需求分析J.计算机系统应用，2007