市场分析决策平台建设方案

市场分析决策平台建设方案粮食行业是传统行业，信息化建设相对其他行业较滞后，但滞后就意味着巨大的潜力。国家粮食行业十三五规划一个重要内容就是粮食行业信息化，在互联网加粮食大背景下，国家加大了对粮食行业信息化的投入，可以说粮食行业信息化迎来了春天。作为主管行业动态的权威机构，拥有大量数据分析需求的国家粮油信息中心，是如何看待和发展信息化建设的？关于国家粮油信息中心国家粮油信息中心是国家粮食局隶属事业单位，主要职能是提供粮油市场分析服务就是为国家发改委、财政部还有国家粮食局等机构，提供一些信息服务。第二个职能是国家农信中心，它是粮食行业新文化支撑单位。国家粮油信息中心一共有8个处室，其中行业信息化处目前正在筹建中。信息化建设经验信息化中心作为市场分析机构向来以来想拥有自己的数据中心，集中的管理数据，使得分析师与业务人员能够在统一平台下分享数据。为此，信息中心也做了不懈的尝试。此前购买过第三方的数据服务，曾经屡次独立开辟但效果并不好。例如之前开辟粮油统计地理信息系统，它的选型是NET>Extjs、Json>SuperM叩、Flash图形化插件。整个的具体实施就是通过代码码出所有业务逻辑、显示报示，然后利用Excel进行导入和导出。这其中很大的缺点就是，开辟周期长、扩展性差、应对需求变更能力差、没有彻底实现业务目标。多次尝试下来，归结如下7点信息化建设提议：明确业务需求：强烈的业务需求，明晰的业务目标，能否抓住核心是一个项目成败的关键。“产品+定制+服务”的建设思路：项目建设如果不借助比较成熟的产品工具，从技术代码进行创新式的开辟，不经过迭代以及检验很难规避风险，很难形成一个成熟的产品。经过探索实践以及对业务深入的理解，技术的积累，整个行业的调查研究，信息中心总结出来一套建设思路：产品是指由生命力的产品像FineReport以及FineBI；定制就是结合自己的需求定制开辟；服务就是定制需求的后期，开辟团队的定征服务。谨慎投资，控制风险：项目要想可持续发展，必须控制风险，注重成本收益，谨慎投资，任何一笔失败的投资，都有可能影响信息化建设技术的推进。谨慎技术选型：第三方工具应对需求的变化要强，要简单应用。在这里，信息中心与帆软报表不期而遇。它最大的特点就是业务需求变化强，功能简单应用，能够应对信息中心业务复杂，需求较快，技术力量不足的现状，能够整合复杂多变的报表数据，能够快速的实现图表多样体现。认清技术力量的现状敏捷开辟、迭代开辟和重构技术+管理关于大数据数据是未来的核心。大数据的能力核心在于全，要有丰富的获取手段，要提高分析挖掘数据的能力，形成信息中心自己的数据方法论，也就是说大数据能力就是技术+数据+统计分析和业务。信息中心是国家粮食局直属事业单位，是粮食行业信息化技术支撑单位。有20多年粮油市场研究、分析的行业积累。粮食行业大数据能力将是信息中心未来的核心竞争力。业务布局社会分工可以提高劳动生产力，可以极大的增加社会物质财富，但同时也失去了个性化和多样性，而个性化和多样性是创新的根源，为了基层提高生产率以及创新，信息中心采用程序化、流程化采集整理管理工作，然后业务员、分析人员集中精力进行模型的建立和市场的研究。流程解释：蓝色部份是数据处理流程，通过FineReport进行展示。黄色部份是人工分析部份，构建分析模型、深入分析市场，反复验证构成城市化模型，形成一个自动的工作流，完后才干后续的采集和权限访问等工作。数据分析决策平台建设数据分析决策平台的建设分三步走。第一步就是数据整合。对多源多类型的数据进行整合，实现数据共享。目前以帆软报表为数据处理工具，以SQLServer为数据库存储平台，整合信息中心常用业务数据。常用的业务数据包括价格、进出口以及平衡表等。仅仅依靠excel是无法实现大数据战略的，数据报表不可取代。但是传统报表面临的挑战也越来越多，传统报表主要有以下这几点,数据太多，信息太少；难以多维度交互分析；难以挖掘潜在规则；难以追溯历史；数据形成孤岛。选择帆软报表的原因是因为这工具应对需求的变化强，能够快速的以execl形式导入导出，快速的构建查询，快速形成excel整合，多样数据化展现，并提供一套报表管理平台。譬如以下：模板1：初步建立了一个市场查询分析，包括价格、评估表、海关进出口。一旦模板建立，相关人员将数据通过填报功能填入，查询时报告自动生成，并在权限范围内自由导出。Ba，■14__■・ BtU俱♦母■MIVMXWWW^r BMB MM■痴MM-0fHsUM MVHl art MfMI州土―。「■廿°Si主».*””也zirt'ii'Cifeiw-n-MciM-iJ-r2flM>U-tS8*n-aEBMIl-D■分析axmkiICIIifa，■分析axmkiICIIifa，Mwnkt"胃比(V1«iVISIVH<TWIK)lieti9*UJ121第二步就是数据的抓取、处理和分析并自动化生成系列产品报告，实现目标是解放生产力。把业务人员从采集、整理、处理数据的体力劳动中解放出来，集中精力于市场深度分析研究、模型建立。本质上还是数据整合，不同地方是数据自动采集，并依据构建的模型。技术选型：FineReport+FineBI+Python+Kettle（ETL工具）+SQLServer实现网页的迅速抓取，抓取网页中的数据，然后通过Kettle清洗转换,得到我们的基础数据，再通过FineReport和FineBI展现。数据库的存储结构通过网站的结构来自动抓取数据。报告展示：这些宏观数据全都自动生成，通过灵便的查询和分析，实现数据直观展示。更重要的是，由于业务人员特殊热中于自己研究分析，自己开辟分析模板将实用的模型沉淀下来，形成固定的一系列的查询模型，提交我们信息中心，分析市场，再次响应市场和预警。X■=■f【二三二二三三-田nm<ww(U9m6^9KKjL»)v»4Moq?^»<8BMtODiaraiiTjflcetHfiAHHWf!VMRUOCeJOXVBD，g**V10C.第三步是数据挖掘，目标是构建粮食行业模型和行业计量模型实现科学决策。基于信息中心20多年的粮食市场分析评估，行业积累，依托一期、二期整合的数据和大数据，接下来将构建大数据能力，提供标准化的服务能力。但粮油的分析模型、行业积累模型，是一种因素模型、经验模型，一定程度上依赖于分析师对市场的看法，这个模型分析结果需要分析师经验和直觉来判断