2018年大数据公司组织结构、商业模式、行业现状

2018年大数据公司组织结构、商业模式、行业现状

目录一、大数据公司组织结构及业务流程 11、组织结构 12、大数据公司主营业务流程 2二、大数据公司商业模式 2（一）盈利模式 41、向客户收取数据采集制作费用 42、向客户收取数据的销售费用或订阅（租赁）费用 43、向客户收取数据租赁费用 4（二）生产模式 5（三）销售模式 61、线上销售 62、线下销售 6三、大数据行业基本情况 6（一）大数据行业概况 71、行业主管部门和行业监管体制 72、大数据行业政策 73、行业基本情况 84、技术背景 105、市场前景 14（三）行业基本风险 151、市场技术竞争风险 152、数据安全风险 153、人才短缺风险 15四、大数据行业行业产业链分析 16（一）产业结构和行业产业链状况 16（二）大数据行业的市场规模 16一、大数据公司组织结构及业务流程1、组织结构2、大数据公司主营业务流程二、大数据公司商业模式公司从事大数据背景下的数据服务，通过为企业和个人客户提供数据采集、制作、共享、交易、订阅和应用服务，以及大数据的存储、管理、挖掘、分析的专业系统解决方案。业务模式的核心是通过平台，以不同的数据使用模式（共享，交易，订阅，应用）实现数据的交易价值。公司的客户类型主要分为大企业客户和***网站平台的注册用户两类，其中大企业客户分为数据业务的互联网公司、跨国企业在华机构、国内科研院校等几大类。公司与大企业客户通过签订项目合同的方式满足客户对于海量搜索记录、语音、图片等非结构化数据的处理需求、数据采集需求等获得收入。对于个人用户，公司通过开放数据平台和数据资源吸引客户注册订阅、下载等服务收取收费用。公司的数据资源主要通过众包平台线上采集、组织兼职人员线下采集、优质供应商供应数据，用户共享数据，网络爬取数据等几种渠道，逐步积累各行业的大规模的数据集。图：产品和服务模式（一）盈利模式1、向客户收取数据采集制作费用利用大众力量及资源，为数据需求企业提供图像、视频、语音、文本等大数据的采集、制作等服务。2、向客户收取数据的销售费用或订阅（租赁）费用在数据采集制作的过程中，获取数据集的版权，并提供相应数据的销售和订阅服务（DataAPI）。3、向客户收取数据租赁费用依靠***自制数据，代理第三方数据，用户共享数据等几种渠道，逐步积累各行业的大规模的数据集，从而提供面向大众的数据应用服务（DataAPP），即基于数据平台和数据资源，为中小企业以及个人客户，提供面向广大用户的数据应用服务。（二）生产模式1、数据加工流程（1）数据加工订单获取：数据订单销售人员与客户沟通，获取客户加工需求。（2）加工标准制定：在理解客户需求的基础上，加工标准制定人员把加工任务细化，最关键的是在满足需求的情况下，如何提高标注效率。（3）标注系统开发测试：标注系统开发人员根据标注规范开发标注系统，或是试标注系统，或是正式标注系统，或二者兼有。（4）加工任务分配，跟踪与考核：主要由一级加工管理人员负责。（5）数据加工实施与质量审核：二级加工管理人员领取任务，组织加工实施人员和质量审核人员构成数据加工团队，完成数据加工。（6）客户交付：包括交付前的准备，以及交付完成。（三）销售模式1、线上销售***网站：主要面向中小客户(现已有注册用户300万)，支持用户在线上对数据直接付款下载/租赁。***官方微博和Linked-In：微博现已有高端粉丝22000，主要完成新客户的发现，并进行前期接触。2、线下销售线下销售团队：独立的销售团队，主要负责有明确清单的大客户，采用面对面的销售方式，如公司目标客户经常参加各种学术或技术会议，在会议中发现新的客户。同时维护已开发客户，跟踪其不断出现的需求。三、大数据行业基本情况公司是专注于大数据背景下的数据市场服务提供商，主要业务包括数据采集、制作、共享、交易、订阅和应用服务，以及大数据的存储、管理、挖掘、分析的专业系统解决方案。根据中国证监会《上市公司行业分类指引》（2012年修订），公司所处行业属于软件和信息技术服务业（I65），根据《国民经济行业分类》（GB/T4754-2011），公司所处行业为软件和信息技术服务业（I65）。（一）大数据行业概况1、行业主管部门和行业监管体制软件和信息技术服务业行政主管部门是中华人民共和国工业和信息化部（简称：工信部）和各地的工信厅（局），主要职责是拟订、并组织实施工业行业规划、产业政策和标准；监测工业行业日常运行；推动重大技术装备发展和自主创新；管理通信业，指导推进信息化建设；协调维护国家信息安全等。行业内部管理机构是中国计算机行业协会和中国软件行业协会，主要负责产业及市场研究、对会员企业的公共服务、行业自律管理以及代表会员企业向政府部门提出产业发展建议与意见等。在该行业除涉及国家安全和国计民生的关键项目外，基本按市场规律运作。2、大数据行业政策中国国民经济和社会发展十二五规划纲要明确将新一代信息技术作为战略性新兴产业进行培育发展，为推动公司所处行业的发展，国务院先后颁布了一系列纲领性法规政策，为行业发展建立了优良的政策环境，将在较长时期内对行业发展带来促进作用。包括《国家中长期科学和技术发展规划纲要（2006-2020年）》（国发[2005]44号）、《国家中长期科学和技术发展规划纲要（2006-2020年）若干配套政策的通知》（国发[2006]6号）、《国务院关于大力推进信息化发展和切实保障信息安全的若干意见》（国发〔2012〕23号）、《互联网信息服务管理办法》(国务院令第292号)、《信息网络传播权保护条例》（国务院令第634号）、《中华人民共和国计算机信息系统安全保护条例》（国务院令第147号）等。在上述政策指导下，工业和信息化部在2011年12月8日工信部发布的物联网十二五规划上，信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。随着我国经济的飞速发展，政府“两化融合”（信息化和工业化的高层次的深度结合）、“产业升级”等一系列产业信息化扶持政策的出台，信息化处理技术也已经成为我国行业发展必不可缺的一环。3、行业基本情况大数据是指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。随着数据存储和传输成本的下降助推了数据量的增长，新的数据源和数据采集技术的出现大大增加了数据的类型，数据间复杂的相互联系使大数据的处理变得异常困难。根据IDC的测算，全球信息总量每两年左右就增长一倍，2011年全球被创建和被复制的数据总量有1.8ZB，到2020年，全球所管理的数据将达到35ZB。从趋势而言：“大数据”是继云计算、物联网之后IT产业又一次颠覆性的技术变革。大数据已经渗透到每一个行业和业务职能领域，物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是大数据来源或者承载的方式。大数据将对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式等产生巨大的影响。基础技术在不断发展，而电子商务、移动应用、社交网络等日益活跃，导致大量的像影像资料、办公文档、扫描文件、Web页面、电子邮件、微博、即时通信以及音视频等非结构化数据迎面而来，企事业应接不暇。大数据已成为全社会都关注的大问题，许多企事业单位现在已急迫需要处理和研究大数据，如搜索网站、电商网站、社交网站、电信部门、金融部门、电力部门等，而我们也急需从各种各样类型的数据中，快速获得有价值的信息。对于一些缺乏专门的数据专家的公司来说，如何处理这些大数据（BigData）已经成为一个普遍性的难题。因此，可预料到以下两个趋势：（1）数据分析需求旺盛大数据时代数据分析是数据周期中最有“含金量”的环节，各行业用户对数据分析功能的需求更加旺盛，同时对数据分析的广度和速度都有更高要求，促使IT厂商加快了对于数据分析技术的研发创新。一方面，大数据分析不再局限于结构化的历史数据，而更倾向于分析来自社交网络、各种传感器采集的非结构化数据；另一方面，激烈的市场竞争促使大数据解决方案厂商加大了对数据的快速、实时分析、智能决策技术的研发投入。（2）数据处理外包服务将兴起数据处理是应用的薄弱环节，数据外包服务将兴起，数据外包将是继软件外包之后的另一大产业。从历史上来看，我国的软件外包产业始于20世纪八十年代，直到现在方兴未艾，软件外包已经成为发达国家的软件公司降低成本的一种重要的手段。目前，全球软件的销售额为6,000亿美元，而其中软件外包的销售额即达到500～600亿美元。而数据外包作为一个新兴的大数据产业，即为企业和科研客户提供海量数据处理的外包服务，帮助客户高效、快捷、“无痛苦”的完成重复性、海量数据作业任务，并最终交付精准无误的数据成果。使用户最小成本、最大利益获得处理后的数据资产，从而可以将更多的人力和资本投入到生产和科研活动中。据IDC预测，全球大数据市场规模年增长率将达40%，2012年规模将达50亿美元左右，到2013年和2017年这一数字将分别增至100亿美元和530亿美元。其次，各个行业或领域产生的大数据之间有非常强的关联性，因此，大数据的另一个挑战是对数据的整合和共享，数据不共享不流通发挥不出大数据的大价值。当前数据跨领域跨行业的拉通和共享存在大量壁垒，而只有跨领域的数据分析才更有可能形成真正的知识和智能从而产生更大的价值。同时，大数据本身具有非常强的资产属性，大数据时代，数据就是金钱。因此，基于各类大数据的共享与交易也将得到蓬勃的发展。4、技术背景当前，大数据已经初步形成了完整的产业链。站在客户的数据应用角度而言，该产业链包括基础硬件/网络设施的提供商，基础软件平台的提供商，数据内容服务的提供商，以及数据分析挖掘服务的提供商。相对来说，大数据产业链非常清晰，相互依存度也比较高，是一个基本和谐共生的产业链。（1）基础设施服务为大数据的存储、传输、计算提供基础硬件设施和网络设施服务，具体包括：（a）服务器：主要厂商为HP，Sun，Dell，曙光，浪潮等企业，可为大数据的分析计算提供高性能的服务器硬件设施。（b）存储器：主要厂商为希捷、西部数据、IBM等企业，可为大数据的存储提供存储硬件设施。（c）元器件：主要厂商为英特尔、高通、NEC等企业，可为大数据的分析计算提供高性能的硬件设施。（d）网络设施：主要厂商为思科、华为等企业，可为大数据的网络传输及通信提供基础设施。另外，国内还包括中移动，联通等网络带宽服务提供商。较之国外的网络带宽服务提供商，国内厂商的服务价格要高出数倍到数十倍。（2）基础平台服务主要提供在基础硬件平台上的基础软件平台服务，为大数据提供软件基础。具体包括：（a）操作系统：主要提供商为微软、Linux、Android等。作为基础软件平台的基础。（b）虚拟化：主要提供商分为虚拟化软件提供商及虚拟化设施服务提供商。主要的虚拟化软件提供商为VMWARE、Citrix、Redhat、微软等，虚拟化软件主要对基础硬件设施（服务器、存储、网络等）进行虚拟化，便于云化使用。虚拟化设施服务提供商结合基础硬件设施和虚拟化软件，对公众提供有偿的虚拟化设施服务，主要厂商为WindowsAZURE、Amazon、阿里云、华为等。（c）分布式软件：Hadoop是目前业内流行的分布式软件，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力对大数据进行高速运算和存储。目前Hadoop已经被超过50%的互联网公司用来处理海量数据。（d）系统软件：传统的系统软件也开始针对大数据的存储和管理提供软件支持。主流的数据库厂商如Oracle、Sybase等，都针对大数据开发相应的数据库软件产品。（3）数据内容服务主要提供大数据服务的基础数据资源。数据资源做为大数据产业的核心部分，是后续数据挖掘和分析的基础，决定了服务的内容和品质。大数据的难点和本质是非结构化数据的处理，因此数据内容的服务主要包括语音、图像、视频、文本（以网页为主）等类型的数据。数据内容的基础服务包括数据采集，数据清洗，数据加工等。另外，依据数据的商品特性，数据内容的增值服务还包括数据交易，数据共享等。（a）数据采集：指通过线上或线下的手段去采集原始数据。线上采集通常指采用网络爬虫技术从互联网上定向或非定向地自动抓取、抽取需要的数据。线下采集主要采用非互联网手段，利用相应的采集软件，在适合的地点、时间，采集适合的人，采集内容包括例如录音数据采集、视频数据采集、手写数据采集等。（b）数据清洗：大数据的一个重要特征是价值密度低，有大量的无关信息，数据清洗技术对采集的数据进行处理，得到高质量的数据。（c）数据加工：根据不同的需求，对数据进行进一步的加工标注，得到符合最终应用需求的数据。（d）数据服务的增值服务：数据天然具有商品的特性，具有重复利用的价值，因此通过数据的流通可使数据产生增值价值，具体的包括数据共享，数据交易，数据应用等。数据共享可以通过发布公开的数据共享平台，用户免费或付费的下载数据。数据交易是对有价值数据的线上或线下销售。数据应用是在数据的基础上，提供基础的数据应用服务。（4）数据挖掘服务利用数据内容（包括***提供的数据和企业的内部数据），依据企业的业务需求，帮助企业进行全面的客户分析以及做更精准的商业决策。大数据挖掘服务的应用范围非常广阔，涉及到各行各业，具体的行业应用可以归类为：商业智能、政府智能、科教智能、工业智能、医疗智能、生活智能等。从大数据的整个产业链可以观察到，大数据时代网民和消费者的界限正在消弭；企业的疆界变得模糊；数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。大数据时代顺昌逆亡。如果不能利用大数据更加贴近消费者、深刻理解需求、高效分析信息并作出预判，所有传统的产品公司都只能沦为新型用户平台级公司的附庸，其衰落不是管理能扭转的。5、市场前景大数据时代已经来临，大数据已是许多行业共同面对的大问题。如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题。海量数据时代企业对数据的关注主要是存储和传输，但一般而言企业利用的数据量不足其所获得的5%，在数据每年约60%增长的背景下，企业平均捕获其中25%-30%的数据（Forester估计），因此作为企业战略资产的数据价值远远未被挖掘。而根据麦肯锡的研究，大数据的挖掘和应用可以创造出远超万亿美金的价值，因此数据的处理技术将成为企业的利润之源。对数据的洞察力进一步提现到公司的战略和行动，形成正反馈，有助于企业积累竞争优势，创造更多的利润，使得行业龙头强者恒强。因此，在我国乃至全球，大数据加工处理产业有非常大的空间，通过这类服务，可以减轻用户在本地数据处理软硬件资源上的时间、资金、人力投入，从而可以更加关注产品研发和科学研究问题本身。做好大数据处理与分析等业务，可以充分加速大数据的流通使用，又能给企业带来巨大利润。（三）行业基本风险1、市场技术竞争风险随着数据服务市场需求逐年增加，行业前景广阔，因此行业内竞争将会非常激烈，如果企业不能凭借先进的技术优势满足市场的需求，将很快被其他同行业的公司取代。故行业本身存在较强的市场竞争风险。2、数据安全风险随着越来越多的交易、对话、互动和数据在网上进行，网络