大数据基础知识培训(21p)课件

1、大数据基础知识电信云大数据产品线第1页，共22页。目录大数据定义大数据价值大数据产业链第2页，共22页。1. 大数据定义共识， 全球数据量每年 +50% 的速度指数递增 工业、生产数据远大于我们 现在关注的消费数据 大量即时数据在价值未流失之前等待处理大数据营销， 根据企业数据需要组织挖掘分析，并基于IT系统实时把分析提供给需要决策帮助的内部企业成员。 互联网统计 大数据是一个服务行业。 大数据是传统统计与互联网相结合的行业。第3页，共22页。1. 大数据定义大数据定义： 所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的

2、资讯。主要的特点:Volume 数据体量Velocity 数据速度Variety 数据多样Veracity 数据真实第4页，共22页。2. 大数据价值在阐述大数据价值时，先一起先学习下数据价值 数据 信息 知识 智慧数据是约定俗成的数值量化，对客观事物的数量、熟悉、位置及其相互关系进行抽象表示， 以适合在这个领域中用人工或自然的方式进行保存、传递和处理。第5页，共22页。2. 大数据价值数据价值 数据 信息 知识 智慧信息是在时效内的一定含义的， 经过加工处理对决策有价值的数据流。第6页，共22页。2. 大数据价值数据价值 数据 信息 知识 智慧通过人们的参与对信息进行归纳、演绎、 比较等手段

3、进行挖掘， 使其有价值的部分沉淀下来， 并于已存在的人类知识体系相结合， 这部分有价值的信息就转变成知识。第7页，共22页。2. 大数据价值数据价值 数据 信息 知识 智慧智慧是人类基于已有的知识， 针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。第8页，共22页。2. 大数据价值数据价值 数据 信息 知识 智慧智慧是人类基于已有的知识， 针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能

4、力来创造价值。第9页，共22页。2. 大数据价值在此大数据作为服务工具，是数据分析能力的表现对大数据分析，主要分为五个方面（提供大数据解决方案时的价值输出载体）：可视化分析（Analytic Visualization）数据挖掘算法（Date Mining Algorithms）预测性分析能力（Predictive Analytic Capabilities）语义引擎（Semantic Engines）数据质量管理（Data Quality Management）第10页，共22页。2. 大数据价值可视化分析（Analytic Visualization）第11页，共22页。2. 大数据价值数

5、据挖掘算法（Date Mining Algorithms）数据挖掘算法是大数据分析的理论核心，其本质是一组根据算法事先定义好的数学公式，将收集到的数据作为参数变量带入其中，从而能够从大量复杂的数据中提取到有价值的信息。著名的“啤酒和尿布”的故事就是数据挖掘算法的经典案例。沃尔玛通过对啤酒和尿布购买数据的分析，挖掘出以前未知的两者间的联系，并利用这种联系，提升了商品的销量。亚马逊的推荐引擎和谷歌的广告系统都大量使用了数据挖掘算法。第12页，共22页。2. 大数据价值语义引擎（Semantic Engines）语义引擎是机器学习的成果之一。过去，计算机对用户输入内容的理解仅仅停留在字符阶段，不能很

6、好的理解输入内容的意思，因此常常不能准确的了解用户的需求。通过对大量复杂的数据进行分析，让计算机从中自我学习，可以使计算机能够尽量精确的了解用户输入内容的意思，从而把握住用户的需求，提供更好的用户体验。苹果的Siri和谷歌的Google Now都采用了语义引擎。第13页，共22页。2. 大数据价值大数据解决方案在企业知识管理项目上的价值点：1. 提供专业团队（数据建模、挖掘技术）与客户（行业专家）进行企业数据价值勘探。2. 提供统一可扩展的元数据规则库构建方案。避免组织内产生不同信息和知识体系，保证数据的信息流通、知识管理、智慧创新。3. 在公共大数据挖掘平台。 定制数据汇集，并依托平台集约化

7、的全面高效支持的时效、海量、弹性、关联等核心能力下快速构建解决和集成实施方案。4. 提供私有大数据挖掘平台解决、集成方案，并建设性开放安全数据接口避免“数据孤岛”。第14页，共22页。3. 大数据产业链大数据产业链，关键点，1. 基础设施提供商2. 基础系统提供商3. 大数据解决方案提供商4. 平台服务提供商 第15页，共22页。3. 大数据产业链1. 基础设施提供商a. 采集卡 / 视频采集卡、监控采集卡、空气质量采集器b. 网络带宽 / 电信 c. 存储介质 / d. 计算设备 /e. 数据提供商 2. 基础系统提供商- 目前最热门的开源生态系统：hadoop 分布式计算框架 - Yarn

8、: MR / Spark / Storm 分布式文件系统 - Hdfs 分布式结构化存储 - Hbase / Cassandra第16页，共22页。3. 大数据产业链3. 大数据解决方案提供商 a. 行业、政府解决方案 发现周期规律、促进数据关联、 b. 企业大数据解决方案 加强数据一致，信息流通，知识积累 b. 企业面向主题解决方案 面向 市场营销、推广回报比 、渠道质量、投资风险 、产品定价 等主题 c. 企业面向运营解决方案 发现异常、跟踪质量、客户管理、预警风险 解决方案 第17页，共22页。3. 大数据产业链4. 平台服务提供商 / 电信云.大数据产品线 我们致力于云计算.大数据生态

9、环境的建设，全面提供集约化面向企业提供大数据平台和技术服务支持，在核心技术上我们已经完成， a. 大规模数据分析 支持Map、Reduce、Join、Union 等多种数据节点处理模式，支持直接使用SQL 语句对海量数据进行离线分析 提供与ANSI SQL 高度兼容的语法支持，支持用户复杂的数据分析需求。第18页，共22页。3. 大数据产业链4. 平台服务提供商 / 电信云.大数据产品线 b. 分布式文件系统 分布式文件系统拥有高可扩展性，支持上亿个文件和PB以上量级的文件存储 实现了大规模数据的快速读写功能，实现了文件并行操作的高效机制 支持大规模并发读写，充分利用分布式并行带宽 第19页，

10、共22页。3. 大数据产业链4. 平台服务提供商 / 电信云.大数据产品线 c. 任务调度 采用数据驱动的多级流水线并行计算框架，在表述能力上兼容MapReduce，Map-Reduce-Merge，Spark等多种编程模式 高可扩展性，支持十万以上级的并行任务调度 自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成 第20页，共22页。大数据基础知识Q&A第21页，共22页。1、不是井里没有水，而是你挖的不够深。不是成功来得慢，而是你努力的不够多。2、孤单一人的时间使自己变得优秀，给来的人一个惊喜，也给自己一个好的交代。3、命运给你一个比别人低的起点是想告诉你，让你用你的一生去奋

11、斗出一个绝地反击的故事，所以有什么理由不努力!4、心中没有过分的贪求，自然苦就少。口里不说多余的话，自然祸就少。腹内的食物能减少，自然病就少。思绪中没有过分欲，自然忧就少。大悲是无泪的，同样大悟无言。缘来尽量要惜，缘尽就放。人生本来就空，对人家笑笑，对自己笑笑，笑着看天下，看日出日落，花谢花开，岂不自在，哪里来的尘埃!5、心情就像衣服，脏了就拿去洗洗，晒晒，阳光自然就会蔓延开来。阳光那么好，何必自寻烦恼，过好每一个当下，一万个美丽的未来抵不过一个温暖的现在。6、无论你正遭遇着什么，你都要从落魄中站起来重振旗鼓，要继续保持热忱，要继续保持微笑，就像从未受伤过一样。7、生命的美丽，永远展现在她的进

12、取之中;就像大树的美丽，是展现在它负势向上高耸入云的蓬勃生机中;像雄鹰的美丽，是展现在它搏风击雨如苍天之魂的翱翔中;像江河的美丽，是展现在它波涛汹涌一泻千里的奔流中。8、有些事，不可避免地发生，阴晴圆缺皆有规律，我们只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改变它的轨迹。9、与其埋怨世界，不如改变自己。管好自己的心，做好自己的事，比什么都强。人生无完美，曲折亦风景。别把失去看得过重，放弃是另一种拥有;不要经常艳羡他人，人做到了，心悟到了，相信属于你的风景就在下一个拐弯处。10、有些事想开了，你就会明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎样

13、，最后收拾残局的还是要靠你自己。11、人生的某些障碍，你是逃不掉的。与其费尽周折绕过去，不如勇敢地攀登，或许这会铸就你人生的高点。12、有些压力总是得自己扛过去，说出来就成了充满负能量的抱怨。寻求安慰也无济于事，还徒增了别人的烦恼。13、认识到我们的所见所闻都是假象，认识到此生都是虚幻，我们才能真正认识到佛法的真相。钱多了会压死你，你承受得了吗?带，带不走，放，放不下。时时刻刻发悲心，饶益众生为他人。14、梦想总是跑在我的前面。努力追寻它们，为了那一瞬间的同步，这就是动人的生命奇迹。15、懒惰不会让你一下子跌倒，但会在不知不觉中减少你的收获;勤奋也不会让你一夜成功，但会在不知不觉中积累你的成果。人生需要挑战，更需要坚持和勤奋!16、人生在世：可以缺钱，但不能缺德;可以失言，但不能失信;可以倒下，但不能跪下;可以求名，但不