北风spark2.0245讲课件第92讲-spark streaming详解课件_第1页
北风spark2.0245讲课件第92讲-spark streaming详解课件_第2页
北风spark2.0245讲课件第92讲-spark streaming详解课件_第3页
北风spark2.0245讲课件第92讲-spark streaming详解课件_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、北风网大数据实战培训Spark Streaming：StreamingContext详解讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）有两种创建StreamingContext的方式：val conf = new SparkConf().setAppName(appName).setMaster(master);val ssc = new StreamingContext(conf, Seconds(1);StreamingContext，还可以使用已有的SparkContext来创建val sc = new SparkContext(conf)val ssc

2、= new StreamingContext(sc, Seconds(1);appName，是用来在Spark UI上显示的应用名称。master，是一个Spark、Mesos或者Yarn集群的URL，或者是local*。batch interval可以根据你的应用程序的延迟要求以及可用的集群资源情况来设置。 StreamingContext详解（一）一个StreamingContext定义之后，必须做以下几件事情：1、通过创建输入DStream来创建输入数据源。2、通过对DStream定义transformation和output算子操作，来定义实时计算逻辑。3、调用StreamingCon

3、text的start()方法，来开始实时处理数据。4、调用StreamingContext的awaitTermination()方法，来等待应用程序的终止。可以使用CTRL+C手动停止，或者就是让它持续不断的运行进行计算。5、也可以通过调用StreamingContext的stop()方法，来停止应用程序。需要注意的要点：1、只要一个StreamingContext启动之后，就不能再往其中添加任何计算逻辑了。比如执行start()方法之后，还给某个DStream执行一个算子。2、一个StreamingContext停止之后，是肯定不能够重启的。调用stop()之后，不能再调用start()3、一个JVM同时只能有一个StreamingContext启动。在你的应用程序中，不能创建两个StreamingContext。4、调用stop()方法时，会同时停止内部的SparkContext，如果不希望如此，还希望后面继续使用SparkContext创建其他类型的Context，比如SQLContext，那么就用stop(false)。5、一个SparkContext可以创建多个StreamingContext，只要上一个

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论