spark大赛第三次赛前辅导智能化大数据用机器学习和图计算对大进行深度数据挖掘

--

讲座时间：9:30-11:00环节1：内容环节2： 问答，Spark亚太院长和首席

；目前中国唯一的移动互联网和云计算大数据集大成者，在完成了对Spark源码的彻底研究的同时不断在实际环境中使用Spark的各种特性的基础之上，编写了世界上第一本系统性的Spark书籍并开设了世界上第一个系统性的

Spark课程。Spark亚太：

m：spark-china1：SparkMLLib机器学习2：MLLib经典算法解析和案例实战3：

Spark

GraphX经典算法解析和实战Spark亚太 详情：/meeting/2014yt/default.asp如果你是对Spark有浓厚 的初学者，在这里你会有绝佳的入门和实践机会！如果你是Spark的应用高手，在这里以“武”会友，和技术大牛们尽情切磋！如果你是对Spark有深入独特见解的无论你是谁，只要对Spark有，在这里可以尽情展现你的才华！，还在等什么，快来参加！Spark开发者大赛，在这里会让你受益匪浅！Spark开发者大赛详情：

/meeting/2014yt/dhhd.asp第一阶段：熟练的掌握Scala语言学习地址：ht

/pack/view/id-124.html第二阶段：精通Spark平台本身提供给开发者API学习地址：ht

/pack/view/id-146.html第三阶段：精通Spark内核学习地址：ht/pack/view/id-148.html第四阶段：掌握基于Spark上的学习地址：ht框架的使用/pack/view/id-149.html第五阶段：商业级别大数据中心黄金组合：Hadoop+

Spark学习地址：ht

/pack/view/id-150.html第六阶段：Spark源码完整解析和系统定制学习地址：ht

/pack/view/id-151.html感谢Spark 文档中文翻译团成员！（ 不分先后）、、傅智勇、吴洪泽、

、

、、东、、、

、、耿harli、JackNiu、、、Spark文档中文翻译正式发布！PS：翻译

确的地方，请

并发送至marketin

，翻译团成员将会在一定周期内补充修订！由网络社区 共同编写的第一本Spark专刊！Spark

文档翻译陆续发布-第6章Spark

SQL编程动本周更新更新到Spark实战高手手实战(1)好书来袭！

推出！Spark

GraphX大规模图计算和图挖掘(V3.0)近30个动手实践案例，循序渐进展示SparkGraphX框架方方面面的功能和使用方法，同时伴随SparkGraphX源码解析，是图计算爱好者和Spark学习者不可错过的饕餮盛宴！阅读地址：htt

/art/201408/450049.htm地址：htt

/data/1881041What

isSpark?机器学习机器学习分类THE

BDAS

STACK机器学习Spark

MLLibMllib架构Binary

ClassificationLinearRegressionClusteringCollaborative

Filtering数据集movielens预处理数据导入new成对象调用ALS.train()方法结果Join计算均误差调用model的API

predict图的切分方式GraphX架构GraphGraphImplGraphOpsEdgeTripletEdge构建graph用下图中表示的数据Spark

GraphX文档使用的GraphImpl来构造出了图的实例Vertices、edges、tripletsGraphLoaderGraphLoaderGraphLoader加载进来的web-Googel.txt中有多少顶点每个顶点的元素的值都变成2每个顶点的属性变成了3对边进行操作所有的边的属性变成2attr是来自Edge的属性reversesubgraphmaskgroupEdgesDegreeEdgeDirectioncollectNeighborIdscollectNeighborsjoinVerticesoutJoinVerticesPregelPageRankPageRankPageRankPageRankPageRankTriangleCountTriagleCountTriangleCount的run的源代码第一阶段：熟练的掌握Scala语言学习地址：ht /pack/view/id-124.html第二阶段：精通Spark平台本身提供给开发者API学习地址：ht /pack/view/id-146.html第三阶段：精通Spark内核学习地址：ht/pack/view/id-148.html第四阶段：掌握基于Spark上的学习地址：ht框架的使用/pack/view/id-149.html第五阶段