ABC基础技术与开放论坛-part5

刘勇峰PaddlePaddle开源社区运营负责人主持人：百度PaddlePaddle作为一个开放易用、灵活、高效、扩展性强的深度学习框架，为不少在校学校、创业者、各界技术人员提供了快速学习和应用AI技术的平台，通过PaddlePaddle平台，百度技术团队已经开发出多项人工智能应用技术，接下来让我们响起热烈的掌声有请PaddlePaddle开源社区运营负责人刘勇峰，为我们介绍PaddlePaddle如何加速AI的落地，掌声有请。刘勇峰：在座各位百度的朋友小伙伴，开发者大家下午好，我今天想给大家讲一下我们在开源的过程中我们开源的计划，我们开源要做什么样的事情，以及开源能为AI和AI开发者做的一些很容易就能实现落地的一些东西。首先，既然提到开源，不只是开放深度体系框架，我们开源路线实际是这样的，我们首先会把我们云深度学习框架开源出来，然后我们会把一些大规模计算相关的软件和服务开放出来，这样的话更多的企业和机构、AI的服务商可以基于大规模计算平台把比较大的智能应用跑出来，很多深度学习应用其实跑起来还依赖于更多的数据来做（英文）未听清 ，1.22.10，，因为很多应用必须要有一个具体应用场景，先满足应用场景，才会接触数据，所以我们后续也会开放更多的大规模的数据。有了大规模的数据、大规模的计算的话未听清,不确定1.22.22，很多企业跟个人他们都没有丰富的大数据未听清，不确定1.22.30算法经验，我们还会开放一些站在未听清 ，1.22.10未听清,不确定1.22.22未听清，不确定1.22.30PaddlePaddle是去年2016年9月1日开源的，但实际上PaddlePaddle在2013年我们诞生于百度内部，一直服务于百度内部的（中文）未听清，1.23.00，所以从实际完善的角度和工作性的角度未听清，不确定1.23.05 来看，其实PaddlePaddle已经有三四岁的积累，开源这一年里，很多开发者跟我们合作伙伴都会反馈给我们一个问题，很多公司做开源只是开放下载，并不会有人维护，也不会因为开源让整个项目越来越好，越来越完善，你们也是这样的吗？我想跟大家说的是，首先我们有三四年的积累，所以保证我们开源出去的一定是非常好用的，其次我们在这一年里我们吸引了很多的开发者，吸引很多国内跟国外的数据公司比较积极无私的开发者，来为PaddlePaddle做贡献，我们能保证我们这里的一切都是面向所有的开发者完全敞开的。还有一种声音在问我们说，那你们开放出来的东西既然内部也有版本，你们内部的肯定比我们好，你们内部版本跟外部版本有什么区别吗？这里我其实很想告诉大家，我们内部的版本跟外部版本是没有区别的，从某种角度上看，实际上我们外部开源跟（英文）GitHub上的Developer和Remaster这两个版本都要比内部版本还要新。这就是我们开源的诚意。未听清，1.23.00未听清，不确定1.23.05 我们在想（中文）未听清，1.24.30开源的时候我们为什么把这些东西开放出来呢，开放出来之后会得到什么，大家知道一个软件需要真正想要不断完善，就需要不断投入有更多创造力的人，有创造力的想法，有更多的行动力来去不断完善和壮大它，这时候如果单纯采用单纯那种闭源的方式或者在公司内部孵化的方式，难免会有一些新想法和一些比较好的idea发挥不出来，而开源是非常好的一种项目组织形式鼓励未听清，不确定1.25.04形式，它能最大化的利用所有贡献者他们的想法idea，他们的能力跟他们所有的诉求。这里是在讲说，我们现在PaddlePaddle在开源社区里面，我们的一个基本运作方式，一般是所有的issue，所有的问题，所有的想法都是开放的，每个人都可以有自己的想法，当你有一个想法之后，我们会建议他你要不要写一下你的描述，你的想法是什么样的，你想做件什么样的事情，然后你把这些东西列出之后，会多很多人帮助你来判断这个东西是不是有价值，帮助你判断这个东西实现起来是不是可行的，当这些东西一切可以了，大家都帮你完善了，把你所有东西想要说的东西都描述特别清楚之后，我们会进入到下一个环节就是分工。有两个会有两种情况，有一种情况就是说，大家都觉得你这个点子特别赞，但是最后目前失败了，因为我们现在应用资源做不到了，那没有办法，这（中文）…未听清，1.25.58但是这个资源issue未听清，1.26.01仍然在GitHub上面有保存的，将来如果我们资源条件允许的话，仍然可以打开再继续去完善它。如果大家都觉得这个点子很棒，而且设计非常合理，目前资源是可以的，我们可以继续把这个任务再拆解细分，然后我们GitHubProjects这样一个组织这样一个这样的分工，更多的人去加入进来，他们会认领自己擅长和自己喜欢的事情并且完善它。最后我们会互相（英文）未听清，1.26.31代码，然后达到一个非常完美的状态的时候，你写的所有东西都是不用担心它的合理性，因为整个开源社区有足够的（英文）未听清，1.26.41的同学帮助你校验，帮助你校对代码的合理性，你的文档的流畅性、准确性。未听清，1.24.30未听清，不确定1.25.04未听清，1.25.58未听清，1.26.01未听清，1.26.31未听清，1.26.41最后一切工作完成之后我们把所有代码开放，默认到我们PaddlePaddle的主站，开发开放出去并逐渐完善它的这个开发者代码。那么这里面想跟大家说的是，一个真正的开源社区它运作起来之后，它带动的创造力不只是一个人或者的，也不只是一群人的，它几乎能把所有的创造力都调动起来，并且借助当前所有的力量把它实现起来，这也是开源社区真正的意义。学习（英文）未听清，1.27.22的深度学习平台还有很多使用者跟应用者，这里有来自不同领域的人，他们有不同的专业背景，他们在自己的生活经历和工作经历中其实遇到各种各样的问题，这些人其实都有一颗改变世界的心，但是如果他们只用当前学到的垂直领域的知识，很难去做一些更有创造力的东西，当他们去通过PaddlePaddle很容易的了解深度学习之后，他们发现深度学习对他当前的领域和当前知识的结合是能产生出无限的创新，这个方案只是几个北京工业大学的学生他们找到一些PaddlePaddle的模型库，在里面发现有一个大数据xx未听清，1.28.10的集合可以帮他们做基本的检测工作，他们基于这些东西完成了一个农无农作物分捡机的想法CASE。未听清，1.27.22未听清，1.28.10（视频）刘勇峰：这个例子其实对于很多了解（英文）未听清，1.31.00智能机器人未听清，不确定1.31.00，了解AI的开发者来说相对来说不是那么难，很多人应该也见过类似的案例，但是我要说的是这些学生不只是做了一些案例的复现，也不只是把AI结合到了他们当前所学从事的工作中，他们还做了很多的创新，大家知道当我们要做一个AI应用的时候，我们要跑一个数字深度学习模型，训练一个很不错的学这个模型的时候，需要海量的数据，不但需要海量的数据，还需要把它标注好，标注好它的属性和标签，把这些标注完之后才能训练一个非常不错的模型，在以往经历中，我们训练一个比较大的（中文）未听清，1.31.40模型的时候，更关心的是计算资源够不够，跑的速度够不够快，准确率够不够不高，从来没有人关心过数据采集、数据标注这些其实对于传统行业是很重要的成本，而这些学生的创新我能看到不仅仅把AI结合进去，他们还在整个机械设计中，把照片的采集跟照片的标记，这两件事情同时做进去了，我们知道拍一张照片大家大概需要一分钟或者半分钟，我们要拍一个六七千张照片的数据大概需要几十天或者几个月拍完或者标注完，这些学生他们设计的从数据采集到数据标注，如果六千张到一万张照片，数据采集到数据标注大概只需要一个下午就可以搞定了，这个工作只需要一个人操作，不需要更多人参加，不需要花那么多钱，我觉得这是才是真正应该为他们去鼓掌的地方。未听清，1.31.00未听清，不确定1.31.00未听清，1.31.40除了我们的普通使用者，我们PaddlePaddle也有大量的贡献者，给我们贡献代码，大家可以在GitHub上看到，今年7月我们迎来了一个比较重量级的贡献者就是英特尔，英特尔在今年年初开源的（英文）MKL-DNN跟PaddlePaddle进行深入整合，并把他们所有整合的代码提交到PaddlePaddle上，目前所有代码正在（英文）未听清，1.33.14过程中，这里面是PaddlePaddle的工程师他们在做的一个（英文）未听清，1.33.22，里面去介绍了未来MKL-DNN、英特尔跟百度合作未来要做哪些事情，而这一切一切的东西都是开源的，对于我们下面的开发者和所有的AI的执行商和未听清，不确定，1.33.34供应商来说这些一切一切都是免费的，我们未来集成方在集成MKL-DNN后，未听清，不确定，1.33.37整个PaddlePaddle在英特尔的架构上的运营速度其实能涨一大截，对于很多例子比如说刚才的桃子分类和一些学习任务来说，未来在PaddlePaddle上跑这些任务，可能一个笔记本就可以了，不需要特别强大的资源。未听清，1.33.14未听清，1.33.22未听清，不确定，1.33.34未听清，不确定，1.33.37刚才讲到我们开放4个结构，除了开放深度学习模型以及开源之外，我们还开放了整个集群的计算架构，集群计算架构基于生产环境里面遇到各种各样的问题而产生的，首先我们一家互联网公司在做一个线上服务的时候，我们可能更多关注的是移动设备跟外部应用是不是能跑得非常快，是不是稳定性特别好，是不是性能特别好，但实际上在晚上，在访问低谷的时候，整个访问资源利用量是非常低的，如果按这种情况来说，我们其实有一半资源没有办法利用起来的，同样在深度学习领域也是一样的，有很多的我们在做很多AI应用的时候，白天也是给用户做预测，但是到晚上这些预测服务器的资源都是闲置的。所以围绕着这些我们做了一系列优化，首先我们去定义了所有的服务应该是通用的，而所有的服务应该是可以混合在一起，把资源利用到最高的一个思路，然后我们优化的点不只是优化某一个环节，也不是优化（英文）WebServer，也不是优化数据库，也不是优化深度学习，我们是优化整体，能让整体的资源利用量达到最大化，这是我们现在正在做的集群的（英文）未听清，不确定1.35.28的一个初衷。未听清，不确定1.35.28借助刚才整体的思路，我们还承接了深度学习技术及应用国家工程实验室整体的部署工作，国家工程实验室是紧密结合现在所有硬件的优化跟所有的服务的启用未听清，不确定，1.35.56，针对不同的数字深度学习的硬件是保持开放态度的，我们鼓励更多厂商贡献更多的优质的硬件，来给我们深度学习实验室，给国家工程实验室提供硬件支持，这样我们在研究深度学习的同时，也能在硬件（中文）未听清，1.36.14上能给国家、给整个AI做更大的贡献，同样百度云上面可以部署我们之前做的所有的优化跟所有的代码。未听清，不确定，1.35.56未听清，1.36.14除了开放我们的计算资源和计算框架之外，我们还开放了大规模的数据，大规模的数据有我们自己的，也有合作伙伴的，大家可以想象一下，百度已经是一个将近二十岁的公司，我们在历史上积累的数据是超多超多的，我们在中文领域具备的优势是任何一家公司都无法超越超过的，接下来我们陆续会把这样的优势在互联网里的积累，对中文的积累会逐步开放给全社会，让大家很方便能把中文相关的应用，中观文相关的AI应用运用到极致。最后我们还会开放大规模规模型库，当我们有了很多数据的时候，当我们有了一些想法的时候，我们想做一个应用，我们发现问题是很难训练出一个在用户角度看上去还是不错的东西，我们会开放一些技术基础的数据，会保障AI开发者在最初产品的AI（中文）未听清，1.37.36启动阶段，可以借助我们的数据，借助我们的模型库，去训练出一个相对还不错的公司，还可以用的模型，完成它的冷启动未听清，不确定，1.37.44。当一家创作公司有一个不错的想法可以通过我们开放的数据及我们的大规模模型，去训练出一个好的模型（中文）未听清，1.37.53，他们就可以面向为用户进行PAAS服务了，这个过程中他可以不断收集到属于自己场景里更优秀的数据，不断去迭代来完成他自己的模型，让自己AI的技术越来越好。这就是我今天带给大家关于PaddlePaddle开源的一切，感谢大家倾听。未听清，1.37.36未听清，不确定，1.37.44未听清，1.37.53主持人：非常感谢您带来的精彩的演讲。好，刚刚我们看到这个（中文）未听清，1.38.22之后呢，我相信在场的