ABC基础技术与开放论坛-part7

莫涵宇魅族手机大数据总监主持人：谢谢，非常感谢您的详细演讲，随着深度学习技术被引入语音识别领域，语音识别技术翻开了新的篇章，百度的语音识别技术在业界也处于绝对领先的地位，百度深度语音识别入选MIT2016十大突破技术，语音识别系统可以将人们从传统的利用触摸屏输入汉字发出指令当中解放出来，实现智能语音自由操控，接下来就让我们响起热烈的掌声，有请百度语言技术部架构师李先刚，为我们介绍百度语音识别技术的最新进展，掌声有请。李先刚：谢谢主持人，谢谢大家，非常高兴今天有这个机会来与大家分享百度语音识别技术这些年的发展。在百度有非常多语音输入的场景，比如有百度输入手机百度，百度输入法、百度地图，百度度秘，还有小度机器人，这样一些产品场景线，这些产品场景线我们看到，比如在手机百度里面，越来越多人会倾向于通过语音输入来实现他去寻求它对（英文）答案的获取过程，我们发现在随着语音识别技术越来越完善或者性能的提升，人们会更加运用自然的方式和机器交互。在这些语音产品过后，其实是对我们语音技术的人来说，就在不停推进它技术性能的提升，我们知道当我们提升好了这些语音识别的技术性能过后，可以看到对用户体验带来的改变，百度是中国互联网公司当中最早对语音识别进行布局的公司，我们在2012年的时候已经有比较好的团队，在业内率先实现了基于Deeplearning（英文）Deeplearning技术语音识别的上线实现，可以看到在2012年的时候，五年前那个时候大家都不知道Deeplearning（英文）Deeplearning是什么东西的时候，我们已经开始做研究了，而且经过这些年的发展，2017年我们的性能在不断提升，百度是一个追求技术卓越的公司，我们也在不断的累积数据过程中，DeeplearningDeeplearning技术具体来说对于语音识别，最重要的一个模块其实就是深学模型，百度深学模型可以说是是一个非常深的deeplearning的（英文）网络，如同刚才主持人所介绍的那样，在MITIMT2016年十大技术突破（英文）里面，在国内唯一入选的技术就是百度的语音识别其技术，就是当时的深度语音技术DeepSpeech（英文）2.0，这其中重点的算法细节应用了非常深的细化神经网络，有CTC声学建模的技术，有了这样好的模型之后，我们在很多语音识别应用现场当中，得到了一些语音技术的应用，这里给大家简单分享一下，现在进场近场语音识别的现状。在近场进场的环境当中就是距离小于一米的情况下，在相对安静的环境当中，我们的识别至准准确率能达到97%，任何情况下，大家会说语音识别达到97%，这是相对不是很严谨的说法，我们需要一个条件，作为一个…………在距离小于1米的时候，其实客观说相当于我刚才所提到的，很多手机的应用的场景。具体来说，如果达到97%，我们做过很多评测，我们发现这样的一个语音能力其实是能够比人类的识别能力可比拟的，而且我们还在很多上面做了一些优化，包括中英文混合的场景，你不用说担心说你的中英文场景很奇怪，我们对中英文特殊用户的需求做了很多很多的努力，包括耳语的输入，比如在开会的时候可以小声说话，也能够识别的很准，同样包括国际化，还有方言，还有儿童音，还有会议实时记录，还有长语音场景，我们都在不停追求技术的迭代。在这技术基础上，我给大家举两个，我们除了UC（英文）产品之外的应用，第一个是百度呼叫中心的语音识别，在百度内部有很多我们有很多呼叫中心的业务，对我们来说，在一个产品当中，我们需要去识别的语音会比手机端语音更加复杂，在这样语音场景当中可以看到用户的说话习惯，比如说一个freestyle，或者更加随意一些，为了提高我们波动期的语音识别，我们面临了新的问题，比如说这个场景当中没有那样大量的语音数据，通过自己百度内部的语音技术和努力内部，在波动期语音识别当中准确能达到92%，在关键词达到93%，在这样的场景当中可以看到对于很多基于儿童音基于儿童音语言或者语音分析任务上面能达到非常强的可用。，另外一个就是长语音的场景。其实每次看到后面这个同学唱歌的演示确实是非常震撼的，大家不要认为这是一个演示，随时拿出手机百度或者百度输入法都可以尝试一下。除了近场的语音识别这样的场景之外，我们还面临着很多新的场景和新的挑战。比较重要的一个场景就是车载和远场的场景，在AI技术的场景下时代，我们发现智能硬件是非常重要的话题，AI对于广大的应用者或者技术从业者来说，一方面是说加速提升效率，另外一方面能够产生一些交互更加自然的新行业，车载语音识别和远场语音识别是非常重要的场景。我们为了做好车载和远场语音识别需要从很多硬件上做很多工作，下面在讲相关技术拆解之前，先给大家看一段演示视频。这个视频里面我其实给大家演示是百度百科风阵列识别远场识别的效果，百度在远场识别方面方面不断追求技术的迭代，我们我们会追求最复杂的场景和识别，比如说10米，或者更远的场景，或者说将来还有噪声场景。为了做了远场的识别，远场识别和手机端或者核心识别有一个非常不一样就是在于它的硬件，硬件方面同志通常会用到麦克风阵列，在相关的算法方面我们会发现有几个很重要的技术点，第一个麦克风阵列的波束形成，第二个是语音增强，第三个回声消除，最后一一个是声源定位，其中两个点可以给大家重点讲一下就是回声消除，就是在一个相对远的地方和声源针对在麦克风说话地方回声是不一样的，另外一个麦克风阵列波束形成，运用了麦克风和阵列的关系，来加强信号源的强度，有了这些之后，像百度语音前端识别大概流程是这样的，第一个是AEC模块，起到的效果就是能去掉设备自身的声音，第二个WPE是去混响的模板模块，会在单通道层面去掉远场带的混响，Beamforming是波束形成，最后是一些语音增强的算法。百度在开放平台上面，包括自己内部的努力，我们准备好了这样的针对不同已经的远场识别的模块，最基本的模块就是基于单通道的远场识别，你可以认为就像一只耳朵一样，只是相对情况稍微差一些，但是并不是说它不能做，我们也准备了这样一个的识别引擎，还有均匀线阵识别引擎，它对于正前方180度能够很好的识别，对后方没办法进行识别，还有均匀环阵比如4麦克孩子或者7麦克、8麦克这样的识别引擎，这些识别引擎我们都在百度开放平台上面开放了一些相应的识别模型。模块这里给大家解释一下我们怎么样从近场到远场的场景切换，可以看到近场语音跟远场语音其实有很大的差别，去年都是一些近场，，我们要做远场是重要的模块，有两种方案，第一种方案把远场语音转换成为近场语音，拿给识别引擎去识别，第二种方案直接训练一个远场的模型，但训练远场模型的时候，大家都知道基于的Deeplearning（英文）Deeplearning的模型模块，建模方法，它有一个非常明显的特点，对自己见过的数据是能够很好的引流的，但是这里存在一个问题就是我们历史上积累的数据都是近场的数据，但目前为只我们只有很少的远场数据，所以为了解决这个问题，采用了数据增强的方案，这里一个例子通过近场语音，通过经过采集房间的相应，把模拟的数据把近场语音转换成远场语音，得到模拟的数据，根据模拟数据来确定我们的模型。，给大家听一下近场语音。Deeplearning这是近场的语音，大家听一下模拟远场的语音，可以看到里面增加了很多远场的混响，或者你可以认为这个语音一下远了很多，对比一下真实的近场语音，其实这两个语音它在很多方面是非常相似的。另外一个数据增强，谈到了很多远场的问题，我们还有一个刚才说到车载的场景，车载场景和远场场景有很多相似的地方，但是它也有不同的地方，比如说车载的东西，它的距离不像手机那么近，但是不是像远场那么远，通常情况下是一米或者两米的样子，面临更大的问题是车载噪声，我们采用同样的逻辑和数据处理方式来解决这个问题，就是我们会通过近场的数据，安静的数据去模拟场上很多，在车载环境下面相似的数据，作为我们的训练数据，训练我们的模型，麻烦导播播一下近场中的语音，播一下最后模拟出来的车载语音。可以看到一下子通过这样的数据处理，感觉声音就跟在车里面录出来的效果很像，通过这样的方案我们训练自己的车载模型、远场模型，最终我们采用基本的训练方案，如这里所描述的一样，会在近场经过海量数据模型基础上面，做远场的模型和车载模型的调优，包括通过产生的模拟的那些训练的数据，通过一些数据，最终得到远场还有车载的模型。刚才讲了很多百度语音在远场和车载方面的进展，我们其实百度语音一直以一个非常开放的心态和广大开发者来进行接触的，百度语音的开放平台已经维持了有三四年，三四年的积累当中我们积累了大约25万的注册开发者，每天会有大约20亿次的调用总次数，在这几年积累当中也有很多的合作厂商，包括联想、特斯拉，包括携程等等等等，非常欢迎各位厂家和百度语音进行合作和沟通，我的分享就到这里，谢谢大家。主持人：谢谢您精彩的分享，百度云安全体系是如何构建，基于云环境的web为纵深，保护企业核心不被黑网络攻击，保障企业核心业务，业务数据不被黑厂窃取，接下来有请百度语言技术部安全事业部资深安全工程师架构师马哲超，为我们详细介绍一下。马哲超：大家下午好，非常高兴今天跟大家做一个安全方面的交流，正如刚才主持人所说的，安全是我们百度云和云上用户非常关心的话题，就在不久之前近期美国一个非常大的信用公司有一点几亿的信用用户信用数据被泄露了，这个公司目前面临高达几百亿美元的集体诉讼，所以我们面临这样一个非常恶劣的网络安全环境，百度云上面的客户我们是怎样保证保护他的安全的，今天希望在这边跟大家做一个交流。我们先来看一下我们云上面攻击的态势，首先我总结了四点，首先是攻击的门槛比较低，其实这点需要和我们下面列出来这一点的联合起来看，因为我们的百度云是一个相对来讲比较开放的环境，用户在云上面创建了非常多的丰富的各种各样的应用，也使用了很多的技术，包括各种开源的系统和组件，那么这些应用和组件其实它的安全性是参差不齐的，这给攻击者留下了非常多攻击的入口，包括目前一些攻击的手段也在进行自动化，这给攻击者攻击门槛降低了很多，所以说这个攻击门槛是比较低的。第三点在云上攻击呈现一种规模化的态势，但凡有个新的攻击漏洞出来比如说像上一周出现了（英文）新的漏洞，就可以看到，一旦攻击被自动化以后，就可以看到攻击者利用自动化的攻击工具进行大规模、批量的攻击。第四点攻击者在攻击成功以后，在系统中留下的或者建立的特权，驻留或潜伏的时间比较长。我们看传统的安全怎么做防护或者面临的一些问题，传统安全防护通常是基于一个边界的，区分内外网甚至说办公网、生产网或者有些企业当中还会建立（英文）区，但是在我们云上这种是非常模糊的，传统安全更多是硬件盒子的产品形态来表现出来的，在云上用户想要产生一个安全防御产品的时候，我们很难去买一个盒子塞到网络里边。第三个传统的安全防御侧重基础的系统和网络的攻击，就是三层、四层的网络攻击对于在云上表现非常丰富的web应用这类的安全防护会做的比较少，它的防御手段也相对来说会单一一些，很多传统安全防御产品做的非常专业，需要很专业的安全人员去使用维护和更新这类设备，那么这个对于我们云上用户来讲是门槛非常高的，一旦不是很好的去使用和维护这些设备的时候，采购的设备就会被闲置，所以安全防护效果也会大打折扣。这张照片是在2005年大会上一个厂商进行的砸安全设备硬件盒子的活动，这个活动也是来表达说是对于传统安全防御手段的一个颠覆，同样在2005年（英文）发布了一套新的自适应的安全防御体系，从防御、检测、响应、预测四个方面建立这样一套自适应的防御体系，我们百度云的web纵深防御体系也是在这个理论指导下进行建设的，在防御方面我们有一个系统的加固，包括对恶意事件的拦截，在检测上面我们有智能的威胁感知，在响应层面我们的安全工程师、安全专家在不断的关注安全的动态，去更新和迭代升级我们的安全策略。同样基于安全威胁情报以及对于安全威胁的分析这样一个预测和预警，又重新的反馈到了我们的安全防御和检测上面，从而形成了这样一个闭环的体系。安全防御没有银弹，什么是银弹，在欧洲中世纪的一个传说当中有一个叫人狼的怪兽，使用普通的子弹去打它是杀不死它的，需要一种特制的银制的子弹才能够把它杀死，这句话出现在人月神话这本书当中，这本书原来讲述软件工程理论，这句话其实表达说是我们的软件规模和系统规模在不断扩大。面临的问题也会越来越复杂，是不能够依靠一个单一的手段去解决我们越来越复杂的软件工程问题的。这句话同样适合于安全领域的，因为我们现在面临了一个变数越来越多，攻击规模越来越庞大和复杂的这样一个网络安全威胁的近况当中，也没有一个单一的安全防护手段说是可以去解决所有的安全问题。我认为这句话也是我们百度云纵深防御体系的一个核心的思想，这句话写在我的工位上，我每天看着这个话对系统进行研发。我们百度纵深防御系统会突破我前面所说的网络的边界上，着眼于用户的资产，以用户资产为核心，在三个层次上面对我所说的这套自适应的安全防御体系去进行实践，三个层次就是网络、主机和应用层次，下面我会分别展开来讲我们在这三个层次上面所做的安全技术和产品。首先是我们的web资产威胁情报系统，这套系统它可以给用户自主的去学习和识别，用户在云上面的资产，包括了运营、web服务器以及使用web使用，以及版本号，让我们的语音用户去能够很直观很清晰的了解到你现在的资产状况，结合百度每天大量接受的情报以及建立的情报，对用户在云上的资产做一个安全的威胁的识别，当用户的资产如果处于一个风险状态下面的时候，我们会对云上的用户进行一个安全的预警，在真正的威胁和攻击到来之前，就提醒你要做一些加固和防御。面临着正在发生的一些安全攻击和威胁，我们会有云（英文）解决这个问题，云（英文）不同于我们传统的盒子的接入方式，它是采用的基于解析导流的方式，先把用户的流量导流到云防护层上去，剩下再回应到真正web服务器上面去，有可能了解安全领域的人会说，我可能听到一些新闻或者技术论坛上报某某国家的（英文）又被绕过了，是不是这个防卫手段是无效的，这要回到我上面讲到的观点，没有单一的手段可以去解决所有的安全问题，反过来来理解这句话，是不是在一些情况下会使用，我们就不适用或者否定这种安全手段和技术呢，并不是这样的。这仍然是整套系统里面非常有效和安全的防御手段，如果没有这个防火墙的阻拦，web应用妄图暴露在公网上面，非常容易受到攻击。在网络存储上面两个提到的防御产品以外，还有web高级威胁感知，这套系统是基于全流量还原深度包检测技术的产品，它对网络中隐藏的攻击性进行发现，不同于传统的NIDS模式攻击引擎，我们采用了多引擎攻击检测方式，其中也包括了百度自身技术积累非常深厚的人工智能引擎，我们会把这个解析的技术运用到对攻击载荷的云上面去，从而理解攻击者的攻击意图。这个是我们这套系统检测引擎的架构图，我们重点看中间安全检测，第一个框是模式匹配引擎，是比较一个传统的攻击检测方式，第二个深度沙盒检测引擎，就是结合攻击引擎分析的引擎，并且通过之的技术识别攻击者真正的攻击意图，对于一个攻击来讲，往往不是一个单一的一次请求，或者单一的发一个攻击包，往往是一连串的攻击行为，所以有一个攻击的场景和上下文，针对这样的攻击我们会有上下文检测的引擎。说完了网络层的，这边是一个主机层的web云主机防御系统，在主机层我们面临非常大的危险是webshell，攻击者通过漏洞在主机上植入延长我攻击权限的软件，到目前为止大部分产品还是基于静态的特征去分析文件，我们知道对于静态特征检测技术来讲，无论是流量的特征还是源码的特征都有一些局限性，比如当源码进行变形的时候，这种检测手法就已经失效了。我们是做了一个自研的基于动态行为的webshell检测系统，我们把这个可疑的文件扔到我们的沙箱里面去观察值和关注敏感的基因的关系，不管怎样变形，只要扔到这个沙箱里面去是能够执行的，我能够判断出你的输入和敏感操作之间的关系，就可以来检测出，并不受到你变形的干扰。这一套系统还会提供其他的防御暴解等一些其他的，这是运用的安全防护，这是比较新的技术防御，叫做RASP，这套安全检测技术是嵌入到应用当中，在应用当中去挂点，无论是用户的行为还是对文件系统操作，或者是对于数据库的操作，对于网络促的操作，我们都将在内存的层面能够看到，外界的输入在运行时是怎样流经整个，有没有一些危险的操作，在这些层面我们都能看到，这套系统我们刚刚在上个月把它开源出去，叫做webrasp。最后介绍百度云的安全产品，实际上有非常多的一系列的安全产品来给我们提供服务，包括了DDOS的防护护卫，包括上面提到的资产感知和危险情报形成，包括以及云主机安全防护，未来会加入更多RASP自适应应用防护，到整个产品系列当中去，欢迎大家能够去使用安全产品，我们一直为百度云和云上的用户有一个更安全的环境在不断的努力工作，谢谢大家。主持人：谢谢，感谢您的精彩分享。为了激发年轻人对于AI的热情和创造力，推动AI开发从科研走向民生，从尖端走向普及，在今年的7月5号，百度AI开发者大会智能云计算百度副总裁隐世民全面介绍了百度云AI开发者的计划，并宣布由百度云和魅族科技联合主办的首届百度云魅族深度学习应用大赛正式启动，经过了两个多月的激烈角逐，本次大赛顺利落下帷幕，我们也有幸从中发掘了无数优秀的开发者和他们的作品，接下来就让我们响起热烈的掌声，有请百度云副总经理谢广军，魅族科技有限公司平台研发部总经理李柯辰两位领导走上舞台，为我们获奖的选手来颁发奖品，有请。今天经过了上午的主会场以及下午分论坛，两位领导有没有什么想和各位来宾分享的