2024认知人工智能

认知人工智能目录TOC\o"1-2"\h\z\u企人智从术略行落论坛 3、从感智能到认知能的挑战 4、人工能研究领域需要哪些突？ 7、人工能在场景应中的突出表和挑战 8四、于阿里究院 10基超规预练型小本零本习 12一、人智能进入三同时驱动的代 12二M6：中文模态预训练型 15三M6超大规预训练模型应用场景 15四、超规模中文预练语言模型PLUG 16五、大模预训练模型Aiceid在VQA任务上突破 17六、从人工智能NarwA到通用工智能(Aifcileeralellece) 19面知的解认推理 20一CplexQAadxpliaeCiiveReaig 20二wledeOreedrraigauae() 28三QAr:AaatfrCplexQAwihReigrras 35四Ccluis 42PAGE3>企业人工智能从技术战略到行业落地论坛PAGE3>企业人工智能从技术战略到行业落地论坛企人企人智从术略行落论坛 <PAGE4企业人工智能从技术战略到行业落地论坛CCFC³CCFCTOCubCTO2021924CCFC³第十期“认知智能”分享会在北京阿里研究院举行，来自各行业的企业CTO、高级技术人才和资深学者，共同探讨企业人工智能从感知智能向认知智能阶段发展的意CCFCEOCCFCCFC³活动承办单位感谢牌。分享会上，阿里研究院副院长安筱鹏代表承办方致辞，清华大学长聘教授、清华大学人工智能CCF活动最后，由苏中主持了名为《企业人工智能，从技术战略到行业落地》的高峰论坛，CCF副理事长周明、阿里巴巴集团公共事务副总裁程璟、清华大学李涓子教授参加了本次论坛。以下为本次论坛的内容干货整理，以飨读者。一、从感知智能到认知智能的挑战相比以前的小数据智能，现在的人工智能是一个大数据的智能，因此数据、算法和算力相关作用，形成三轮迭代的过程。但这其中还是需要将知识融合进去，这也是目前对人工智能的挑战。人工智能进入三轮同时驱动的时代图片引自主持人苏中《基于超大规模预训练模型的小样本和零样本学习》人的智能是可以交互的，可以把简单的问题换一个角度重新阐述，但在大数据海量运算中是无法实现的。所以人工智能的发展方向是将知识系统代入三轮中以便更好的推理和训练模型。那么从感知智能到认知智能面临哪些挑战呢？CCF副理事长周明介绍，现阶段我国人工智能的发展水平与美国基本是并驾齐驱的。在感知智能领域，从研究到实践已经做到了世界领先水平，超过了美国。在认知智能方面，由于本身的复杂性，在全世界的发展都还处于摸索阶段。所谓感知智能就像我们看到东西，听到东西，这是第一步，而认知智能就是相当于我们接受到了感知信号之后，用大脑思考、回答问题、做决策的一个过程。我们希望电脑也能学习这个过程。从感知智能跟认知智能在实现机理上的区别来看，感知智能可以理解为一个single-turn（单轮交互），一个输入和一个输出，基本不涉及知识图谱和常识，不需要推理步骤；相对应的认知智能就是multi-turn（多轮交互），包含复杂的内容和推理步骤，可能不单是算法、算力和数据能够解决的。现阶段人工智能还只是刚刚起步，我们需要建立知识库，实现推理过程。达到这一目有不同的途径，可以从符号、知识图谱、常识来出发；也可以从数据出发，这两个加起来，就好像人脑的两个思维过程，有人用system1&system2来表示，system1（直觉系统）是用大数据完成输入end-to-endystem2（）就是一步一步推理最后给出答案。未来这两种模式能否交汇？虽然方向还不明确，但无论往哪儿走，无非是从知识出发，要么从数据出发，要么融合来解决问题，这是一个重要的课题和挑战。周明副理事长举了个例子：我们想象一下如果一个人要解释一件事他可能会举例说明，但不会end-to-endend-to-endfoundatonkllend-to-end（ew-hotfondatonkilfondatonmode（il技能适用于任何modefondatonmodelmodefondatonis首先，人作为一个人智能体有一些foundationskills，比如语文数学英语，生活常识，等等这些不分领域的技能是最底层，这就像现在预训练模型，无论你干什么具体任务，都是可以通用的。foundatonkilSaaSwki二、人工智能研究领域最需要哪些突破？目前人工智能大模型已经非常强大，参数和参数之间的关系、多模态间的关系已经建模的非常好。但李涓子教授认为，这些还只是参数，并没有上升到知识或者认知的层面。因此如果说要攻克或突破的方向，李涓子教授认为有两个思路。一种思路就是在训练大模型的时候把认知的东西交给它，但这种方式很难实现；另一种思路是把知识库放上面，底下是大模型或多模态，上层的知识从大模型中蒸馏出来，用这样一个知识结构结合底下的大模型来进行复杂问题的推理。这也是李涓子教授目前在研究的课题。这两种思路都是希望大模型能够在两种知识架构下发挥最大的效应。现在我们国家也在进行知识图谱的技术架构，按照知识的生命周期分阶段建立。这个整个技术架构下面，它还分了领域。比如电力领域、金融领域、文献领域，在不同领域中建立跟领域相关的知识体系，知识获取和应用的技能，形成领域的基础设施。三、人工智能在场景应用中的突出表现和挑战结合之前在工业实践方面的经历，程璟认为人工智能在提升效率和风控两个方面的推动作用尤为突出。以双十一活动为例，在双十一期间阿里平台网站每秒钟会有上千万的访问量，这时必须使用人工智能来解决问题，“客服”就是一个典型的人工智能应用案例，它向我们展示了在高并发场景中如何把大量的简单重复的问题用机器来解决，这大大提升了效率。而在风控领域，比如假冒伪劣商品的筛选，对于有十亿种商品的阿里平台来说，这个工作单凭人工是无法完成的，所以也需要引入人工智能来解决。2018再比如庭审的场景，是感知智能的典型应用，法庭记录的时候，这不光是一个语音识别的问题，还包括对法庭上不同角色人物的识别和判断。不同的场景会对人工智能提出不同层次的应用需求，这些需求推动人工智能技术的发展和迭代。程璟认为现阶段人工智能实践中的挑战主要体现在三个方面：1反之对于网店客服的场景，在人工客服应接不暇的时候使用智能客服，可以极大的缓解客户打客服电话打不进的问题，这时对回答问题的准确性就不做过高的要求了。同理在现阶段疫情流调的场景下，先通过人工智能进行第一轮的筛选，就会很大程度节约人力成本。2企人智从术略行落论坛 < 103反之对于一些政企场景，由于数据量少而复杂，对人工智能应用的挑战就会更大。程璟认为，如果把云计算比作“电”，人工智能就是“灯泡”。在未来，云计算还是会作为数字时代的基础设施，为越来越多的创业者所用。现在无论是感知智能还是认知智能，都是以人为第一视角看问题，从视觉、听觉、感觉到推理的过程都是以人为本的。在未来是否会有主体的转化，比如从城市的角度去思考，这就超出了人的认知边界，但机器是可以达到的，这可能是未来在工程实践中可以去探索的一个领域。另外，在科学发现领域，人工智能的运用也将会发挥重要作用。四、关于阿里研究院 PAGE PAGE11 >企业人工智能从技术战略到行业落地论坛基超基超规预练型小本零本习 <PAGE1220072012基于超大规模预训练模型的小样本和零样本学习演讲嘉宾：苏中一、人工智能进入三轮同时驱动的时代二、M6：中文多模态预训练模型三、M6超大规模预训练模型的应用场景四、超大规模中文预训练语言模型PLUGceMnd在VANaowItfiialGenealInteene)人工智能学习里有一个很大的难点，如果我们希望让计算机认识苹果，可能要给它1万张甚至10TaTaTa零样本学习也是人特有的一项能力，我们可以将自己在某个领域里面的经验运用到另外一个领域，比如我原来是在企业的研究院做技术，现在在产业的研究院工作，做的工作跟以前不一样，很多东西就是零样本学习，这项能力是人特有的。一、人工智能进入三轮同时驱动的时代有时候人工智能并没有那么智能，我们会说它是人工痴呆，但只要我们能从过去的海量数据里面总结出经验就好。 PAGE PAGE13 >基于超大规模预训练模型的小样本和零样本学习基超基超规预练型小本零本习 <PAGE14人工智能有三个轮子，分别是数据、算力和算法。这些年在自然语言领域里预训练的技术，给我们提供了一个特别好的场景，就是可以给机器无穷无尽的数据，不用做标注。比如，我们可以把全世界历史上所有的诗词歌赋全部交给计算机去读。我们还发明了一些很好的技术，比如基于注意力模式有很多方式可以从语言的内容里找到关联，把人类所有的知识融在深度学习模型里，构建出一个非常庞大的语言模型。2019102019GT-210在万亿的模型里面，机器好像开始融会贯通学到了一些东西。把这些内容放进去以后，尤其是GPT-2那些看起来非常炫酷的Demo，我们就可以跟它做自由交流了。它可能会通过图灵测试，让我们甚至不知道自己是在跟一个机器交流。在这个场景下，我们发现通过算力、海量的数据能解决小数据或零样本学习的问题，取得了一定的突破。二、M6：中文多模态预训练模型Mlt-Modatytout-Modatyuttakega-tanfome)阿里在这方面做了一些工作，比如M6。M6202020215有了这样的万亿模型，我们能干什么？三、M6超大规模预训练模型的应用场景和GooleM6宝网站上，可以看到任何产品都会有照片，照片旁边会有一段说明。我们可以把信息放到模型里，机器从当中去抽取一些规律，得到的结果令人惊诧。上图是模型里的一个真实演示。我们每次都可以得到不同的答案，比如我们输入“男女外套保暖棉袄连帽轻棉衣”，也可以输入任何稀奇古怪的内容，比如乞丐服等等，模型都会生成一个衣服的款式，因为它能在所有的图片里找到与我们输入的文字信息和图片内容之间的关联。我们输入了棉衣，机器并不理解什么叫棉衣，但它可以从海量的数据里找到棉衣应该具备哪些特征，然后用这种方式来生成一个高清晰度的图，这样的技术未来或许也可以用来做时装设计。在电商领域还遇到一个挑战，比如有一个新的产品，我们应该用什么样的广告词比较合适呢？我们可以输入产品的一个图，机器会输出许多文案，你可以从中挑选，甚至跟机器做交互反馈。它相当于把多种模型的能力构建在一起，有些能力可能已经超过普通人，这就是多模态大模型可能带来的一些非凡能力。四、超大规模中文预训练语言模型PLUG预训练语言模型PLUG是百亿的参数，可能是中文领域里最大的模型。预训练语言模型PLUG把这些可以拿到的所有数据，比如把菜谱放进去让机器去学习，学完了以后机器就掌握了一些规律，输入西红柿炒胡萝卜，它就给我们一个菜谱，再点击一下还可以得到其他西红柿炒胡萝卜的菜谱。预训练语言模型还有一个比较有意思的能力是小说续写，比如我们给它一段红楼梦，它可以往后续写。该模型不光是把语言本身的规律找到了，甚至找到了语言之间的关联，将故事串起来，类似于一个小朋友学会了讲故事，这一点是大模型计算机比普通人强的地方。如果我们把海量的数据给到模型，它从中找到规律，通过这个规律去扩展，这上面就可以延伸出很多应用。比如让人头疼的各种报告汇报的撰写，在未来也许我们只需要给几个关键词，机器就可以帮我们写得很好。五、大规模预训练模型Alcnd在VA任务上的突破ceind在VA基基超规预练型小本零本习 < PAGE18 PAGE PAGE19 >基于超大规模预训练模型的小样本和零样本学习上图是AI在“读图会意”的场景。给计算机一个图，问它一个问题，然后它给一个答案，这就是VQA80.83%，lceMind团队的最新结果是8126我们知道，一直以来深度学习在感知的某些方面早已超过了人类，比如在视觉、语音识别等方面，当然它还是跟数据集相关。但人类有些能力仍然特别，比如我从来没听过广东话，但当我到广东的时候还是能听懂一些，而机器如果完全没有听过广东话，那么它得到的结果可能完全不同。但是在非常复杂的数据集上，机器已经可以做到跟人一样，甚至更好。我们可以设想一个场景，如果有海量的数据，海量多模态之间的关联，用大模型的技术有可能解决认知智能里小样本或无样本学习的场景。六、从弱人工智能（NrowA)到通用人工智能Atfcalnrlntllgnc)以前我在研究机构树立的目标是要做通用的人工智能，就是让机器可以像人一样学习思考，解决一些复杂问题，不局限于像电子拍摄违章等场景，而是能帮人做决策，可以像人一样主动发现问题，找到问题，甚至定义问题，最终目标是从感知到认知，真正实现从弱人工智能到通用人工智能。面面知的解认推理 < PAGE20 PAGE PAGE21 >面向知识的可解释认知推理面向知识的可解释认知推理演讲嘉宾：李涓子内容概要：一、CompexAandEpanaleContveReaonng二、nowedeientedogammnganuaeoP)三、Ao:AataetforCompexBAwthReaonngorams四、Consons一、CoplxAndExplnbleCognteasonng（一）wleeRrettnadRig先介绍一下复杂问答，即QA和可解释认知推理。人工智能就是通过研究和设计，使得计算机可以像人一样感知、思考、推理，并进行规划和决策的一个系统。通过图灵测试，可以从以下几方面来研究人工智能，分知识表示、推理机器学习、计算机视觉自然语言处理和机器人。我们这里主要介绍的就是知识表示和推理。为什么知识是和认知非常相关的？实际上它就是认知的一个定义，是人怎么去获得知识和应用知识的过程，我们把它称为认知。我们主要介绍的就是用认知来做推理，用知识去做推理——knowledgeorientedandreason。（二）TeTirdeeainfI现阶段，我们已经从感知的智能到了认知的智能，这也是达成的共识。比如第三代的人工智能是可解释的，是安全可信的，它也提出了知识+数据+算法算力这样一个框架。如上图，图灵奖获得者做深度学习，也是要把推理和表示学习进行结合的，也就是把符号表示和推理，和深度学习来进行结合。（三）Clxuetnwer什么是问答？问答就是图灵测试最典型的一个方面。由人去问问题，计算机来自动回答这些问题。我们可以问图片，可以问文本里面隐含的知识，也可以问知识图谱里面隐含的知识，最终得到从qeton到anwer现在很多的推理，很多的问答系统和相关的数据集都有关于简单问答的测试。比如上图squad2.0umanpefomancempleanwerandqeton再看这个斯坦福复杂问答数据集，是在vqa上用图片去做复杂问题提问。它需要一些推理过程的时候，在数据上就远远达不到人的水平，所以复杂问答是比简单问答更难的。（四）ClxAadExlibleRaig什么是复杂问答呢？首先，答案不能是从文本里面或者图片里面直接获得的知识，是要用retrieve方法得到的。如enode到一个图片里面，直接可以eteve复杂问答需要有推理的能力，而这个推理的能力体现在多跳推理、技术比较，还有一些交并补的逻辑操作。,是需要一定的推.nmesountount是不是一样。它的答案是不在这两个自然段里面的，必须通过一定的推理，得到他们是有相同的人数这个答案。中间的推理步骤，我们称之为复杂问答。（五）Rltdrks复杂问答可以分成这三类，一类是semanticparsing，就是对问题进行理解，然后把它表示成一种逻辑表达，而这种逻辑表达可以是SPARQL，也可以是拉姆的演算，可以是中间的任何一个逻辑结构。raphneualnetwormutitepqey。这两个都是深度学习的方法，但这些方法存在的问题是什么？第一个问题，是缺乏可解释性。另外，在深度神经网络上做推理，它对知识类型的处理非常有针对这个问题，我们做了一些研究。随着研究的进展，逐渐明确了这个框架，并把它称为面向知识的可解释推理。因为知识就是认知的结果，所以后面就把认知去掉了，我们的framework（框架）是什么？其实就是图逻辑表达和推理。（六）uranIa那么为什么用图？图是一种显示的表示，和人的认知是比较match的。看语义网络，就是matnetwo不管是知识图谱，还是内置的场景图，还是文本里面实体之间的关系，都可以用graph表示。它可以针对不同的形式表示，也可以用深度学习的方法来进行表征，就是用图来表征。（七）ExlaabeCgiieRaigFrewrk可以把面向复杂问答的对象表成图，这个叫目标的结构化。我们可以把复杂问答看成一个qetonpoam,而这个poam像上图这个问题，有多少物体是在这块棕色金属右边且在红色方块左边的？它根据推理步骤就cbe是红色的，它的eft是谁？相当于把这个question前面的poam上面pogram一个ubeubeeftrown上述两个program的交集，其实不止一个。但过程最后得到的就只有一个结果。而每一个taetmode那要怎么去实现这个框架，也就是上面的每一个透明的显示的过程？整个计算虽然是在深度学习框架下做的，但它的每一个步骤都是可解释的。我们用modularneralnetwok二、noldgeentdPogamngngugeoP)（一）PLtiainvqalbopl语言。比如nowledgeoiented的poram，这里的opeation的函数，它带的参数就是知识的元素，我们可以通过编程语言把复杂的问题变成多个推理的步骤，poamontrol我们用SPARQL来表示这个过程。看SPARQL中间，因为它用的是图结构，所以实际上用poam（二）PLFrewrkfamewoknowedenowledgeasedefintioqerypogram，就是fnction的onvesaton,fnctionpogam（三）wleeBaeDfitin知识库大家应该都已经了解，有concept（概念）。其实人也是这样，有概念，有实体有关系，还有描述实体的属性.比如三元组当节点的时候，它在不同时间的配偶可能是不一样的，所以它对实体也有一个修饰qafie。从上图里可以看到,在矩形里面都是实体的知识，中间是联系这两个实体的关系。里面画虚线的是qualifier的一些修饰关系，还有它的属性，比如dateofbirth、height，这些都是attribute的关系。在opl（四）ticFucisfPL我们在opl14就是上面的find、filterConcept或者是filterstr等，这都是对于属性值的过滤，FilterConceptconceptnptotptqueryquery（五）PrgamExleswihPL我们可以写一个program，然后在这个知识库上一编译就可以得到结果。去执行这个程序的过程，就是得到答案的过程。看一个简单的例子。要先找着实体，然后通过实体去关联，它的publicationdate是在1940fteryear就好比它是一个动画电影，最后得到一个技术。实际上每一个操作过程，都是一个代数集合的计算，最终对得到的实体进行计数。pogampogam（六）PLCclusKoPL不仅仅可以面向KBQA上的复杂问答，还可以把这个复杂问题表示成上面说的方式的组合。parqlparqlqey就不太好改。而我们有这个poampoam它还可以做知识guide的复杂问答。这是一个我们在HotpotQAQA上的数据集，一个真实的HotpotAAprogram。在知识库里面，这两个人都是存在的。但在wikidata里面的数据集，这个人和他是儿子的关系是没有的，那这个关系体现在哪？在这个文本里面。我们提问whoishischild，就可以把这个人找着，有dateofbirth，可以把断的program三、APo:ADtastforCoplxBA