




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
国家社会科学基金青年项目:当代西方数字资本主义批判理
论与数字化生活问题研究(项目编号:19CKS006)
人工智能的伦理问题
及其治理研究
邓若玉赵洋 / 著
图书在版编目(CIP)
人工智能的伦理问题及其治理研究/邓若玉,赵洋
著.--北京:新华出版社,2022.10
ISBN978-7-5166-6466-7
Ⅰ.①人…Ⅱ.①邓…②赵…Ⅲ.①人工智能-技
术伦理学-研究Ⅳ.①TP18②B82-057
中国版本图书馆CIP数据核字(2022)第178857号
人工智能的伦理问题及其治理研究
作 者:邓若玉赵洋
责任编辑:唐波勇陈君君封面设计:汇文书联
出版发行:新华出版社
地 址:北京石景山区京原路8号邮 编:100040
网 址:
经 销:新华书店、新华出版社天猫旗舰店、京东旗舰店及各大网店
购书热线国新闻书店购书热线/p>
照 排:汇文书联
印 刷:北京厚诚则铭印刷科技有限公司
成品尺寸:170mm×240mm
印 张:8.75字 数:142千字
版 次:2022年10月第1版印 次:2022年10月第1次印刷
书 号:ISBN978-7-5166-6466-7
定 价:36.00元
版权专有,侵权必究。如有质量问题,请与出版社联系调换/p>
前言
人工智能作为时代变革的驱动力,不仅赋能传统行业加速产业结构转型,
而且将人们从高强度工作中解放出来,提供了精准化、人性化、便捷化的服务,
为实现人们向往的美好生活增添了强大动力。近年来,中国人工智能产业高速
发展,世界已经有目共睹。人工智能作为一类“赋能”技术,与经济发展、社
会治理息息相关,更重要的是,广大民众在追求美好和公平健康的生活时会提
出新的要求。
科学技术是中性的,可用于造福人类,但也可能危害人类。要避免人工智
能技术创新治理陷入“科林格里奇困境”,就必须预先研判,提前布局。人工
智能伦理问题发生在人工智能技术的应用场景中,即人工智能技术介入人与人
之间,改变了原来的“人与人的关系”而引发新的伦理问题。人工智能伦理规
范就是要探讨如何解决这些伦理问题,包括提出人工智能伦理准则,制定人工
智能设计原则,约束从业人员职业规范等。
在此时代背景下,从人工智能伦理问题入手,构建人工智能技术与行业的
规范化治理已刻不容缓。治理是一个长期且不断演化的过程,本书从人工智能
研究领域的伦理、公平和包容性、透明性、隐私性,人和AI系统之间的合作,
以及相关技术的可靠性与鲁棒性等角度,覆盖信息科学及伦理、哲学、法律等
学科的前沿理论,为读者全面理解相关领域知识奠定基础。本书首先介绍了人
工智能的基本概念,然后对人工智能伦理的相关内容进行了研究,接下来从人
工智能安全、人工智能社会治理、人工智能与信息安全这三个方面,列举和说
明了人工智能技术对各行各业产生的社会性影响及应对之策,最后讨论了人工
智能治理的相关问题,并提出了人工智能伦理问题的治理路径。
1
人工智能的伦理问题及其治理研究
本书在编写的过程中,得到了出版社的领导和编辑的大力支持,还有许多
同事为本书的编写提供了大量的资料,在此一并表示衷心的感谢。由于时间紧,
工作量大,难免会出现不足之处,恳请大家批评指正。
2
目录
第一章人工智能 ����������������������������������������������������������������� 1
第一节人工智能的起源与发展 �������������������������������������������������������������������������� 2
第二节人工智能的三个学术流派 �������������������������������������������������������������������� 14
第三节人工智能的行业应用 ���������������������������������������������������������������������������� 25
第二章人工智能伦理 ��������������������������������������������������������� 39
第一节IEEE发布的《人工智能设计的伦理准则》 ����������������������������������� 40
第二节机器道德 �������������������������������������������������������������������������������������������������� 41
第三节伦理风险评估 ������������������������������������������������������������������������������������������ 44
第三章人工智能安全 ��������������������������������������������������������� 51
第一节人工智能与安全的辩证关系 ��������������������������������������������������������������� 52
第二节人工智能安全体系架构与分类 ����������������������������������������������������������� 55
第三节人工智能安全所处位置及外部关联 �������������������������������������������������� 59
第四章“安全”“可信”人工智能 ������������������������������������� 61
第一节人工智能的“安全” ���������������������������������������������������������������������������� 62
第二节人工智能的“可信” ���������������������������������������������������������������������������� 63
第三节联邦学习 �������������������������������������������������������������������������������������������������� 69
1
人工智能的伦理问题及其治理研究
第五章人工智能与社会治理 ���������������������������������������������� 81
第一节智能化社会治理 ������������������������������������������������������������������������������������� 82
第二节协同化社会治理 ������������������������������������������������������������������������������������� 88
第三节生态化社会治理 ������������������������������������������������������������������������������������� 90
第四节法治化社会治理 ������������������������������������������������������������������������������������� 91
第五节探索人工智能社会治理的方案 ����������������������������������������������������������� 95
第六章人工智能与信息安全 �������������������������������������������� 101
第一节网络攻击与防御 ����������������������������������������������������������������������������������� 102
第二节基于人工智能的网络攻击 ������������������������������������������������������������������ 106
第三节基于人工智能的网络防御 ������������������������������������������������������������������ 108
第四节人工智能时代的网络技术发展 ��������������������������������������������������������� 112
第七章人工智能的伦理问题治理体系 ������������������������������ 117
第一节人工智能伦理治理现状 ���������������������������������������������������������������������� 118
第二节人工智能伦理治理难点 ���������������������������������������������������������������������� 119
第三节人工智能伦理治理路径 ���������������������������������������������������������������������� 121
参考文献 ���������������������������������������������������������������������������� 131
2
第一章
人工智能
人工智能的伦理问题及其治理研究
第一节人工智能的起源与发展
人工智能自1956年被提出以来,经过半个多世纪的发展,目前已经取得
了长足的进展。但是,人工智能的发展并非一帆风顺,而是经历了从繁荣到衰
退,再到繁荣的螺旋式发展过程,先后出现了三次发展高峰。
一、人工智能第一次发展高峰
人工智能的第一次发展高峰出现在20世纪60年代末到70年代初,这次
高峰出现的主要原因是人们看到了人工智能系统能够与具体应用相结合,感受
到了人工智能的巨大魅力,从而着手将人工智能由理论研究推向实用。其主要
标志是专家系统的出现。在20世纪50年代人工智能刚刚被提出的时候,人工
智能的研究主要停留在理论研究阶段,其基本方法是逻辑法,研究方向主要包
括自动推理,认知模型,知识表示和推理,人工智能的语言、架构和工具等。
最初的人工智能应用于机器翻译、定理证明、通用问题求解、下棋程序、工业
反馈控制、机器人等领域。
1957年,康奈尔大学的实验心理学家弗兰克·罗森布拉特在一台IBM
704计算机上模拟实现了“感知机”神经网络模型。这个模型虽然看上去只是
简单地把一组M-P(McCulloch-Pitts)神经元平铺排列在一起,但是依靠机
器学习却能完成一部分的机器视觉和模式识别方面的任务,从而推动了人工
智能的发展。1959年,牛津大学逻辑学家王浩在一台BM704计算机上只用9
分钟就证明了《数学原理》中超过350条的一阶逻辑全部定理4,他也因此成
了机器证明领域的开创性人物。[1]
20世纪60年代,人工智能相关的研究人员开始把研究重点转移到智能表
示、智能推理、智能搜索方向,认为人工智能求解问题的过程是一个搜索的
过程,效果与启发式函数有关。这一阶段的主要研究成果包括A算法(搜索
[1]郭毅可.论人工智能历史、现状与未来发展战略[J].人民论坛·学术前沿,2021(23):
41-53
2
第一章人工智能
方法)、人工智能程序设计语言LISP、冲突归结原理、语义网络的知识表示方
法等。
20世纪60年代末到70年代初,以爱德华·费根鲍姆为首的一批年轻科
学家提出了知识工程的概念,开展了以知识为基础的专家系统的研究与应用。
该研究将人工智能推向第一次高潮。当时的学术界认为人工智能时代已经来
临,1969年发起的国际人工智能联合会议(InternationalJointConferenceson
ArtificialIntelligence,IJCAI)汇集了当时学术界的人工智能研究最新成果。这
一阶段出现的主要研究成果包括计算机配置专家系统、化学质谱分析系统、医
疗咨询系统、地质勘探专家系统、疾病诊断和治疗系统、语音理解系统等。这
一系列专家系统产品的研究和开发,将人工智能由理论研究推向了实用系统。
然而,人们当时对人工智能给予了过高的期望,甚至预言“十年以后人工智
能将超越人类思维”,但人工智能受囿于领域的局限性、知识的生成困难、经
验与数据量的不足等约束,表现出专家系统所能解决的问题非常有限,更远
谈不上“超越人类思维”,从而使人们从对人工智能的看法由过高的希望转为
失望。[1]
1972年7月,詹姆斯·莱特希尔爵士受英国科学研究委员会委托,对人
工智能的研究状况进行了总体调查,提供了一个公正的调查报告。调查报告发
表于1973年。在这份报告中,莱特希尔批评了人工智能并未实现其“宏伟目
标”。报告指出:“人工智能研究及相关领域的大多数工作者都对过去25年所
取得的成就感到失望。人们在20世纪50—60年代进入该领域,但充满希望的
事情远未在1972年实现。迄今为止,该领域到目前为止没有获得任何其承诺
将产生的重大影响的发现。”[2]莱特希尔的报告使得英国和美国学术机构对人
工智能的信心骤降,在人工智能方面的资金投入也被大幅度削减,最终造成人
工智能走入低谷。那段低谷被认为是人工智能的第一个冬天。
二、人工智能第二次发展高峰
人工智能第二次发展高峰出现在20世纪80年代末到90年代初。这次高
峰出现的主要原因是日本政府于1981年启动了“第五代机”项目,其目标是
[1]人工智能的起源与历史[J].气象科技进展,2018,8(01):63.
[2]林永青.人工智能起源处的“群星”[J].金融博览,2017(05):46-47.
3
人工智能的伦理问题及其治理研究
造出能够与人对话、翻译语言、解释图像、能够像人一样推理的机器。日本政
府为此拨款8.5亿美元支持该项目。日本的第五代机计划也影响了中国学术界。
中国学术界在1984年起开始跟进,并于1985年初在涿州召开了第一次全国第
五代计算机会议,会议就第五代计算机体系结构、知识情报处理、规则和推理
以及第五代机的应用(包括机器翻译、机器人、图像处理等)等方面展开深入
研讨。从1986年起,中国把智能计算机系统、智能机器人和智能信息处理等
重大项目列入国家高技术研究发展计划(863计划),这标志着中国将人工智
能作为了重点研究领域。
20世纪80年代,针对特定领域的专家系统在商业上获得成功应用,专家
系统及其工具越来越成熟和商品化。同时,霍普菲尔德神经网络和反向传播神
经网络的提出,使得人们对人工智能的信心倍增。1987年,美国召开第一次
神经网络国际会议,学术界及企业界共1500余人参加了该会议。会议主要议
题包括神经计算机设计、神经计算机功能、神经计算机的软件模拟、神经计算
机芯片、人工智能与神经网络等。会上宣布成立“国际神经网络协会”,并决
定出版刊物《神经计算机》(NeuroComputer)。该会议掀起了神经网络研究
的热潮。神经网络的出现解决了非线性分类和学习问题,这使神经网络迅速发
展,出现了语音识别、机器翻译等系列研究项目。各国在神经网络方面的投资
也逐渐增加。
有学者评论,20世纪80—90年代,这一阶段人工智能的特点是建立在对
分门别类地大量知识的多种处理方法之上,但存在着应用领域过于狭窄、更新
迭代和维护成本非常高、缺乏海量数据训练机器等问题。
1992年,日本政府宣布“第五代机”项目失败,结束了为期10年的研究。
一个主要的原因是,在日本学者全力研究面向人工智能计算机的同时,美国等
国家在通用计算机方面的发展步伐非常大,计算机的速度及其并行效率都有明
显的提高,使得日本专用计算机所表现出来的推理速度反倒被高速的通用计算
机所秒杀。
事实上,在中国也存在着同样的技术路线的争论。一方面人们在研究通用
型高性能巨型机,例如国防科大的银河计算机;另一方面人工智能研究人员在
研究支持人工智能的专用机,包括Prolog推理机、数据库机、产生式计算机、
4
第一章人工智能
数据流驱动计算机等,但只有通用计算机以其强大的生命力及适用性真正地占
据了市场,而其他一些人工智能专用计算机很多都是昙花一现。
第五代机的相关研究不仅重塑了人们对人工智能的看法,也将人工智能发
展所面临的困难都展现了出来。凡事都有两面性,虽然知识导入使人工智能发
展到了一个新高度,但其也将知识描述的困难和复杂性展现得淋漓尽致。当时
人们面临一个很大的问题:如果人工智能的所有知识都需要人类输入,那么需
要输入的内容将是无穷无尽的。
与此同时,神经网络本身缺少相应的严格数学理论支持,反向传播神经网
络存在梯度消失问题(vanishinggradientproblem)。另外,当时的专家系统对
领域要求苛刻,不能跨界,而真实的应用常常并不完全受限于一个确切的领域,
使得专家系统的实用性变差;再就是专家系统的知识库构建困难,因为从事人
工智能的人员不懂领域知识,而掌握领域知识的专家不知道如何将他们的知识
转化到专家系统所需要的形式中,这也是缺乏令人赞叹不已的人工智能应用成
果的原因之一。
20世纪90年代以后,计算机发展趋势逐渐演化为小型化、并行化、网络
化以及智能化,人工智能技术逐渐与多媒体技术、数据库技术等主流技术相结
合,并融合在主流技术之中,旨在使计算机更聪明、更有效、与人更接近,人
工智能就如同一般性的计算机应用一样,不再显示出其独特的光环。第二次高
峰过后,人工智能进入第二次低谷。
三、人工智能第三次发展高峰
人工智能第三次发展高峰出现在21世纪。这次高峰出现的主要原因是深
度学习技术的出现,解决了神经网络学习过程中的梯度消失和梯度爆炸等问
题,以及深度学习的网络深层结构能够使其自动提取并表征复杂的特征,解决
了传统方法中通过人工提取特征的问题。2006年,杰弗里·辛顿提出深度学
习概念以后,掀起了对深度学习研究的热潮,人工智能研究再次爆发。这一
阶段的主要研究成果包括:2010年,谷歌无人驾驶汽车创下了超过16万公里
无事故的纪录;2011年,BM沃森参加“危险边缘”智力游戏击败了最高奖
金得主和连胜纪录保持者;2016年,谷歌阿尔法狗战胜围棋九段棋手李世石;
2017年,谷歌阿尔法狗先以比分3∶0完胜世界围棋冠军柯洁,之后阿尔法
5
人工智能的伦理问题及其治理研究
狗·零完全从零开始,不需要任何历史棋谱的指引和人类先验知识的指导,花
三天时间自己左右互搏490万个棋局,最终无师自通战胜阿尔法狗。[1]
多个吸引人们眼球的、在局部领域内(特别是属于确定性知识的领域)超
过人类的人工智能成果的展示,让人们尤其是行外人员真切地感受到了人工智
能的威力,也真切地意识到人工智能已经来到了身边。这使得人工智能在商业
市场上炙手可热,创业公司层出不穷,投资者竞相追逐。
人工智能发展第三次高峰的一个显著特点是许多国家政府也跟着行动起来
了,通过制定国策、投入资金,引导发展人工智能技术,推动人工智能的应用。
2011年,美国政府推出了《国家机器人发展倡议》(NationalRobotics
Initiative,NRI),并在2012年由美国国家基金会资助近5000万美元;2013
年,作为NRI的后续行动,美国政府资助的《美国机器人技术路线图:从互
联网到机器人技术》对外发布,随后发布了旨在推进该技术路线图的《通往尖
端机器人的道路》;2013年4月,美国国立卫生研究院发布了《推动创新神
经技术脑研究计划》(BRAINInitiative,简称脑计划),旨在研发更全面的工
具和信息库以了解大脑在健康和疾病中的功能;2016年5月,美国白宫发布
了《为人工智能的未来做好准备》;2016年10月,美国国家科学与技术委员
会发布了旨在向美国提供一个跨部门的指导人工智能发展战略导向的《国家人
工智能研究与发展战略计划》;2016年12月,美国白宫发布了关于人工智能
将在未来几十年改变我们经济方式的《人工智能、自动化与经济》;2017年7
月,美国提出了《自动驾驶汽车法案》,旨在确保自动驾驶车辆安全性的要求;
2017年10月,美国信息产业协会发布了旨在确保人工智能能够发挥最大潜力
而倡导相关公共与私营部门进行合作的《人工智能政策原则》。[2]
2013年,欧盟推出了被称为是四个未来和新兴技术的旗舰项目、欧盟资
助的最大的科学项目《人脑计划》;2014年,欧盟委员会与欧洲机器人协会
推出了旨在维持和扩展欧洲在机器人技术方面领导地位的《欧盟机器人技术合
作伙伴计划》;2016年5月,欧盟委员会提出了旨在应对机器人的发展给人
[1]郭毅可.论人工智能历史、现状与未来发展战略[J].人民论坛·学术前沿,2021(23):
41-53.
[2]袁珩,耿喆,徐峰,高芳,张东.美国人工智能战略布局与对外策略[J].科技管理研究,
2022,42(12):34-39.
6
第一章人工智能
类带来影响的机器人规则立法提议,随后欧洲议会于同年10月发布了《欧盟
机器人民事法律规则》。2016年12月,英国政府科学办公室发布了旨在展示
如何负责任地使用人工智能技术来改善英国所有人生活水平的《人工智能:未
来决策制定的机遇与影响》;2017年10月,英国政府发布了《在英国发展人
工智能产业的报告》,报告包含18条针对政府、企业和学术界如何共同努力发
展人工智能的建议。[1]
四、人工智能第三次发展高峰的技术推手
人工智能之所以能进入第三次发展高峰,除了由于一些诸如AlphaGo战
胜人类棋手的抢人眼球的事件引起了人们高度关注之外,其根本原因还是由于
技术上的突破,同时大数据、移动网络、物联网、微电子技术等新技术的发展
也为人工智能的进步奠定了技术基础。
(一)深度学习的贡献
深度学习(DeepLearning,DL)是一种以人工神经网络为架构,对数据
进行表征学习的算法。深度学习使用了分层次抽象的思想,模拟人类大脑神经
网络的工作原理,搭建多层神经网络分别处理不同层的数据信息,原始数据通
过底层神经网络抽象出底层特征输出给高层神经网络,高层神经网络可以更有
效率地获取高层概念,从而更精准地处理信息。
1974年,保罗·韦伯斯提出的标准反向传播算法对后来的深度神经网络
的发展起到了重要的作用。翁巨扬等人在1992年发表的生长网可以算是一个
早期的深度学习网络方案,其可以在一般自然杂乱图像中进行自然物体的识
别。同年,于尔根·施密德胡伯发表了一种多层级神经网络模型,通过对一组
多层的循环神经网络(RecurrentNeuralNetwork,RNN)使用无监督的预训练
以预测其下一个输入,从而训练深度神经网络的每一层。在这一模型中,神经
网络中的每一层都代表观测变量的一种压缩表示,其基本上没有信息丢失,这
一表示也被传递到下一层网络;然后再使用反向传播算法进行调优。施密德胡
[1]殷佳章,房乐宪.欧盟人工智能战略框架下的伦理准则及其国际含义[J].国际论坛,
2020,22(02):18-30+155-156.
7
人工智能的伦理问题及其治理研究
伯后来将这种多层级神经网络模型称为深度学习系统。当然,在那个年代,这
些学习方法尽管有效,但受计算能力的限制,这些方法距离实用还比较遥远。[1]
2012年,亚历克斯·克里热夫斯基、伊利亚·萨茨克维尔和导师辛顿发
表了论文《基于深度卷积神经网络的ImageNet分类》。ImageNet数据集在目
前深度学习图像领域应用非常多,很多图像分类、定位、检测等研究工作大多
基于此数据集展开。该论文介绍了使用深度学习技术所开发的一个大型的深度
卷积神经网络AlexNet,包含5个卷积层、1个最大池化层和2个全连接层,
共有6000万个参数和50万个神经元,将130万个高分辨率图像分为1000个
不同的类。因AlexNet证明了在GPU上训练的深度卷积神经网络可以将图像
识别任务提升到一个新的水平,所以被业界广泛认为是一项真正的开创性工作。
AlexNet在ImageNet竞赛中获得冠军,其对神经网络的发展产生了非常重要
的影响,之后的ImageNet冠军几乎全都采用了卷积神经网络(Convolutional
NeuralNetwork,CNN)结构,使其成了图像分类的核心模型,并由此开启了
深度学习的新一波浪潮。[2]
2013年,托马斯·米科洛夫等人发表了论文《单词和短语的分布式表示
及其构成》,对连续Skip-gram模型进行了改进。Skip-gram模型是一种从大
量非结构化文本数据中学习高质量向量表示的有效方法。改进的结果使Skip-
gram模型具备更强的表示能力,通过对高频词进行二次抽样的方法,以及衡
量短语的方法,使其处理速度显著提高,可以更快地学习质量更高的向量,甚
至可以很好地表示由数百万个句子构成的向量。这使得深度学习对文本的处理
能力又上了一个新的台阶。[3]
2014年,伊恩·古德费洛等人发表了论文《生成对抗网络》。该论文提出
了一个新的框架一一生成对抗网络(GenerativeAdversarialNets,GAN)来构
建生成模型。GAN框架同时训练两个模型:一个是生成器,用以获取数据分
布;另一个是鉴别器,用以鉴别样本,评估样本是来自训练数据而非生成器的
概率。通过两者之间的博弈,GAN能够对数据分布进行很好的建模。生成器
[1]李敏.人工智能:技术、资本与人的发展[D].中南财经政法大学,2018.
[2]何江玲.人工智能对人的全面发展的影响研究[D].哈尔滨师范大学,2022.
[3]郭毅可.论人工智能历史、现状与未来发展战略[J].人民论坛·学术前沿,2021(23):
41-53.
8
第一章人工智能
的目的是尽量降低鉴别器正确判断出假样本的概率,而鉴别器的目标是最大限
度地降低识别假样本时发生的错误。由于GAN会训练生成器让鉴别器错误识
别的概率最大化,可以减小梯度饱和,提高训练稳定性,并产生惊人的效果,
因此使得GAN迅速走红,成为目前人们在机器学习、模式识别中优先采用的
训练算法。[1]
2015年,迪德里克·金马等人发表了论文《Adam:一种随机优化方法》。
该论文介绍了一种基于自适应低阶矩估计的随机目标函数一阶梯度优化算法
Adam。Adam可以为每个参数单独调节学习速率,很快成了一个非常流行的
自适应优化器。Adam的出现促进了深度学习的有效运用,是目前深度学习中
最受欢迎的优化算法之一。[2]
2016年,何凯明等人发表了论文《用于图像识别的深度残差学习》。对一
个普通的神经网络来说,越深的神经网络(层数越多)就越难训练,因为其准
确率可能会随着深度的增加而下降。为此,何凯明等人的论文提出了一种残差
学习框架,采用更深的网络但却简化了网络的训练,其思路是显式地将层重新
定义,参考每层输入的同时还要学习其残余函数,即将输入从卷积层的每个块
之前添加到输出中,从而构造成了残差网络。实验结果表明,这些残差网络更
容易优化,并且可以从显著增加的深度中获得更高的精度。在ImageNet数据
集上,当残差网络深度达152层(比VGG网络深8倍)时,仍然具有较低的
复杂度,且误差仅为3.57%。[3]
残差网络解决了人们对神经网络分解为更多的层会导致退化的担心,因为
在最坏的情况下,残差网络可以将其他层简单地设置为恒等映射,从而使之仅
仅退化为一个浅层网络而已。
2017年,阿希什·瓦斯瓦尼等人发表了论文《你只需要“注意”》。人们
在从事用于翻译的序列转换时,通常在编码器和解码器结构中运用复杂的递归
或卷积神经网络,为提高性能,人们还会加入注意力机制来连接编码器和解码
器。该论文提出了Transformer模型。这是一种完全依赖于注意力机制来构建
[1]赵楠,谭惠文.人工智能技术的发展及应用分析[J].中国电子科学研究院学报,2021,
16(07):737-740.
[2]王嫄,解文霞,孔德莉,高喜平.论人工智能技术应用研究现状和发展前景[J].科技与
创新,2019(20):18-21.
[3]谭铁牛.人工智能的历史、现状和未来[J].智慧中国,2019(Z1):87-91.
9
人工智能的伦理问题及其治理研究
输入和输出之间全局依赖关系的模型,其不再需要递归和卷积神经网络,更易
于并行化,在8个P100GPU上只训练12个小时就可以使翻译质量达到更高
的新水平。在两个机器翻译任务上的实验表明,模型具有更高的质量以及更高
的并行性,训练时间也显著减少。Transformer模型在很大程度上优于循环神
经网络(RNN),这是因为在超大型网络中前者具有计算成本上的优势。RNN
中的长距离传播梯度会导致内存访问成为瓶颈,因此需要更复杂的LSTM
(LongShort-TermMemory,长短期记忆网络)和GRU(GatedRecurrentUnit,
门控循环单元)模型。相比之下,Transformer模型针对高度并行处理进行了
优化,其计算成本最高的部分是注意力层之后的前馈网络,这可以并行化应用。
再就是注意力层本身,这是大矩阵乘法,也容易优化。Transformer模型单纯
使用注意力机制,放弃了卷积,这种大道至简的做法,把基于“注意”的序列
神经模型推向了高潮,现在已成为几乎所有最新自然语言处理模型的基础。[1]
当然,深度神经网络也并非完美无缺。如果仅仅进行简单的训练,深度神
经网络可能会出现很多问题,如过拟合问题、可靠性问题、不可解释性问题等。
目前尚无完备的理论能够对其做出合理解释,随着越来越多的人工智能算法应
用在实际生产生活中,不可解释的问题则会存在产生结果不可控的隐患。
(二)解决不同软硬件的适配
在实际工程应用中,开发者在开发人工智能应用时往往有多种软件框架可
供选择,各种选择也均能取得不错的效果。同时,开发者也有多种硬件选项可
供选择。但是软件框架和硬件选项的多样性也带来了一些在所难免的问题。第
一个问题就是不同软件框架的适用性问题。由于各个软件框架的底层实现方法
不一样,不同软件框架下开发的人工智能模型很难快速转换。比如开发者在
TensorFlow框架下开发了一个人脸识别神经网络并将其开源,而其他框架(如
PyTorch、PaddlePaddle等)的忠实爱好者很难直接使用TensorFlow中的神经
网络模型,还需要对开源的模型进行重构,才能在新的软件框架下成功运行。
第二个问题是软件框架和硬件的适配性问题。计算芯片发展迅速,而软件框架
往往很难跟上芯片的发展,从而导致底层芯片和软件框架的不适配,使得人工
智能算法遇到一些莫名的错误。业界也有公司提出了针对深度神经网络模型的
[1]谭铁牛.人工智能的历史、现状和未来[J].智慧中国,2019(Z1):87-91.
10
第一章人工智能
编译器,旨在通过扩充面向深度学习模型的各项专属功能,解决深度学习在不
同软件框架、不同硬件设备之间的适配性和可移植性问题。
但是,这样的编译器暂时没有统一的标准,各硬件厂商在中间表示层的竞
争也成了人工智能技术实用化的阻碍。如何从模型底层、硬件、存储、计算及
优化等方面形成统一的标准,将是影响人工智能快速应用和普及的重要环节。
1.中间表示层解决可移植性问题
在具体的工程实践和应用中,一般采用中间表示(Intermediate
Representation,IR)层的规定将人工智能模型(训练完成以后的模型)进行表
达和存储。中间表示层可以看作是很多中间件的集合,使用中间表示层可以优
化程序性能、提升通信效率。深度学习训练软件框架实现方式各异,为了打通
不同的软件框架和不同的表达模式,扩充中间表示层可以使深度学习网络模型
编译器更加有效地工作。在深度学习网络模型编译器中,通过新增加的专属中
间件可以实现终端侧模型适配并可运行在不同的软硬件平台。当前支持中间表
示层的包括亚马逊云服务(AWS)所推出的NNVM/TVM(1231和谷歌所推
出的XLA-TensorFlow。
华盛顿大学保罗·艾伦计算机科学与工程学院的亚马逊云服务AI团队于
2017年9月在DMLC开源社区发布了TVM堆栈,旨在弥合深度学习框架与
面向性能或效率的硬件后端之间的鸿沟。TVM堆栈使深度学习框架可以轻松
地构建端到端编译。同年10月,威斯康星大学艾伦分校和AWS的AI团队正
式发布NNVM编译器。作为一种开放式深度学习编译器,NNVM编译器将前
端框架工作负载直接编译到硬件后端,从而提供了一种适用于所有框架的统一
解决方案。NNVM与TVM的联手,使得NNVM编译器借助TVM堆栈可以
实现:①在高级图中间表示层中表示并优化常见的深度学习工作负载;②转换
计算图,最大限度地降低对内存的使用,优化数据布局并融合不同硬件后端的
计算模式;③提供从前端深度学习框架到裸机硬件的端到端编译管道。
XLA(加速线性代数)是谷歌推出的一种针对特定领域的线性代数编译器,
能够优化TensorFlow计算。它可以提高服务器和移动平台的运行速度,改进
内存使用情况和可移植性。TensorFlow是一种灵活且可扩展的深度学习框架,
可定义任意数据流图并使用异构计算设备以分布式方式高效执行。但Tensor
Flow的灵活性与其目标性能不符,尽管TensorFlow旨在支持定义任何类型的
11
人工智能的伦理问题及其治理研究
数据流图,但要使所有图都能够高效执行却是一件很有挑战的事情。当各操
作之间的权重不同时就不能保证这样的组合可以以最有效的方式运行。为此,
谷歌内部的XLA团队与TensorFlow团队合作,于2017年3月推出了XLA-
TensorFlow,用XLA作为TensorFlow的编译器。XLA使用JIT编译技术来
分析用户在运行时创建的TensorFlow图,将多个操作融合在一起,并为不同
CPU、GPU以及自定义加速器生成高效的本机代码。
2.模型转换及其交换格式
为了解决不同软硬件的适配问题,除了使用统一的中间表示层对模型进行
统一的表达及存储外,输入数据的格式也需要进行处理。由于不同的软件框架
实现方式不一样,它们定义的输入数据格式也各有不同,并会采用不同的技术
实现数据操作。例如,TensorFlow定义了TFRecord,这是一种用于存储二进
制记录序列的简单格式,将数据序列化并存储在一组可以线性读取的文件(每
个文件100—200MB)中,可支持高效地读取数据,同时也有助于缓存数据的
预处理。而MXNet及PaddlePaddle框架使用的是RecordIO,这是一组二进制
数据交换格式,其基本思想是将数据分成单独的块(也称为“记录”),先在
每个记录之前添加该记录的长度值(以字节为单位),然后再保存记录中的数
据。但是,RecordIO并没有正式的格式规范,因此RecordIO在实际使用时往
往存在一些不兼容的问题。
深度学习网络模型的表示规范主要有两类:一类是Facebook和Microsoft
创建的社区项目所推出的ONNX(OpenNeuralNetworkExchange,开放神经
网络交换);另一类是由开放行业联盟Khronos集团所推出的NNEF(Neural
NetworkExchangeFormat,神经网络交换格式)。
ONNX是由Facebook和Microsoft创建的社区推出的一种代表深度学习模
型的开放格式,可使模型在不同软件框架之间进行转移。ONNX支持的软件
框架目前主要包括Caffe2、PyTorch、CognitiveToolkit、MXNet等,而谷歌的
TensorFlow并没有被包含在内。ONNX有两个主要特点。
(1)框架的互操作性:通过启用互操作性可以更快地将设计付之实现。
ONNX让模型可以在一个框架中进行训练,然后转移到另一个框架中进行推理。
ONNX模型已得到Caffe2、CognitiveToolkit、MXNet和PyTorch的支持,并
且具有许多其他常见的框架和库的连接器。
12
第一章人工智能
(2)硬件优化:0NNX通过硬件优化覆盖更多的开发人员。任何导出
ONNX模型的工具都可以从ONNX兼容的RUNTIME和库中受益。这些
RUNTME和库旨在最大限度地提高深度学习领域某些硬件的最佳性能。2019
年7月,0NNXv1.6正式推出,使用新数据类型和运算符可以支持更多的模型。
NNEF支持不同设备、平台的应用可以使用丰富的神经网络训练工具和推
理引擎(及其组合),能很大程度减少机器学习的零散部署。NNEF支持包括
PyTorch、Caffe2、TensorFlow等大多数人工智能软件框架的模型格式转换。
目前已经有30多家计算芯片企业参与到NNEF中。NNEF的目标是让使用者
能够轻松地将经过训练的神经网络转移到各种各样的推理引擎中。由于神经
网络在边缘设备上广泛应用,制造商对于NNEF的依赖是至关重要的。因此,
NNEF封装了一个训练神经网络的结构、操作和参数的完整描述,使之独立于
用于产生它的训练工具和用于执行它的推理机。
(三)算力大幅提升的贡献
人工智能技术的飞速发展也离不开算力的大幅提升。近年来涌现的许多新
型高性能计算架构也成了人工智能技术发展的催化剂。深度学习算法需要对网
络连接权重进行多次调整,也需要很高的计算能力的支撑。由于集成电路按
摩尔定律迅速发展,使计算成本迅速下降,同时云计算的出现、GPU的大规
模应用等,这些都使得针对集中化数据的计算能力变得前所未有的强大。与
此同时,计算芯片的架构也逐渐向深度学习应用优化的趋势发展,以传统的
CPU为主、GPU为辅的英特尔公司也开始联手AMD公司,推出整合了AMD
VegaGPU的全新产品Inteli7-8809GCPU。因此说,人工智能的爆发式发展在
很大程度上与硬件算力的提升有关。
(四)移动互联网与传感器的贡献
移动互联网的迅猛发展也是促进人工智能发展的重要因素。移动互联网的
出现使智能设备时刻与人类相伴,通过智能设备能够采集到足够充分和完整的
数据。相比个人计算机,智能设备便于携带,并且智能手机、智能手环等可穿
戴设备贯穿于人们的日常生活之中。这些设备贡献的数据是完善的和连续的,
为后续信息处理和人工智能算法的训练提供了基础。另外,移动互联网为人们
带来了不同的使用场景和使用习惯。比如移动互联网让人们可以更倾向于进行
语音输入,而非键盘输入;解锁手机的时候更倾向于刷脸解锁,而非输入开机
13
人工智能的伦理问题及其治理研究
密码或图案。这些使用场景和使用习惯在很大程度上也促进了图像识别、语音
识别、自然语言处理等核心技术的发展。受智能手机、可穿戴设备等爆发式增
长的推动,传感器无论在数量上还是在质量上都有了巨大的飞跃。传感器的发
展,如LIGA(光刻)等微电子技术日趋成熟,使得机器的感知能力变强,进
而为机器变“聪明”奠定了基础。通过这些感知能力强的传感器,人们可以获
取更准确的数据,如每天走路的步数、心率的变化数据等。
数据是人工智能快速发展的基石,人工智能依赖于数据支持。据WeAre
Social和Hootsuite两家机构发布的《2019年全球数字报告》显示,全球互联
网用户数已经突破了51亿,而移动设备数量巨大,意味着移动设备所贡献的
数据量逐渐会成为主流。
第二节人工智能的三个学术流派
一、符号主义
符号主义是指符号人工智能,也被称为逻辑主义、心理学派或计算机学派,
其依托的是一种基于问题、逻辑和搜索的高级符号处理体系,其基础主要为物
理符号系统假设和有限合理性原理。在人工智能中,符号认知的基本要素是符
号,通过将信息和行为抽象到基于符号规则的物理符号系统中,利用计算机逻
辑推理模拟人类的抽象思维,实现了智能行为的模拟。
1955年,西蒙意识到能够操纵符号的机器可以很好地模拟决策行为,甚
至能模拟人类思想的过程,他与纽厄尔开始讨论教机器思考的可能性。他们
邀请了约翰·肖于1956年编写了一个命名为“逻辑理论家”(LogicTheorist,
LT)的程序。这是第一个模仿人类进行问题求解的程序,也被称为“第一个
人工智能程序”。LT建立了启发式程序设计领域,并很快证明伯特兰·罗素和
艾尔费雷德·怀特黑德著的《数学原理》第二章前52个定理中的38个定理,
其中一个定理的证明比罗素和怀特黑德的手工证明显得更优雅。1956年,西
蒙和纽厄尔作为人工智能首次会议——达特茅斯会议的受邀参加者,在会上介
绍了他们所发明的“逻辑理论家”,这项成果被认为是此次会议的一个亮点。
14
第一章人工智能
1956年,着迷于研究计算机下棋的麦卡锡发起并参加了达特茅斯会议,
他在会议上介绍了他所提出的α-β搜索算法。该算法是会议的亮点之一、通
过设置棋类博弈中己方必须考虑的不能输棋的下限因素α和对手必须考虑的
需要赢棋的上限因素β作为判定条件,判断哪些选择是在上下界之外的,那
就表明这些选择可以不予考虑,由此可以将搜索树的空间剪枝为原来的平方根
级别。1997年,战胜国际象棋大师卡斯帕罗夫的“深蓝”就是使用的α-β搜
索算法。麦卡锡在达特茅斯会议上指出:这次会议是基于这样的推测,即原则
上可以精确地描述学习的各个方面或智能的任何特征,从而可以制造出能够模
拟它的机器。[1]在麦卡锡的推动下,使用符号描述或学习智能的特征一直是人
工智能的研究重点。1956年,麦卡锡与香农合著《自动机研究》一书;之后,
麦卡锡还发明了人工智能符号语言LISP(listprocessinglanguage,表处理语言)。
该语言一度成为人工智能的代名词,进一步奠定了麦卡锡在人工智能领域中的
地位。
麦卡锡、西蒙和纽厄尔的早期推动,以及他们在符号主义人工智能方面的
贡献,使得他们被誉为符号主义学派的奠基人。
符号主义学派认为,人们通过使用不同的符号进行变流,可以更加容易地
相互理解,这也是人类变得聪明的主要原因之一;认知过程是在符号表示上的
一种运算,可以通过计算机进行符号操作从而模拟人的认知过程。符号主义学
派的研究思路一般可以分为三步:第一步是研究并理解人类认知系统的功能机
理;第二步是使用符号和基于符号的运算描述人类的认知过程;第三步是利用
计算机系统实现符号的表示和基于符号的运算,从而模拟人类的认知过程,实
现人工智能。符号主义学派的特点体现在其自上而下地通过推理演绎的方式实
现人工智能。从符号主义学派的观点来看,人工智能的核心问题是知识表示、
知识推理与知识运用。知识是构成智能的基础,是信息的一种表现形式:知识
可以使用符号进行表示,而认知是对符号的处理过程;推理是采用启发式方式
对问题求解的过程,也是可以用某种形式化的符号及语言进行描述的。因此,
通过符号的表示、处理、计算等有可能建立起基于知识的人类智能和机器智能
的统一理论体系。
[1]林永青.人工智能起源处的“群星”[J].金融博览,2017(05):46-47.
15
人工智能的伦理问题及其治理研究
符号主义学派的研究者在1956年首先采用了“人工智能”这个术语,后
来发展出了多种启发式技术、专家系统、知识工程等理论及技术,为早期人工
智能的发展和应用奠定了基础。其中,专家系统可以基于专家知识设计计算机
程序来解决复杂问题,是一种典型的符号化计算范例。专家系统结合了专家知
识,能精确地通过符号计算来处理规则,并进行推理,如使用产生式规则网络,
以类似于If-Then语句的关系连接符号来支撑推理过程,从而根据实际问题可
以设计和实现不同领域的专家系统。
由于专家系统的多方面优势,使得符号主义在相当长的一段时间内占据了
人工智能研究的主流地位,尤其是20世纪70年代后出现了大量结合领域知识
的专家系统,促进人工智能技术进入实际工程应用中。通过定义逻辑推理相关
的符号及操作,可以创建执行各种任务的符号人工智能程序,面向对象的程序
设计(ObjectOrientedProgramming,OOP)也可以说是符号人工智能的一个
典型成果。
由于符号主义的思想体系在20世纪50年代中期至80年代末期一直主导
着人工智能的发展,并成为人工智能研究的主要范例,因此符号主义的研究方
法被学者视为传统的人工智能方法。该方法假设可以通过操纵符号来实现部分
智能。这一假设被纽厄尔和西蒙定义为“物理符号系统假说”。约翰·豪格兰
在其1985年的著作《人工智能:非凡的想法》中将这种传统的人工智能方法
称为GOFAI(GoodOld-FashionedArtificialIntelligence,出色的老式人工智能),
并将其命名为符号人工智能。
符号人工智能的一个鲜明特点是逻辑演绎特性,这使其行为具有可解释
性,人们可以轻松地可视化展示基于规则的程序的逻辑,从而可以对其系统进
行故障检查。对于规则非常清晰的输入事务,符号人工智能可以轻松地获取规
则描述并将其转换为符号,从而进行逻辑演绎。由于逻辑演绎具有很好的可解
释性,在符号表达完整、规则描述清晰的系统上取得了良好的应用效果。
符号主义曾长期一枝独秀,尤其是专家系统的成功开发与应用为人工智能
技术从理论走向工程实践起到了至关重要的作用,为人工智能的发展做出了重
要贡献。尽管人工智能的其他学派先后出现,符号主义依然是人工智能的主流
学派。近些年出现的知识图谱技术为符号主义学派注入了新的生机和活力。尽
管知识图谱并不是规则模式,自身并不具有直接的推理能力,但其是知识工程
16
第一章人工智能
的一种形态,可以拥有庞大的知识库,且通过符号之间的连接,可将相关的内
容有机地关联起来,再通过基于知识库的各种服务提供抽取、搜索等服务,还
可以基于已知的关系推演出未知的关系,从而反映出一种广义的推理能力,表
达出其智能特性。知识图谱的构造过程有两种:一种是通过信息抽取技术抽取
出已有的知识;另一种是通过传统的符号推理方法生成新的知识。
二、连接主义
连接主义(connectionism,也可翻译为“联结主义”)学派也被称为仿生
学派或生理学派,其研究方法是一种基于网络连接机制和学习算法的智能模拟
方法。当前,这一学派在人工智能研究领域同样占有重要地位。
连接主义的提出可追溯到1943年生理学家沃伦·麦卡洛克和数理逻辑学
家沃尔特·皮茨所发表的文章《神经活动中内在思想的逻辑演算》。该文章提
出了神经元的M-P(McCul-loch-Pitts)数学模型,提出了用形式化方式描述
神经元和网络结构的方法,开创了使用电子装置模仿人脑结构和功能的新途径。
M-P模型一直沿用至今,成为神经元最基本的结构。这篇文章认为,人类的
认知系统和智能行为是人脑高层活动的结果,智能活动是由大量简单的神经元
通过复杂的相互连接后并行运行的结果。
1951年,马文·明斯基和迪安·埃德蒙兹合作设计了世界上第一台人
工神经网络自学习机器——SNARC(StochasticNeuralAnalogReinforcement
Calculator,随机神经模拟强化计算器)。SNARC由3000个真空管构成,模拟
了40个神经元的运行,其最初目的是学习如何穿越迷宫。在经过不断的尝试
后,SNARC学会一些解决问题的方法,由此形成了基于连接主义的人工智能
发展道路。明斯基也是1956年达特茅斯会议的发起者之一。他在会议上介绍
了SNARC的工作,被认为是值得关注的学术成果。这也是明斯基被视为连接
主义奠基人的原因之一。
连接主义学派使用基于神经网络的模拟方法,以工程技术手段模拟人脑神
经系统的结构、功能等,通过大量的并行处理器模拟人脑中数量庞大的神经细
胞(神经元),用处理器互相之间的连接关系模拟人脑中神经细胞突触之间的
连接行为。人工神经网络首先将多个神经元组成一层网络,再由多层这样的网
络通过互相连接实现一个完整的神经网络,然后利用大量的数据训练这一网
17
人工智能的伦理问题及其治理研究
络,用学习算法调整神经元之间的连接权重,从而使神经网络不断完善。人工
神经网络技术开辟了人工智能的又一发展道路。
20世纪60年代出现的感知机(perceptron)模型可以根据训练数据自动调
整M-P模型中连接的权重,以此机制建立的脑模型一度备受关注,但是受到
当时各种技术条件的限制,脑模型的研究在20世纪70年代后期至80年代初
期进入低潮。直到约翰·霍普菲尔特教授先后在1982年和1984年发表了该领
域的两篇重要论文,提出用硬件模拟神经网络的方法,连接主义才又重受重视。
1986年,大卫·鲁梅尔哈特等人提出在多层神经网络中调整连接权重的反向
传播算法,在理论研究上取得了巨大突破。此后,连接主义人工智能势头大振,
从模型到算法,从理论研究到工程实现,神经网络逐步从学术界走向工业界,
开始在多个领域逐步普及并走向市场。
2007年,连接主义的领军者辛顿提出了深度学习算法,大大提高了神经
网络的学习能力。根据《麻省理工技术评论》的2013年4月的报道,2013年
3月,谷歌收购了辛顿所创办的初创企业,以便“把这一领域的想法拿出来,
应用到实际问题上”,比如应用到图像识别、搜索和自然语言理解等实际场合;
谷歌当时的神经网络拥有超过10亿个连接,通过深度学习技术,能识别人类
从未定义或标记过的物体;微软美国研究部主管彼得·李表示,深度学习重
新引发了人工智能领域的一些重大挑战。[1]微软首席研究官里克·拉希德2012
年10月在中国的一次演讲中演示了一款语音处理软件。该软件将他的口语转
换成英语文本(错误率仅仅约为7%),并翻译成中文文本,然后模拟他自己的
声音用中文普通话朗读。
深度学习算法被认为是最接近模拟人类大脑智能学习的过程,逐渐成为
人工智能必不可少的组成部分,包括BM的“沃森”、谷歌的搜索引擎以及
Facebook的算法都离不开深度学习。由于众多企业大力推进深度学习技术,
并将其应用于语音识别、图像识别、自然语言处理等领域,《麻省理工技术评
论》把深度学习列入了2013年度十大技术突破之一,称“深度学习借助强大
的计算能力,使得机器现在可以识别对象并实时翻译语音。人工智能终于变得
聪明了。”
[1]刘菊,钟绍春.网络时代学习理论的新发展——连接主义[J].外国教育研究,2011,
38(01):34-38.
18
第一章人工智能
连接主义的主要优势在于神经网络可以从训练数据中发现规则。首先,用
户提供样本数据,包括输入数据和对应的输出数据(数据集越大越好);然后,
连接主义算法应用统计回归模型来调整其中间变量的权重系数,直到找到最佳
拟合模型为止。使用诸如梯度下降之类的技术,可在使所有训练数据点的累积
误差最小化的方向上调整权重。由于这些技术是有效地使错误率最小化的算
法,因此它们具有固有的“抗噪”能力。它们将消除异常值,并使误差收敛在
一定范围内,从而得到良好的对数据进行分类的解决方案。
连接主义算法不需要实际模型,它们只需要足够的样本数据,就可以从统
计学上推断出实际模型。这是一个非常强大的特性,但也是一个弱点,因此输
入功能必须非常仔细地选择,避免出现错误污染,还必须对其进行归一化或缩
放,避免一个功能胜过另一个功能。
人们经常提到的语音识别、语音处理、机器
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 法律顾问聘请合同
- 中小学生校外培训服务合同
- 项目管理效率提升的实施方案
- 建筑工程投资合作协议合同
- 本小区物业管理合同书
- 酒店合作协议书范本旅游
- 智能交通大数据分析平台服务协议
- 债权代偿及担保协议
- 智能穿戴设备研发及生产销售合同
- 医疗器械研发及生产合作协议
- 新版高中物理必做实验目录及器材-(电子版)
- 五金采购合同含价格清单
- 食品安全与营养健康课件
- 机械基础 第2版全书电子教案
- 归档文件整理规则
- 学校办公室主任述职报告
- 《列夫·托尔斯泰》-完整版PPT
- 高考古代诗歌鉴赏复习教案
- 负数的认识1202
- 中国铁塔建设维护工作培训PPT通用通用课件
- 新视野大学英语第三版Book 2 Unit 1 Text A
评论
0/150
提交评论