高性能网的背景和需求

高性能网的背景和需求第1页，共58页，2023年，2月20日，星期四人力计算-HumanComputing路易斯.凡.安(LuisVonAhn)，卡耐基梅隆（CMU）的研究者，28岁那年，获得麦克阿瑟(MacArthur)天才奖金，或许大家并不熟悉，但他的发明机会所有的网站所有的网民都要引用得到。2000年还是学生的他在导师的指导下，发明了验证码(CAPTCHA)使用机制，就是我们在网站登录时，需要添加的校验码。第2页，共58页，2023年，2月20日，星期四人力计算-HumanComputing当初的发明初衷，是防止密码被盗用或者反垃圾邮件（anti-spamming），这项技术发明后短短五年内，每天就有2亿个检验码在被使用，十年之后的今天，几乎所有的网站都采用这个技术来校验用户身份，保证信息安全。第3页，共58页，2023年，2月20日，星期四然而LuisVonAhn并没有在安全认证领域止步，一方面将校验码的模式与程序公布在自己的网站上，供更多的网站使用，另外，Luis进一步拓展这个发明背后的实际上是一门新的学科，叫做“HumanComputation”或者“Human-basedComputation”。有人称之为“人本计算”或者“人计算”。第4页，共58页，2023年，2月20日，星期四即利用网络的分众性和协同性，可以轻易完成很多计算机不可能完成的事情。这门学科正是研究如何把人的这个优势发挥出来，与计算机互动，达到一个最佳结果。当所有的人都在思考如果是计算机替代人的时候，LuisVonAhn却在想利用互联网，利用社会化的协同工作模式，实现计算机根本不可能完成的事情，以达成群体智能的效果。第5页，共58页，2023年，2月20日，星期四例子一《纽约时报》创刊与1851年，158年的历史，作为传统传媒业的需求是简单的，就是想把所有的报纸电子化，对于电子化出版之后的工作相对简单，但过往故纸堆上的文字就显得十分困难，传统OCR的技术不能实现百分之百的准确，如果如果人工录入的方式，整个工作耗时耗力不说，一个字一个字的打印录入，校对，短期内基本上是不可完成的任务。第6页，共58页，2023年，2月20日，星期四LuisVonAhn的校验码2005年已经得到了广泛的使用，两者之间有什么联系吗？Luis给出的解决方案，当时互联网上每天有2亿个校验码被使用，虽然每个用户在录入校验码的时候只需要10秒钟，但如果把这些时间全部利用起来，就是20亿秒，相当于50多万个小时。第7页，共58页，2023年，2月20日，星期四LuisVonAhn把这些事件利用起来，实现不可想象的伟大实践。现在看来，方法很简单，把扫描的《纽约时报》通过简单的分词形成片段，然后入库编码，作为校验码的素材提供给用户，用户每一次填注校验码的过程就是对文字的一次录入，通过众多用户的协同，当两个人都对一个图片给出相同的单词结果时，就认为这个结果就是正确的。无数的用户输入的内容整合链接起来，就是一个完整的数字化的《纽约时报》。第8页，共58页，2023年，2月20日，星期四GameWithAPurposeLuisVonAhn的脚步依然没有停止，他利用人的群体智慧和集体计算的模式，做了很多开创性的事情。他最常用的实现模式就是利用SNS的互动游戏的模式，来实现传统模式识别与计算科学中。他的主要应用成果在上可以体验获得（GameWithAPurpose）。第9页，共58页，2023年，2月20日，星期四例子二基于内容的图像识别与搜索中，样本的标注是一个很繁琐的问题，为了让计算机识别图片里的内容，必须要用到许多标注好的图像样本来训练识别核，传统的方式只能通过人工进行大量的手工标注。第10页，共58页，2023年，2月20日，星期四2006年，Luis推出了一个著名的游戏，叫ESPGame。这一游戏的玩法其实很简单：进入游戏，网站会给你随机配一个伙伴，两人同时看一张图，让你在两分钟内给图片写出关键词，如天空、鸟、足球、奔跑等等。如果你们两人写的关键词一样，就可以得分。第11页，共58页，2023年，2月20日，星期四通过积分的方式激发用户参与的积极性，网站每天公布得分最高的游戏者，Luis通知这种方式收集的关键字超过了5000万。这个发明已经被谷歌所采用，在谷歌推出的产品GoogleImageLabeler中，使用的方式就是通过游戏互动的方式来实现图像标注，之后用于谷歌的图片检索引擎。人们在游戏中，已经为科学与商业过程做出来贡献第12页，共58页，2023年，2月20日，星期四例子三当我们都在考虑云计算的时候，基于人的互动协同计算其实离我们很近，每天的校验码的登录填注，百度知道、百度百科与维基百科的点击阅读……我们可能都在不知不觉中，贡献了自己的力量第13页，共58页，2023年，2月20日，星期四网络背景(1)考虑一种新的基础设施它用高性能通信网络把人,计算机,传感器和数据连在一起,使社会中的各种不同群体,如研究者,教育工作者,商人和普通消费者从中受益.历史上的其它基础设施电力网铁路网电话和电报网银行第14页，共58页，2023年，2月20日，星期四网络背景(2)历史上的其它基础设施的发展经验每一种基础设施的发展都具有巨大的复杂性参与的角色复杂:发明家\研究者\标准化工作者的力量,自由市场的力量,政府的力量发展历程的复杂:从局部到全局,不平坦的时间表整个基础设施上承载能力的分布性物流配送:本地仓库,地区仓库,国家级仓库等地区”缓存”基础设施发展后新鲜事物的出现新城市:芝加哥城,Urbana-Champaign新产业:世界级零售中心,世界级航空中心,世界级总部基地第15页，共58页，2023年，2月20日，星期四电网电站电站电站水坝矿山油井第16页，共58页，2023年，2月20日，星期四电力网和网格组成对比第17页，共58页，2023年，2月20日，星期四电力网和网格组成对比电力网网格发电厂高性能计算中心发电机高性能网络计算机电能数据、内容、知识、信息水能、风能、火能、核能等原始能源数据库、传感器、存储设备、工业仪器设备等资源输电线网广域网、城域网、局域网，光纤网、无线网电力调配系统网格系统软件和中间件、网络缓存和负载平衡器等硬件动力电、照明电、家用电器等电力应用科学计算、电子商务/政务、信息服务等网格应用各种电器网格终端设备（PC、手机、数字电视）第18页，共58页，2023年，2月20日，星期四指数增长的世界网络vs.计算机性能处理器速度每18个月翻一番存储密度每12个月翻一番网络速度每9个月翻一番1986to2000计算机:x500网络:x340,0002001to2010计算机:x60网络:x4000引用第19页，共58页，2023年，2月20日，星期四网格和云计算的用户虽然计算机的性能有如此惊人的提高，那是不是所有的计算需求都已经得到满足了呢？遗憾的是，还远远没有。计算科学家和工程师实验科学家企业自然环境教育与培训国家-政府世界消费者第20页，共58页，2023年，2月20日，星期四RotatingTurbulentGasBallModeloftheSunNineDayRunonNCSAOrigin(128-processors)Generated2TerabytesofData,LCSEVisualizedin3DaysDavePorter,PaulWoodward,etal.,LCSE,UnivofMinnesotaComputationalScientists第21页，共58页，2023年，2月20日，星期四ExperimentalScientistsRachaelBrady,NCSAI-WAY‘95第22页，共58页，2023年，2月20日，星期四VirtualManufacturingCustomerManufacturingFacilitySupplierDesignerATMNetworkSource:KemAhlers,Caterpillar第23页，共58页，2023年，2月20日，星期四CAD/CAM对性能的需求生命科学数字生物学第24页，共58页，2023年，2月20日，星期四数据密集型科学LHC（强子对撞机）瑞典日内瓦欧洲原子能研究中心（CERN）高能粒子物理实验CMS(紧凑μ介子螺线管)用于记录最高能量质子对撞事件所产生的数据CMS每年将产生PB（1015字节）数量级的试验数据用于寻找希格斯介子微粒和宇宙中物质的可能起源的研究;一种新的自然界基本对称(称为超对称)的存在性以及可能发现新的空间维数.处理和分析数据的机构美国NSF网格物理网美国能源部粒子物理数据网格欧盟数据网格工程。。。第25页，共58页，2023年，2月20日，星期四LHCExperiments第26页，共58页，2023年，2月20日，星期四TheConstraintsTakenfrom:LHCComputingReview,CERN/LHCC/2001-004NeededduringayearofLHCoperationsTapeDiskCPU29’400TB9’600TB6.2*106SI95Intoday’sunits:60STKSilos160’00060GBdisks150’000800MHzCPUs第27页，共58页，2023年，2月20日，星期四WorldWideCollaboration

distributedcomputing&storagecapacityLHC: >5000 physicists

>270 institutes

>60 countries第28页，共58页，2023年，2月20日，星期四遥感天文学第29页，共58页，2023年，2月20日，星期四基于仿真的科学(1)数字仿真的必要性数字仿真(模拟)代表一种新的解决问题的方法学,重要性与日俱增在基础科学(气候学\天体物理学等)的研究过程中,难以进行物理实验,但数字仿真是可行的.随着计算机性能的提高和计算技术的发展,计算方法越来越多的应用到长期受实验控制的领域,例如化学领域,生命科学领域等第30页，共58页，2023年，2月20日，星期四基于仿真的科学(2)数字仿真的实例CMS在建成之前和之后物理学家进行计算密集型蒙特卡罗模拟研究.为了产生真实的模拟数据,蒙特卡罗模拟研究结合了基础物理学的理论预言一旦CMS探测器发挥作用,模拟研究的输出数据将直接与真实数据比较,从而改进探测器、并预示可能的科学发现。第31页，共58页，2023年，2月20日，星期四天气预报

大气海洋模拟第32页，共58页，2023年，2月20日，星期四实验仪器的远程访问（1）仿真或数据驱动科学的日益盛行并不意味着实验科学变得越来越不重要相反，高速网络的出现使得将实验仪器整合到科学问题解决过程中变得更容易地震工程组织正在部署的遥测设备容许参与者无须亲自到试验设备现场就可以远程设计、执行和监控试验。NEES（NetworkforEarthquakeEngineeringandSimulation,地震工程与仿真网络）计划第33页，共58页，2023年，2月20日，星期四实验仪器的远程访问（2）NEES计划在地震工程测试设备上投资如振动台、反应墙和造波水池要求这些设备能通过网络访问通过系统集成建立必要的信息技术设备框架集成测试设备、模拟、数据仓库和协作工具跨团体的科学工作者联盟运行和管理全局基础设施。CarlKesselman和IanFoster是主要领导者和参与者第34页，共58页，2023年，2月20日，星期四虚拟社区科学(1)21世纪科学与工程研究的重要标志之一就是探索未来的研究团队之间与日俱增的合作和分布特性网格技术对科学最大的影响就是科学家构成的全球虚拟社区能解决现在和未来的基础科学问题NEES就是典型的实例,CERN的CMS模拟计划也是实例第35页，共58页，2023年，2月20日，星期四虚拟社区科学(2)CMS的协作组织的美国参与者(US-CMS)建立的US-CMSGrid虚拟社区包括如下单位:CalTech(加洲理工学院)FermiLAb(费米国家加速器实验室)Univ.ofFlorida(佛罗里达大学)UCSanDiego(加洲大学圣迭戈分校)CERN(欧洲原子能研究中心)UWMadison(威斯康星大学麦迪逊分校)它们之间用OC12/STM4(622Mbps)或更高速的网络连接第36页，共58页，2023年，2月20日，星期四新基础设施的投资投资方向物理设施:存储网\通信网络\计算机网络\传感器网络\万亿次超级计算机软件设施(网络中间件\协作套件)新的应用概念及应用软件投资来源政府:英国科学技术办公室,美国NSF蓝带顾问团,欧盟”第六框架”计划第37页，共58页，2023年，2月20日，星期四第38页，共58页，2023年，2月20日，星期四清华ACI在清华ACI系统中，清华大学研制的高性能计算机“THNPSC-2”与上海大学研制的高性能计算机“自强2000”通过高速网络连接在一起，此外还连接了4个应用结点。这6个地理位置不同的节点可以同时召开网络会议。除此之外，还开发了相应的中间件，可以构成跨地区、跨学科的“虚拟实验室”研究环境。清华ACI系统具有一套健全的资源管理系统、任务管理系统、用户管理系统及安全服务与监控系统。第39页，共58页，2023年，2月20日，星期四第40页，共58页，2023年，2月20日，星期四第41页，共58页，2023年，2月20日，星期四ShanghaiGrid上海市投入两个多亿，建设e-Institute，其中网格是重点，把上海交大、复旦、华东理工等多所重点高校用网格整合起来，共享资源，协同教学科研。清华大学教授、上海大学计算机学院院长李三立院士担任网格主题的首席科学家第42页，共58页，2023年，2月20日，星期四上海“云海计划”2010年8月17日下午，上海市发布了《上海推进云计算产业发展行动方案（2010~2012年）》三年行动方案，即“云海计划”。该计划指出，未来三年，上海将致力打造“亚太云计算中心”，培育十家年经营收入超亿元的云计算企业，带动信息服务业新增经营收入千亿元第43页，共58页，2023年，2月20日，星期四北京“祥云工程”

2010年7月，北京“祥云工程”计划正式启动，北京将合理规划布局云应用、云产品、云服务和云基础设施、积极参与国际竞争，力争到2015年，形成500亿元产业规模，成为世界级云计算产业基地中关村云计算产业联盟由联想、塞尔网络、中国移动研究院、百度等19家单位发起成立。第44页，共58页，2023年，2月20日，星期四工业需求(1)中国电子学会云计算专家委员会委员、华中科技大学计算机学院院长、中国教育科研网格计划ChinaGrid专家组组长金海博士:网格和云计算真正最大的用户不是学计算机的人。做计算机的有些类似于建筑工人，完成基本建设以后就该轮到其他人来应用了。第45页，共58页，2023年，2月20日，星期四工业需求(2)网格计算和云计算实际上是在构建一个使信息技术被广泛接受所必须的环境.技术向应用演变的两个阶段:第一阶段:发展阶段.以汽车工业为例此时,最重要的是技术本身。如内燃机原理，采用汽油作为燃料的发明，第一辆实验室里的内燃机驱动的汽车原型技术使用者是专家、技术能手。驾驶者和机械师之间几乎没有区别，只有机械师才能担任驾驶者第46页，共58页，2023年，2月20日，星期四工业需求(2)技术向应用演变的两个阶段:第二阶段：后技术阶段。技术已不再新奇，易用性、可靠性、可用性和成本等技术应用因素变得重要起来。技术使用者是普通消费者。比如家用轿车驾驶员，家用电器使用者（煮饭、听立体声音乐、看电视等电力系统的终端用户）第47页，共58页，2023年，2月20日，星期四工业需求(3)转换的因素和动力.以汽车工业为例应用需求的驱动：旅游、物流、客流快速移动的需求工业界指定技术标准：方向盘？方向舵；发动机规格市场的驱动：市场竞争导致成本下降，消费者的需求得到及时满足转换的结果:技术的复杂性被隐藏起来没人在煮咖啡的时候能清楚的意识到复杂的电力基础设施正从几百公里之外运煤到发电厂，然后产生蒸汽驱动涡轮发电第48页，共58页，2023年，2月20日，星期四IT的技术演变（1）信息技术（IT）的演变也遵循这一普遍的技术演变规律目前信息技术已经处于演变过程中的发展阶段，网格技术和云计算技术将使之进一步向“后技术”阶段演化早期：昂贵而复杂的“玻璃房子”中的大型机，只有训练有素且精通程序设计的专家能使用这些系统第49页，共58页，2023年，2月20日，星期四IT的技术演变（2）IT技术演变的征兆越来越多的信息技术商品化\生活化USB盘,MP3,CD唱机,手机WAP,笔记本电脑,数字电视,网络娱乐,网络论坛,网络新闻,网络购物信息技术,包括计算机系统等越来越强大集成化:计算机系统\商务过程\组织\人高度集成,紧密交流技术\数据\应用的空前集成高效用资源充分利用,自我配置\自我优化\自我修复\自我保护灵活性人们能根据业务需求做出选择第50页，共58页，2023年，2月20日，星期四IT的技术演变（3）IT技术演变的挑战挑战1:标准化实验室的研究转化成生产力依赖于集成技术的能力开放标准能使技术整合更容易标准并非指严格一致,但是差异很小(如电气标准220V/110V等,变压器可适应该差异)应答:网格和云计算等信息技术的标准在迅速发展网格协议WebServiceLinux、Hadoop等开源软件Java\C#等具有相当一致性的网络编程工具第51页，共58页，2023年，2月20日，星期四IT的技术演变（4）IT技术演变的挑战挑战2:降低复杂性随着单一大型主机环境演变成网络化计算环境,系统的复杂性在增加应答:虚拟化和虚拟系统已经存在并发展虚拟I/O虚拟内存虚拟存储池云计算的挑战在于如何通过Internet使计算资源虚拟化第52页，共58页，2023年，2月20日，星期四IT的技术演变（5）IT技术演变的挑战挑战3:访问透明性隐藏在易用接口之后的庞大复杂的基础设施对用户而言是透明的,它无须关心也不必知道应答:通过开放网络协议可以实现异构资源的透明共享,覆盖了各种异型操作系统和文件系统的差异性,构造虚拟操作系统LinuxWindowsAIXSolarisHP-UX…第53页，共58页，2023年，2月20日，星期四IT的技术演变（6）IT技术演变的挑战挑战