VR虚拟现实技术入门

VR来了虚拟现实技术入门目录\h第一篇是幻象还是真实？\h第1章认识虚拟现实\h虚拟现实（VR）：虚拟全新的现实世界\h现实增强（AR）：在现实空间上添加一点不真实\hMR、AR与VR\hVR技术的内容开发\h第2章从科幻到科技\h萌芽期（1963年之前）\h概念产生期（1963—1990年）\h初步商业化（1990—2011年）：前浪死在沙滩上\h第二篇当幻象和真实重合\h第3章虚拟现实的第三次发展高潮（2012—2016年）\h点燃市场的Oculus\h为什么会有延迟，如何减少延迟时间？\h从“收件箱”到“戴到头上”\h索尼的“梦境之神”项目\hHTC又回来了\h与众不同的GoogleCardboard\h微软用“黑科技”探索未来\h三星，定位在“夹缝”中的VR\h第4章商业化的虚拟现实\hVR是未来\h虚拟现实的商业展望\h第三篇通过VR，我们看见商业的未来\h第5章虚拟现实\h虚拟现实+社交\h虚拟现实+购物\h虚拟现实+影视\h虚拟现实+教育\h虚拟现实+医疗\h虚拟现实+旅游\h虚拟现实+游戏\h虚拟现实+汽车\h虚拟现实+房地产\h虚拟现实+主题公园\h虚拟现实+人工智能\h虚拟现实+太空探索\h虚拟现实+养殖业

第一篇是幻象还是真实？什么是现实？现实就是梦境，是假象：我是你眼中的幻象，你也只是我眼中的幻象。——斯坦利·温鲍姆《皮格马利翁的眼镜》（Pygmalion'sSpectaclesbyStanleyG.Weinbaum，1935）什么叫“真”？你怎样给“真”下定义？如果你说“真”是你能感觉到的东西，你能闻到的气味，你能尝到的味道，那么这个“真”就是激发你大脑产生化学反应的电子信号。——《黑客帝国》（TheMatrix，1999）我们一直没有进入过大脑的新区域，此刻我将唤醒人类最古老的记忆。通过这项技术恢复几个世纪以前咒法家和炼丹家所掌握的那些知识和技能。人类丢失那些知识，现在我正恢复它们，通过虚拟现实。——《天才除草人》（TheLawnmowerMan，1992）距离制造达摩克利斯之剑的时间已经过去了半个世纪，这半个世纪以来，人类对“虚拟”的探索从未止步，无数哲学家都将“虚拟”和“现实”上升到生命形态学的高度来思考。科技工作者们却没有将这两个概念分离，而走上了另一条道路——统一化。于是一个新的课题由此产生，并随着人类科技持续的爆发式增长走向了两条截然不同的道路——虚拟现实和现实增强。这两者虽然在拼写上比较相似，但无论从技术还是场景上都有着很大的差别。虚拟现实（VR）：虚拟全新的现实世界几年前，当有人提及“虚拟现实”技术的时候，大部分人还是会自然而然地联想到好莱坞的科幻电影。但随着科技新闻逐渐占据媒体的醒目位置，以Oculus为代表的头戴式设备吸引了全世界的目光，虚拟现实似乎和头戴式显示器HMD（head-mounteddisplay）画上了等号。从传播学的角度而言，这是很好的事情，因为将事物表象化，更有利于传播。广泛意义上来说，这是对于虚拟现实的通俗解释：虚拟现实技术包括模拟环境、感知、自然技能和传感设备等各方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的虚拟现实应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等，甚至还包括嗅觉和味觉之类，也称为多感知。自然技能是指由计算机来处理与参与者的动作相适应的数据，比如人的头部转动、眼睛移动、手势或其他人体行为这样的动作。计算机对用户的输入做出实时响应，并分别反馈到用户的五官。现在被广泛用来推广和宣传的虚拟现实头盔，其实是相对初步的虚拟现实技术，因为它们仅完成了视觉上的模拟。但其他虚拟现实技术其实已经悄然出现在人类生活中许多许多年了。早在20世纪，听觉上的模拟就已经出现了。如果是关注科技领域新闻的人，一定听过声音保真记录公司（AFR，AudioFidelityRecords），这家公司曾在1957年第一次将立体化声音引入商业领域。图1.1人类最初使用“立体声”的工具是录音机1957年对立体声来说意义重大，跟此前的单声道音响不同，立体声的做法是使用两个或以上的音频，导致声音的方向律和音场发生变化，改变声音记录的方式。由于立体声包括了多个音频，跟单声道优劣明显，一时间，它成为人们试听和录音的主流，直到现在。如果追溯人类对视觉模拟的历史，那真是一篇需要穷尽终生才能书写完的巨著。因为这一历史的起源，可以追溯到公元前400年左右的古希腊。当时古希腊数学家欧几里得（Euclid）推导出了几何学，在其著名的《几何原本》（）一书中，他写道：“人类之所以能洞察立体空间，主要是因为左右眼所看到的景物不同而产生。”也就是说，人们知觉物体的距离与深度，主要依赖于两眼提供的线索。后来这种现象被叫作双眼视差（binocularparallax）。双眼视差对知觉深度和距离有重要的意义。当物体的视像落在两眼网膜的对应部位时，人们看到单一的物体；当视像落在网膜非对应部位而差别不大时，人们将看到深度与距离；两眼视差进一步加大，人们将看到双像。双眼深度线索随距离的增加而变化，当超过一定距离时，双眼视轴平行，双眼视差为零，对判断距离便不起作用了。实际上除了古希腊之外，古印度、古阿拉伯和古中国，都有对于视差的相关研究和探讨，但并没有深入地研究这个问题。直到1838年，英国著名的物理学家查尔斯·惠斯通（CharlesWheatstone）利用双眼视差原理才发明出可以让观看者看出立体画面的设备（见图1.2）。图1.2查尔斯·惠斯通发明的立体画面显示设备我们使用的3D（三维，threedimensional）立体视觉模拟技术也是利用双眼视差原理，无论是电影院里的3D电影，还是自己家中的3D电视，甚至现在的虚拟现实头盔或者VR眼镜，都是通过计算机和显示成像技术对左右眼分别提供一组视角不同的画面、一个双眼视差的环境，从而让人感知立体画面。早在20世纪40年代，美国、英国和苏联的科学家都对银幕上的立体电影进行过系统的研究。但因为当时的世界政治背景，这些研究多用于军事和飞行员的训练，而无法普及。现在的技术原型是由20世纪50年代好莱坞制作的一系列立体电影所奠定的。现在全世界范围内应用得较为广泛的3D立体显示技术，主要依靠投影技术和显示器技术来实现，而投影系统和显示器又分为主动立体和被动立体两种立体模式。如何理解主动立体和被动立体，主要看显示设备是主动分成两组画面还是被动分成两组画面。所谓的主动立体是由显示设备切分成两组画面，因此造成的立体感效果优异，观看者的头部前后左右移动可以看到相对应的图像，沉浸感体验极佳。然而，缺点是由于生成画面到达观看者视网膜有视差的时间，会给人眩晕感。至于被动立体，常见于3D电视或电影，原理是显示器通过偏振光片\h[3]将画面拆分，用户再通过佩戴偏振光片眼镜达到立体的效果。被动立体投影系统一般需要两台投影机上下叠加，并且在每台投影机前加一个偏振光片。两个线偏振光片以90°的角度差分别放置在两台投影机前，3D眼镜也以90°的角度差分别安装，这样就能保证两只眼睛可以分别看到两组不同的画面了。概念和定义是帮助人们对某项事物进行认知和学习的，对于发展和创新则不能拘泥于此。当下如火如荼的虚拟现实头盔或者VR眼镜就不能简单地划分成主动立体和被动立体了。对于这一类设备，我们有一个较为专业的统称——头戴式显示器。现在VR主要的定义，可体现在以下三点：1．全视角的虚拟画面。就像你拍摄的360°全景照片一样，只不过VR是“制造”一个实时动态的360°可见的世界，作为进入虚拟世界的基础。2．虚拟世界和现实世界的同步。首先了解使用者头部或者眼部的旋转动作，甚至侦测行走距离，然后快速、准确地反映到虚拟世界中去。比如抬头或低头所引起的视角变化，虚拟世界中画面也会转相应的角度，这个是最重要的。人们常说戴上VR头盔、眼镜的时候有眩晕感，这个眩晕感就来自于不同步（后文中我们将花更长的篇幅讨论引发这一情况的原因）。3．控制系统。根据人体工学，培养全新的使用者习惯，让使用者通过控制器完成对虚拟画面的控制。不过因为现在各VR制造商的产品规格和技术不统一，所以控制系统暂时还没有一个统一的标准。不过目前的厂商都是通过一个外界的操作设备来完成的。现实增强（AR）：在现实空间上添加一点不真实相较虚拟现实（VR），现实增强（AR）是相对容易被误解的，因为它不是单纯被创造出来的。所谓现实，就是我们肉眼看得到的、耳朵听得见的、皮肤感知得到的、身处的这个世界。广义地说，在现实的基础上利用技术对这个现实增添一层相关的、额外的内容，就可以被称为现实增强。举个例子，在电影《钢铁侠》（IronMan）中，无论是从钢铁侠的盔甲中看到的复杂计算数据，还是强大计算机所呈现的全息立体图形图像，其核心技术都是现实增强技术。现实增强目前的重点和难点也就在于和现实空间叠加显示的新内容维度。引用Oculus首席科学家迈克尔·亚伯拉什（MichaelAbrash）的话，“VR是假的，一切都是假的，但是尽量让你的感受是真实的；AR不完全是假的，或者说AR是半真半假的，是结合真实存在的场景并加入了某些虚拟物体，同时提供动态显示效果的技术，是在真实物体上加上一些不真实。”\h[4]基于现实增强技术可以把我们的常用需求通过实景和虚景的结合在用户面前呈现，进而实现查询搜索信息、位置等功能。现实增强所呈现的场景和画面更贴近真实，用户也可以利用该技术在真实和虚拟的场景中实现更多的交互（见图1.3）。图1.3现实增强技术的显示界面虽然虚拟现实和现实增强的名称中都有“现实”（reality）这个词，但是二者实现起来的技术核心却有很大的不同，AR需要将“信息”与场景进行结合，而VR的核心则是运算技术。我们身处的现实世界十分复杂，即使仅仅从视觉上看，也并不是一个简单的三维空间。在一个三维的空间里，人们可以控制视角的前后上下左右移动，但是在现实世界中，人们在摆动头部的同时也会进行眼球的转动，如果再加上脚步，就是一个十分复杂的运算过程了。其实VR和AR并不难区分，只要想想它们的使用场景和实现技术基本上就清楚了。在维基百科上有这么一段定义：“1994年保罗·米尔格拉姆（PaulMilgram）和岸野文郎提出了现实—虚拟连续统（Milgram'sreality-virtualitycontinuum）。他们将真实环境和虚拟环境分别作为连续统的两端，位于它们中间的被称为‘混合现实（mixedreality）’。其中靠近真实环境的是现实增强，靠近虚拟环境的则是扩增虚境（augmentedvirtuality）。”任天堂：天才工程师的遗愿PokemonGo曾经在任内卖出3亿5000万台掌上型游戏机NDS与1亿5000万台体感游戏机Wii的岩田聪在2015年7月11日因癌症过世。他是游戏设计师出身，后来成为任天堂第一任非家族成员的社长，被誉为游戏界的天才。在他担任任天堂社长晚期，这家游戏公司正面临巨额亏损与后继无力的窘境，但恰是在岩田聪与病魔搏斗的那一年，任天堂开始了跨足AR领域的计划：PokemonGo！若岩田聪地下有知，应该会对这款结合超级大IP口袋妖怪、现实增强技术、GPS地图定位技术的手机游戏所达到的成就欣慰不已。PokemonGo才上市一天，就已经在全世界掀起狂潮，单日下载量超过脸书达到2100万次，首波开放的澳大利亚、新西兰、美国等地，掀起了玩家群到户外收服皮卡丘、杰尼龟的景象，如同嘉年华盛典，还没开放的各国玩家跨区登录，让任天堂原本设定试水的伺服器不堪负荷，不得不进行锁区控制，当然，任天堂的股价也应声而涨，不到十天，涨幅高达六成。这家已经有127年历史、以纸牌游戏起家的全球游戏巨擘无疑在VR/AR的风口上迎来了久违的春天，但PokemonGo专案早在岩田聪还在任社长时就已经启动。此一专案来自三家各拥有不同专长的公司：结合地图定位与现实增强技术的Niantic、拥有IP的口袋妖怪株式会社、具备全球游戏发行能力的任天堂。Niantic是在2010年由约翰·汉克（JohnHanke）所创立，当时是Google的内部的创业公司，因此命名为NianticLabs，它推出的现实增强游戏代表作《Ingress》在全球创下超过1200万次下载量，虽然代表作成绩不错，但当Google组织重整时，Niantic也顺势脱离Google成为独立开发商。虽说几年前在欧美就开始有了线下寻宝、探险互动的游戏，但这类游戏因为地标过于分散等原因而没有做起来，Ingress作为全球第一款基于GPS、AGPS定位的AR互动游戏，观念超前，虽然称不上爆红，但也引来了Google、任天堂与口袋妖怪株式会社三家公司的关注，立刻吸引了合计3000万美元的融资。当然，在任天堂与口袋妖怪两家公司投入资金后，它马上拿出手上“镇社之宝”口袋妖怪系列游戏，与原本Niantic的专长一结合，变成了现在红透半边天的PokemonGo。按照目前的态势发展下去，PokemonGo有可能成为史上最受欢迎的AR游戏，这样的成功为AR游戏起到一种全新的示范作用：非常简洁的使用者界面、不需要太复杂的辅助硬件（只需要一个PokemonGoPlus蓝牙手环或胸针），并运用消费者现有的工具来实现所有的运用，将现实增强的功能回到最基本的功能，好让智能手机可以运作，横跨两代人的超级大IP的加持，让玩家马上产生使用的冲动。而在游戏本身的讲究也是卖点，例如地面系、火系、水系、格斗系等各种不同形式的妖怪在游戏中的分布，与现实环境的温度、湿度、天气、风向完全相结合，例如在有水的地方才找得到水系的妖怪，地理环境的设定让游戏产生了更多互动的趣味，从初期引发“上街收怪”的热潮来看，IP内容与技术实现的完美结合功不可没。在2016年被称为“VR元年”的同时，AR的发展其实是颇受压抑的，Google在2012年4月推出了GoogleProjectGlass，是具有现实增强功能的智能眼镜，但在坚持三年后被暂停。虽然在Google宣布暂停后的第三天，微软紧接着发布了HoloLens全息眼镜，但高达3000美元的售价，仍被视为是实验室中的产品。虽然如此，市场仍然认为AR领域有巨大发展前景。根据市场调研公司Digi-Capital的数据，到2020年，AR的市场规模将达到1200亿美元，远高于VR的300亿美元。我们或许能从PokemonGo的成功得到一些启发，或许AR业界从一开始对于AR技术的想象就不现实，不成熟的全息投射、高运算负载、负担不了的电池技术，都成为发展的瓶颈，进而难以想象未来AR游戏的雏形。而PokemonGo的推出将这些幻想带回现实，业界发现原来借助现有的移动技术、传感设备、定位追踪系统等等也能实现较好的AR商业化效果。这为AR的演进提供了一个缓冲。相比完全沉浸式的VR体验，AR技术在图形、UI设计上要求大为减少，这有助于降低图形处理器的运算负荷。从PokemonGo的案例来看AR对于现有技术设备（包括操作系统平台、移动设备等）的重利用率要远高于VR，智能手机就是能简单实现AR效果的硬件平台，而实现VR则需重新设计硬件，或许这是AR早一步实现普及的关键之一。任天堂在1995年就推出了VR设备VirtualBoy，但却是铩羽而归，成为这家成功游戏公司心头永远的痛。如今PokemonGo的推出能否再造天才工程师岩田聪在任时的荣光，打造出继Wii之后的另一个传奇，这不仅是游戏圈关注的重点，也是VR/AR发展的一个里程碑。MR、AR与VR“人文智能”（humanisticintelligence，HI）的概念由穿戴电脑之父，加拿大多伦多大学的史蒂夫·曼（SteveMann）教授于20世纪90年代提出（见图1.4）。图1.4史蒂夫·曼提出HI概念的期刊封面HI的重点在于“人机共生”，跟“人机交互”（HCI）不同。传统上人机交互指的是把人跟计算机切分成两个独立个体，人通过鼠标、键盘、耳机麦克风、触屏来达到与计算机之间的互动。但“人机共生”则是把电脑与人视为一个整体，建立在HI论述上的智能眼镜，形同于人的第二个大脑，辅助佩戴者进行思考与决策。HI描述的是“零距离”的人机关系，所以HI的实现就需要人与机的紧密结合，而所有人机交互中，智能眼镜可以把需要传达的信息实现到最大化。从大方向来说，实现HI所需的系统有三种运行状态：第一，系统必须持续运作，可以进入睡眠状态，但不能关机，它是处于待命状态的运作模式（见图1.5）。就像我们使用手机的习惯一样，它被称为恒定状态（constancy）。恒定状态是智能眼镜的第一步，如此才能做到人机互相交换信息，共同作业。图1.5人机交互的系统恒定状态第二，传统的人机交互运作的观点通常把计算（computation）本身作为最主要的任务；然而，HI的观点是把计算融入更重要的任务中，就是人在用电脑的同时，还在做一件别的事情（见图1.6）。而通常来说，这件对于计算机来说的“另外的事情”才是这个人机共同体的主要任务。图1.6融入计算任务的人机交互状态这就像是我们在使用导航，主要的视觉来自于路面，导航显示的途径只是视线范围的一个角落，另外还有语音辅助。从引导路径的结果来看，计算机所规划的路径并非唯一方案，驾驶如果要选择其他路径，电脑就会重新规划路线，人可以同时接受来自真实环境与虚拟图像的信息，人脑与计算机之间的模式，就实现了增强模式。第三，当上述两个状态可以被某种系统实现之后，这个系统可以将人机更紧密地结合起来。计算机在此时输入和输出就与人的感知和运动无缝地连接在一起了（见图1.7）。就如同智能眼镜，使用者看到的是自然环境与数字信息的整合，但佩戴者很难分辨他所看到的东西，哪些是真实环境，哪些是电脑生成，这样的视觉让人的感官得以接受更多的信息，感受更为强烈，从某种意义上说，增强了人类利用视觉接受大量信息的能力。图1.7人机无缝结合时的交互状态对于人类来说，听觉和视觉信号是可以数字化的信号，而视觉信息所能传递的信息量远比听觉大得多。因此，计算机的交互发展会以视觉为主导。智能眼镜当中涉及的概念VR、AR和MR，即虚拟现实、现实增强和混合现实的实现也必须以上述三个方式来运行。结合三个模式并可以相互转换的话，我们就有了一个完整的HI示意图（见图1.8）。图1.8完整的人文智能（HI）示意图如果更简单地说明这三者之间的关系，我们可以这样理解：VR是纯虚拟数字画面（purevirtualdigitalimage），而AR是虚拟数字画面加上裸眼现实（purevirtualdigitalimage+naked-eyereality），MR是数字化现实加上虚拟数字画面（digitalreality+purevirtualdigitalimage）。从概念上来说，MR与AR更为接近，都是一半现实一半虚拟影像，但传统AR技术运用棱镜光学原理折射现实影像，视角不如VR视角大，清晰度也会受到影响。MR技术结合了VR与AR的优势，能够更好地将AR技术体现出来。可以说，VR与AR都是MR的子集合，MR的代表就是微软的HoloLens眼镜，它可以在现实环境的基础上，呈现出全虚拟的影像，像是你看得到对面正在讲话的人，但周边的环境是火星的表面。但若是VR要呈现相同的场景，除了火星环境是虚拟的，对面跟你讲话的人也必须是虚拟的。至于AR，则无法建构一个虚拟的环境，只能在现实的环境下把虚拟的物件丢上去，像是一台火星探测车出现在你的房间中。一副MR的眼镜可以做AR和VR的事情；AR的眼镜可以做VR的事情；而VR就是VR。VR技术的内容开发怎样用VR来讲一个故事？刚开始起跑的VR，正处于内容远逊于硬件开发的阶段，简单说，这种技术太新了，还没有多少人懂得如何用VR的语言来说故事。前高盛集团（GoldmanSachs）投资家马尼克·布汗（ManickBhan）曾撰文分析了目前虚拟现实（VR）需要解决的表述语言问题：究其原因，虚拟现实在影片领域存在的最大问题是其缺乏一种连贯顺畅的表述语言。这里所说的语言，既不是指口头语言，也不是指类似于HTML这种实现技术的编码语言，而是一种连贯的表现方式，是指包括拍摄、剪辑甚至摄影机在内的一种视觉表现手法，是诸如马丁·斯科塞斯（MartinScorsese）和乔治·卢卡斯（GeorgeLucas）等著名导演呈现给观众的精彩画面。这种表现方式的缺陷，日益成为虚拟现实影片发展的瓶颈。例如很多设备的体验只能在特定时间使观众专注于一个特定场景，场景之间的切换也很不流畅，往往破坏了虚拟现实应有的沉浸感，而沉浸感恰恰是虚拟现实技术的首要特点。目前，虚拟现实依旧采用传统电影的表述方式来讲故事，这是与用户体验冲突的现实问题。但好消息是，我们有时间解决这个问题。传统电影在1890年左右面世。在托马斯·爱迪生（ThomasEdison）新泽西州的实验室里，早期的电影记录了一些人们打拳、打喷嚏以及情侣接吻等片段。当时的观众虽然清楚这些影片的画面，却并不确定它们所表现的意义。传统电影的表述方式对于我们来说是简单的，但对于120年前的观众，却是一个看待世界的新奇体验。我们不妨把现在VR对比120年前的电影，可以想象在当时这个行业的专业技术人员一定非常稀少，懂得操作镜头的摄影师，可以把故事编写成剧本的编剧，拍下来的影像通过修剪使其连贯的剪辑师，没有太多人懂得如何做这些工作。同样，今天传统电影的摄影师、编剧、后期剪辑特效人员，对如何用VR说好一个故事，也非常茫然。这是因为VR依旧处于试验阶段，要讲好一个VR的故事很难。正是因为如此，很多的虚拟现实平台认为游戏是VR技术发展的第一步，游戏开发商TelltaleGames开发主管乔布·斯托弗（JobStauffer）表示：“我们目前做的，就是转换传统的电影表述语言。如果你对比一下虚拟现实和现有的电影语言，就会发现虚拟现实用的完全是另一种语言。我们要做的就是将传统的电影语言转换为场景语言，这是一个全新的工作。”VR内容制作现在碰到的瓶颈，其实不在硬件方面，比如360度的全景摄影机有几个镜头，或者头戴VR显示器的观看体验如何。在中国香港上市的好莱坞特效公司数字王国（DigitalDomain）已经尝试在戏剧、体育、演唱会、文化、教育、旅游、游戏、商业应用等相关领域制作VR内容了。数字王国表示，现阶段VR拍摄的基本架构，除了360度的全景摄影，还要经过专业的特效设计及后期制作，才能制作出真正的VR影片。光是360度全景影片本身，无法构成VR体验所需要的沉浸感。特效设计及后期加工要做到的就是“一般人平常遇不到的事情”，让人们体验之后能够到达另一个空间。例如，你可能从来没去过威尼斯，VR影片带你亲历其中，给你一种“我去过，我看过，我感受过”的感觉。数字王国和华纳音乐让观众过了把“我是李荣浩”的瘾如果是传统的平面影像，所有的观众其实都在扮演旁观者，不会参与其中，真正的VR观影者不是旁观者，他们必须是亲历其中的主角，比如戏剧里的男主角或女主角，于是，整个对白与故事的发展都会建立在主角的视角上。那么，如何转换成VR讲故事的方法呢？你要优化剧本，改变演员，改变导演。数字王国举例说，像拍摄演唱会，舞台的前后左右上下都会入镜，包括摄影机周边的人，“我们会对导演说，要穿得好看一点，因为导演本身也会是影像的一部分，这跟传统电影摄影棚只有四台机器之间切换，导演不会出镜的情况有很大的不同”。“演员也不一样，以往演员对着摄影机，是当作一个‘物’在面前演，但现在对着VR摄影机，面对的是一个假想的人。比如VR摄影机代表的是跟男主角对戏的女主角，这种演法跟男女主角在摄影机面前谈恋爱也大不相同。”传统的拍摄观影者都是旁观者。以数字王国跟华纳音乐合作制作男歌手李荣浩演唱会的VR影片为例，传统的演唱会专辑不会用歌手的角度来拍，换句话说，观众不会有机会当自己是李荣浩，但是VR影片可以让观影者觉得“我就是李荣浩，我就是歌手”。“有些人的梦想就是自己当歌手，过当明星的瘾。你在VR影片中往前看是台下观众的反应，往后看，则是合作乐团的互动。”数字王国表示，“像我们最近在做TFBoys（中国当红的偶像团体）的MV。当我们用其中一位团员的视角时，其他两位团员的声音是要调到有方向感而且比较远的位置，用声音来表达距离与方向的临场感。以前只有平面影像的时候，声音这件事没有这么难。现在挑战就大了。其实也不是做不到，我们都知道，在录音室没有什么声音或音效是做不出来的，只不过音效人员的想象力得要更丰富才行，而且VR影片的播放设备也得能配合。”VR会给观影者很多不同的选择。看观影者要扮演什么角色，是观众、歌手，还是工作人员。一个好的VR，应该是提供许多不同视角的模式来让观众选择要当哪一个角色，去参与或投入到哪一个故事。拍摄的难度也在于此，不论是导演还是摄影师，都必须要有传统摄影之外的想象力，要拍下旁观者以外的各种角度。VR电视剧也一样，以正在筹备的VR电视剧为例，具体的做法是，导演先选择戏里最合适的两个重要场景，让合作方数字王国制作两三段影片，第一段影片中，观众视角是女主角，在影片中跟男主角对戏，因为女主角只有一位，男主角却有很多，所以可以用女主角的视角跟一群男演员互动，这对女性观众来说是很特别的体验。第二段是用第一男主角的视角跟女主角对戏，目标是喜欢女主角的男性观众群。第三段就是一般的观众视角。必须用第一人称VR电影跟传统电影也有很多不同之处，目前看来最明显的是观影时间。虽说理论上要做一部100多分钟的VR电影并不难，只要够成本都能做到，目前实验性的动画VR电影也有90分钟的长度，但暂时很难要求消费者长时间集中精神观看，一是因为目前为止VR头戴设备大多只能支撑20分钟的体验，超时就容易产生不适感，二是由于360度的全景摄影元素太多，看30分钟VR影片，相当于看了2小时的电影。所以VR导演要用第一人称视角来讲故事很重要，就像传统电影要引导观众一样。平面的电影导演可以用运镜、场景营造来引导观众接收信息，但VR导演面临的更大挑战是，引导观众的工具不一样了。为什么VR影片中的第一人称观众视角如此重要？因为这是引导观众进入故事的唯一方法，如果都是第三人称，观众就很难进入剧情，结果就是没看多久就累了。数字王国分享了在VR电影制作上的实际做法：“我们从场景的角度来思考，一部电影挑最精彩的10分钟，在不改变原故事的前提下，用场景重新写剧本、讲故事。通常一部电影，我们的VR团队会希望拿到里面最精华的三四个场景，重新用这些场景来编写故事。”这样制作出来的VR电影便可以提供观众另一种不同的观赏体验，对传统电影有互补功能。现在中国已经有VR的体验店及小厅院，每厅约为100平方米，大约有20—30个座位，此举可以让观众通过10分钟的VR体验欣赏甚至置身于电影场景中，观赏完就到隔壁厅去看完整的电影，或回家后上网用VR设备重新看。在综艺节目VR化方面，数字王国因为有谢霆锋这位明星股东，也曾制作过谢霆锋主持的节目《12道锋味》的VR部分。真正的VR综艺节目在亚太地区皆属少见，《12道锋味》每次拍摄出机时间只有几天，而因为VR版本需要独立拍摄，不能利用拍节目的空当，所以，为了满足那3分钟的VR镜头，艺人需要另外腾出半天的时间配合。这必须投入大量的时间资源，需要各方团队配合。两件难事：敲定演员时间、填满VR内容根据目前数字王国累积的拍摄经验，拍VR的难度不全在技术，很大的部分是出在人身上，比如演员。大牌的时间很难敲定，而且现阶段VR内容的票房潜力也有待商榷，如何说服艺人、经纪人、制作人、导演共同配合，是每一次拍摄都会碰到的问题。但还是有很多演员为了新鲜有趣，愿意花时间投入。比如早前跟优酷合作的VR短片《黑童话》，中国知名演员黄晓明就给了很大的支持，也是因为这些人的努力，才能一点一点地改变整个产业。目前数字王国已经有很完整的VR团队，团队中会有一个专属的导演和创意人员。VR导演使用的技巧、想出来的创意是完全不同的，所以负责传统与VR的两位导演必须互相配合。VR团队中的导演和摄影师都必须独立，编剧则可以共用和协调。这是因为VR拍摄不会改动主要的故事线，但编剧要有全景摄影的概念，根据VR需要的视角去改台词讲故事。此外，工作量负荷最大的当数特效、剪辑、音效等后期制作工程，传统影片只需剪接一面，VR则是多面，至少包括前后上下左右。这是与传统影片最大的不同。VR的后期制作人员要考量的东西会多很多。数字王国认为，现在制作VR内容上所面临的挑战，还是市场普及性的问题。市场上的确有非常多的资金涌进这个新兴产业，但是VR概念对大众来说还是太陌生，在这种情况下，业内人士说服其他人来投入制作VR内容，就要花更多的力气。另外，哪种VR内容最受欢迎也莫衷一是，因为现在VR的内容跟看VR的人都不多。VR平台目前最重要的工作，就是尽快填满各种类型的VR内容。数字王国也会拍摄很多不同领域的素材，上传到平台测试流量。“可能简单的内容，才是真正消费者想要的。”归根结底，现在很难去定义VR的表述语言。未来几年，这种语言将通过不断的实验和试验渐渐清晰起来，而现在加入到VR产业的每一个人都将或多或少地对其产生影响。无论对于开发者还是消费者，这都是令人激动的发展未来。不远处，奇迹正在发生。\h[3]“偏振光”技术大部分运用了一种称为“圆偏光镜”的物理原理，将光线分成顺时针和逆时针两个偏转方向，顺时针转的光只能穿透对应的偏光镜片，逆时针转的光亦然。利用这样的原理，就可以确保两只眼睛看到两组不同的画面。偏光镜眼镜的单价低，不过投影机的系统价格比较高昂，要么是在投影机前装置一个能快速（每秒48次）改变偏光方向的偏光镜，要么就是要采用双投影机。\h[4]MichaelAbrash：题为WhatVRCould，Should，andAlmostCertainlyWillBewithinTwoYears的演讲，SteamDevDays，2014年1月。萌芽期（1963年之前）从科幻小说走出来的TelesphereMask其实伊凡·苏泽兰的达摩克利斯之剑还不算是最早的VR产品。最早提出虚拟现实概念的，要追溯到英国作家阿道司·赫胥黎（AldousHuxley）1932年推出的长篇小说《美丽新世界》（BraveNewWorld），这本书以26世纪为背景，描述了机械化工作和生活的未来，人们安于现状，丧失思考的能力，人性被剥夺殆尽。这本书中提到“头戴式设备可以为观众提供图像、气味、声音等一系列的感官体验，以便让观众更好地沉浸在电影的世界中”。虽然在书中并没有关于这款设备的具体称呼，但以今天的视角来看，这显然是对于虚拟现实设备的一段前瞻性的描述。如果把1932年设定为幻想原点，那么虚拟现实从幻想走入大众市场已经花了84年，而图2.1所描绘的这款头戴式设备的原型图，直到23年后的1955年才由美国摄影师莫顿·海利希（MortonHeilig）着手设计。当时他发明了一台名为Sensorama的机器。Sensorama可以投射3D影像、立体环绕声、震动、气味和吹风效果，试图制造出完全仿真的体验。设备需要用户坐在椅子上，把头探进设备内部，通过三面显示屏来形成空间感，从而形成虚拟现实体验。图2.1莫顿·海利希设计的Sensorama五年后的1960年，海利希提交过一款叫作“TelesphereMask”设备的专利申请文件，其中描述这个设备的用途是“个人使用的立体电视设备”（见图2.2）。海利希的设备旨在吸引观众的感官，以提高他们的体验，他希望通过开发的设备，让人们完全沉浸在电影的世界中。有趣的是，因为海利希所设计的TelesphereMask，有人将他称为“虚拟现实之父”；而有些科普作品却将前文中提到的苏泽兰称为“虚拟现实之父”。不过可以肯定的是，这两位卓越的先驱者以自己不同的方式为全人类打开了真正的虚拟现实技术的大门。图2.2海利希设计的TelesphereMask的专利文件尽管TelesphereMask设计于半个世纪之前，但关注VR新闻的人依旧可以从这个设备上看出其与OculusRift、GoogleCardboard等设备之间有着很多相似之处。雨果·根斯巴克的Teleyeglasses1932年赫胥黎的小说启发了另一位伟大的作家，现代科幻小说的奠基人、“科幻小说之父”雨果·根斯巴克（HugoGernsback）。为了纪念根斯巴克，世界科幻协会将每一年的“科幻成就奖”命名为“雨果奖”（HugoAward）。这位在文学史上树立丰碑的作家，也同样把自己的名字留在了VR先驱者的名单里。根斯巴克在美国的《生活》（Life）杂志中又对虚拟现实设备做了设想，他描述中的VR设备已经更加具体并且有了名字——Teleyeglasses，当然这是根斯巴克所创造的词语，意思就是电视+眼睛+眼镜（television+eye+glasses），也就是戴在眼睛前的电视设备。这款头戴式电视设备在正面还拥有几个旋转式的按键，同时还有两根长长的天线。它外形古怪，确实符合那个时代科技产品的惯有特征：夸张的外形与天马行空的想象力。图2.3雨果·根斯巴克设想的Teleyeglasses视觉显示终极武器1961年，在创建VR头盔“达摩克利斯之剑”以前，伊凡·苏泽兰早期致力于创造一个“通过玻璃看到数学仙境”的虚拟现实和现实增强系统，叫“头部跟踪技术（Headsight）”。他将其称作“画板”（Sketchpad），于1965年制造。这是第一个交互式图形软件。使用画板显示的3D影像是粗糙的，但它是虚拟现实——甚至在“虚拟现实”这种说法出现的十年以前。对于现在购买OculusRift的人们来说，他们的新玩具起源于一个绝密的军事项目。Philco公司的工程师们把一个视频屏幕和基本的磁性头部跟踪系统融合到一个头盔上，然后将一切都跟闭路电视连接起来。近距离和亲身调查的工作有时太危险，这款被称为Headsight的设备为人们提供了远程监测的机会。伊凡·苏泽兰所制造的“达摩克利斯之剑”之所以被称作人类历史上第一台虚拟现实技术原型机，是因为这台设备定义了虚拟现实的几个要素：1．立体显示：“达摩克利斯之剑”使用了两个1英寸的CRT显示器，能够分别显示不同视角的图像，以创造立体视觉。2．虚拟画面生成：进行实时计算渲染，生成角度不同的图像。3．头部位置跟踪：“达摩克利斯之剑”使用了两种方式对头部位置进行跟踪，机械连杆和超声波检测。在1968年，这个看似简陋的原型有三个超声波发生器和四个接收器，用来跟踪头部运动。4．虚拟环境互动：“达摩克利斯之剑”似乎对不起自己华丽的名字，因为这台设备唯一的互动手段只是双手操作的把手。5．模型生成：人们使用这个设备的时候，能看到一个简单的立方体，这个立方体会随着人视角的变化而变化。熟悉计算机发展史的人能够想象那个时代的计算机是多么庞大。在巨无霸式计算机时代，这款“达摩克利斯之剑”的体形也不出意外。因此，不得不把它和天花板相连来减轻重量。正是因为跟踪用户视线的巨大机械臂必须悬挂在空中，伊凡·苏泽兰才将它命名为“达摩克利斯之剑”（见图2.4）。图2.4悬在观者头上的“达摩克利斯之剑”另外，“达摩克利斯之剑”也是人类第一台真正意义上的头戴式可视设备，之前提到的TelesphereMask和Teleyeglasses，并没有真正制造出来。概念产生期（1963—1990年）虚拟环境看到虚拟物体的人们会进一步想去控制这个虚拟物体，去触摸、移动、翻转这个虚拟物体——基于从20世纪60年代以来所取得的一系列成就，1971年，计算机巨匠弗雷德里克·布鲁克斯（FrederickBrooks）研制出具有力反馈的原型系统Grope-II，用户可以通过控制“窗口”里的虚拟机械手去抓取一个立体的虚拟物体，并且能够感觉到虚拟物体的重量。1975年，迈伦·克鲁格（MyronKrueger）提出“artificialreality”（人工现实）的概念，并且演示了一个称为“录像场域”（Videoplace）的环境。用户面对投影屏幕，摄像机抓取的用户身影轮廓图像与计算机产生的图形合成后，在屏幕上投射出一个虚拟世界。传感器同时采集用户的动作，用来表现用户在虚拟世界中的各种行为。\h[5]1978年，发明家埃里克·豪利特（EricHowlett）发明了一种超大视角的立体镜呈像系统（见图2.5）。这个系统具有革命性意义，因为它尽可能地矫正了在扩大视角时可能产生的畸变，把静态图片转换为3D效果，他称之为LEEP（LargeExpanseandExtraPerspective，大跨度和超视角）。图2.5LEEP视野说明图不过由于缺乏资金，LEEP无法发展包括相机和图片显示器在内的全套方案，而柯达和宝丽来也没有对这个项目表示兴趣。最后，当时拥有一个名为“虚拟环境”（virtualplace，当时虚拟现实“virtualreality”一词还没有被创造出来）部门的NASA（美国国家航空航天局）对带相机的显示器感兴趣，于是也就成了它的主要客户。NASA将这个概念称为“VIVIED”（VirtualVisualEnvironmentDisplay，虚拟视觉环境显示器，见图2.6）。\h[6]“虚拟现实”这个词出现了1985年，计算机科学家贾伦·拉尼尔（JaronLanier）最先提出“虚拟现实”这一术语。贾伦·拉尼尔有很多标签：计算机科学家、互联网理论家、生僻乐器爱好者、思想家等等。2010年，拉尼尔被《时代》周刊选为“全球100位最具影响力的人”之一。他参与的项目都很有趣，比如微软研究院的“一个比空气轻的巨大轨道炮，用来发射飞船”，以及“重新定位地震”的推测战略，等等。图2.6NASA的VIVIED概念作为数字化时代的缔造人之一，拉尼尔提出“虚拟现实”一词时才20岁，当时正是第一代硅谷梦想家和人工智能幻想家开始崛起的年代。拉尼尔为虚拟现实一词提出了定义：利用电脑模拟产生一个三维虚拟世界，为使用者提供关于视觉、听觉、触觉等感官的模拟。早在1984年，拉尼尔就创办了非常著名的VPLResearch公司，而随着NASA对VIVIED概念的深入研究，它也需要寻找一家科技公司了。VPLResearch最终与NASA签订制作头戴式显示器的合约，并结合NASA技术率先推出EyePhone：这款头盔的售价高达1万美元。豪利特看到了VPLResearch这个具有潜力却十分昂贵的项目，在1989年，他试着推出自己的头盔，取名“Cyberface”，然而并没有获得想象中的成功（见图2.7）。图2.7豪利特推出的Cyberface“现实增强”是这么来的1990年，时任波音公司计算机研究部门首席科学家的托马斯·考德尔（ThomasCaudell）尝试给予那些为新777客机装配长导线的工人一些帮助。他们是这样做的：在一个6米左右的长板上，沿着挂钩把导线捆起来，然后把这些导线搬到飞机旁开始安装。但是要做到正确接线，工人们必须不断地一边看指导手册一边组装，让这件本来就棘手的工作更为复杂。这是一般的标准程序。考德尔和他的同事大卫·米泽尔（DavidMizell）提出了一个设想：给组装工人一个透明显示屏，显示长板上的导线应该连接到哪里。在波音777飞机的制造上尝试这样的事情有特别的意义，因为777是第一架在物理组装前完全通过数字化建模的飞机，所以实际上飞机所有组件在组装前就已经拥有计算机图像了。考德尔和米泽尔建造了一个让工人可以戴在头上的系统（见图2.8），但是，就像其他以少量虚拟信息覆盖现实世界的早期尝试一样，这项技术没有流行开来。很久之后，考德尔在接受访问时说，这个技术当时无法推广的主要原因，是当工人移动时，头部跟踪装置不够灵敏，而当时可穿戴电脑也远不如现在的强大。不过，考德尔为这一数字视觉技术的新类型想出了一个术语：现实增强。图2.8考德尔的现实增强技术初步商业化（1990—2011年）：前浪死在沙滩上Virtuality1000CS1991年，昙花一现的美国Virtuality公司曾经推出轰动全美的VR设备——“Virtuality1000CS”，这台设备的出现点燃了虚拟现实市场的星星之火。令人遗憾的是，这并不是一台独立的设备，它需要外接在个人电脑先驱者之一CommodoreAmiga3000型个人电脑上，这个设备包含头戴式visette显示器和一些控制器。不过令人吃惊的是，这第一台虚拟现实设备竟然能够支持实时多人VR游戏——尽管这些游戏很小，且游戏品种有限。“Virtuality1000CS”充分为当时的人们展现了VR产品的缺陷：显示屏的像素值仅为276×37；20fps的帧速率；售价却高达65000美元。虽然被赋予希望，但Virtuality1000CS的市场销量很小，依然是概念性产品。然而，它的出现却掀起了20世纪90年代短暂却飞速发展的VR商业化浪潮。世嘉3D眼镜1993年，世嘉（SEGA）推出了全球第一款真正商业化的虚拟现实产品——世嘉3D眼镜（SEGA3DGlasses，见图2.9）。这款眼镜是为了搭配第四代游戏机SEGAMasterSystem而生产的周边产品。SEGAMasterSystem最大的特点就是首次将FM音源导入主机内，以及手柄的自动连按功能。SEGAMasterSystem主机上面配有世嘉3D眼镜专属的接续插口。图2.9世嘉3D眼镜的产品外观当时的世嘉在主机的硬件优化方面相当出色，也得到许多用户的支持，可惜世嘉的软件设计并不出色，能够对应这款3D眼镜的游戏，仅仅只有四款（见图2.10）。而这跨时代的3D眼镜也并未引起轰动。在硬件支持非常落后的时代，世嘉用的3D技术并不是现在游戏中大量使用的多边形建模（polygon），而是一种以2D画面叠加的方式制造出的效果。尽管世嘉无与伦比的创造性和技术让当时让许多玩家感到吃惊，这项技术本身还是无法让大部分用户接受。游戏仅有四款，而且和3D技术并无直接联系。很快世嘉就推出了横扫欧美的16位主机，也就是有名的Mega-Drive（MD），然后，SEGAMasterSystem和世嘉3D眼镜慢慢消失了。图2.10世嘉3D眼镜的游戏画面任天堂VirtualBoy1995年，正当GameBoy在全球大卖时，任天堂（Nintendo）推出过一款VR游戏机VirtualBoy。由于营销仓促、游戏体验不佳，这款由GameBoy之父横井军平组织研发的游戏机总共销售了约70万台（GameBoy的全球发售数量超过2亿台）。VirtualBoy不是一款成功的任天堂游戏机，但它代表了人们在消费领域对虚拟现实技术的又一次大胆尝试。VirtualBoy是任天堂第一款32位游戏机，它搭载了一块由NEC公司开发的V810处理器，主频为20MHz，同时它集成了当时最高端的显卡。跟任天堂其他游戏机或者其他厂商的游戏机不同，VirtualBoy采用了头戴显示器的设计，内置两块384×224像素值的红色LED单色显示器，可以显示128级对比度的黑色和红色（见图2.11）。现在主流规格1080p的像素值已经到1920×1080，对比度也强化到百万甚至千万级，相较之下VirtualBoy的规格真称得上是古董级。这个设计非常具有前瞻性，基本上目前先进的虚拟现实头戴显示器都是以此为基础的，只不过搭载了更先进的屏幕。图2.11VirtualBoy的游戏画面一款成功的家用游戏机需要众多游戏资源支持，才能获得成功。在美国市场，一共有22款游戏支持VirtualBoy，这个数字并不太多；另一个问题是，几乎没有游戏真正得到VirtualBoy的精髓，即虚拟现实化的游戏体验，基本上仍为传统的2D横向游戏模式。在日本市场，VirtualBoy仅仅上市5个月便停止生产了，美国市场也坚持不到一年。横井军平因为这次超前却失败的尝试而离开了任天堂公司。在当时有人说VirtualBoy的失败来自内外部能量的共同夹击：一方面VirtualBoy的开发者横井军平的助手们拒绝参与游戏开发；另一方面世嘉的合作伙伴、日本著名的游戏软件公司史克威尔（SQUARE）由于并不热衷这个产品，导致许多VirtualBoy游戏计划大幅度延迟。这是20年前的产品，现在我们有充分的时间思考这一次商业创新失败的原因。VirtualBoy的使用者界面不友善，这是产品失败的首要原因。要使用VirtualBoy，必须先装上支架后放置在桌上，使用者必须身体前倾配合支架的高度与角度，不符合人体工学的设计，使用超过半小时便肩颈酸痛，减少了乐趣（见图2.12）。加上帧速率不够高，使用者产生了明显的眩晕感，甚至引起头痛，都是人们拒绝这款产品的原因。完全不亲民的价格则是VirtualBoy的另一个硬伤，180美元在当时并不具有真正的竞争力，即使有超前瞻的概念能够争取一部分用户的注意力，然而当时技术落后，无法让VirtualBoy达到让大众眼前一亮的效果。当时超前的产品还有很多，但绝大部分技术都花费了20年的时间，才真正走向普及。比如索尼公司在1981年推出的世界首台数码相机，因为数字储存技术的滞后而停止；又比如1983年苹果公司开发的“牛顿”（NewtonMessagePad），虽说是里程碑式的全球第一款掌上电脑，手写功能却并不完善，售价又达到700美元，导致乔布斯不得不将项目组直接解散；20世纪90年代中期微软发布的MicrosoftMail项目（MicrosoftOutlook的前身）也因为电子邮件远没有普及，不得不在20世纪90年代末期被迫停止。图2.12VirtualBoy的外观与使用示意SEOS与索尼20世纪90年代VR技术的发展高潮，随着VirtualBoy的退市而荣光散尽，而真正为这场盛宴画上句号的产品，是2000年发布的SEOSHMD120/40。SEOS公司是由欧文·温（OwenWynn）和斯蒂芬·埃尔默（StephenElmer）在1984年成立的一家提供沉浸式视觉显示器解决方案的公司，这家公司的不少作品都被用在美国军方战斗机飞行员训练器的设计上。作品之一SEOSHMD120/40在设计之初也被定义为美国飞行员的下一代训练器材，它的视角能达到120度，重量为1.13千克。但SEOSHMD120/40碰到了同样的问题，因为售价和专业要求太高而无法真正打开消费品市场。索尼公司也曾开发过类似于HMZ系列这样的“伪虚拟现实”产品，之所以这么说，是因为这个产品几乎没有任何虚拟化的功能，它只是一个头戴式的3D显示器。有些报道会将这个产品置于VR设备发展的历史长河中，但它实际上更多是被定义成“移动化媒体”。不过索尼的HMZ系列从外形上更接近如今的VR设备，而且娱乐功能更强（见图2.13）。它代表了未来影音产品的一种进化方向——更私人、更封闭、更便捷、更具备沉浸性。然而，结果跟那些早期产品一样，因为这款设备的高售价和低迷的用户反馈，索尼公司暂停了HMZ系列的更新。图2.13索尼HMZ系列产品的外观\h[5]MyronW.Krueger，ArtificialRealityII，Addison-WesleyProfessonal，1991.\h[6]Hai-Jew，Shalin，ConstructingSelf-DiscoveryLearningSpacesOnline：ScaffoldingandDecisionMakingTechnologies，IGIGlobal，2011.

第二篇当幻象和真实重合无论你想要什么，片刻之内，你都能体验到……信息科技将会是任何问题的解决方案，它会把你的潜在意识转为你有意识的觉察。——《头脑风暴》（Brainstorm，1983）我们的子孙会接受什么样的现实？是与自然世界一样，有着真实的树木、河流？还是住在800层的高楼上，用虚拟现实技术穿行于人造林之中？这可能是人类史上的一个转折点，我们会朝着虚拟体验的方向发展。——霍华德·莱恩格尔德《虚拟现实》（VirtualRealitybyHowardRheingold，1991）基本上，虚拟现实是我们自愿创造一个包裹我们的“茧”，而且它还会同步修改我们所处的环境。关于这个“茧”，我们能够确认的等熵过程只有它的制造材料——金属、硅和塑料。——达米安·布罗德里克《犹大曼陀罗》（TheJudasMandalabyDamienBroderick，1982）相信未来会发生的各种“不可能”。这仅仅是一个开始。——凯文·凯利（KevinKelly）在有些领域里，老式的虚拟现实技术已经应用很多年了。比方说，有些医生使用虚拟现实模拟手术，有些工业设计师用虚拟现实技术来查看他们设计的产品。在30年前，虚拟现实眼镜上的一个镜片成本就高达10万美元，价格非常昂贵，根本无法成为市场主流产品。当然也有其他原因导致早期的虚拟现实产品无法实现商业化。任天堂公司出品VirtualBoy套件，不少用户普遍反映在使用后感到恶心头晕；也有用户克服了生理障碍，但是很快就玩腻了：“在虚拟现实中玩一次游戏会发现它特别奇妙，但是20次之后就厌倦了。”经历了第一次高潮（概念产生阶段）和第二次高潮（初步商业化阶段）之后，2012年，虚拟现实进入了第三个发展高潮。直到今天，这个高潮仍然牵动着无数科技粉丝和投资商的目光。也许就在这次的发展中，VR能够实现真正商业化（普及阶段）的结果。点燃市场的Oculus2012年，3D游戏之父约翰·卡马克（JohnCarmack）在Twitter上发布了一张“用黑色海绵泡沫制作的蒸汽朋克风格双光眼镜”的照片（见图3.1）。他还在上面说：“这玩意儿用起来要更酷。”图3.1“用黑色海绵泡沫制作的蒸汽朋克风格双光眼镜”自从2006年任天堂发布了夺人眼球的家用游戏机Wii，改变了人们玩游戏的习惯之后，长达五六年的时间里，游戏市场都缺乏令人期待的新产品。直到约翰·卡马克的出现，这个被誉为3D引擎之父、3D图形加速技术奠基人的传奇程序员加入了Oculus公司，事情才有了转机。他的加入导致Oculus的博客系统瘫痪了。直到这个时候人们才开始逐渐关注这家当时还默默无闻的小公司，注意到他们的产品OculusRift——一个承诺突破技术，将虚拟现实真正带入游戏领域的产品。而Oculus公司的创办者、发明家和虚拟现实的狂热爱好者帕尔默·勒基也正式走进科技媒体的视野。1992年3月，电影《天才除草人》在美国上映。这部电影讲到了一种名为“虚拟现实”的技术，它将在世纪之交得到广泛应用，使人进入一个由电脑创造出来的、如同想象力般无限丰富的虚幻世界。它的创造者预测这种技术将为人类社会的发展发挥巨大的积极的作用。在同一年（1992年）出生的帕尔默·勒基这样评论自己：“我是一位自学成才的工程师、黑客、发明者，以及电子产品爱好者。我来自加利福尼亚州的长岛。我喜欢制造东西。我父亲是汽车销售员，母亲是全职家庭主妇。我在家接受过很长一段时间的教育。我14岁的时候开始上社区大学课程。2010年，我进入加州州立大学，读新闻专业。我是个很普通的人。”在今天，如果你打开科技网站，几乎可以第一时间看到这个名字；如果你把这个名字敲入搜索引擎，会得到数百万个结果。他不再是一个普通人，他是科技媒体眼中的超级巨星。勒基并不是如影片《雨人》中的雷蒙·巴比特那种口齿不清、患有自闭症的天才，不是如喜剧《生活大爆炸》中的谢尔顿·库珀那样的典型技术宅男。他彬彬有礼，乐观积极，在接受访问时，他表现得很自然。他的确和普通人没什么分别，除非谈起头戴式显示器或者虚拟现实之类的话题。讲到虚拟现实的时候，他的热情显露无遗。《天才除草人》这部电影将勒基真正带到了“虚拟现实世界”。他曾幻想在模拟的3D世界中玩视频游戏，为了实现这一点，勒基会在朋友同学都忙于参加各种社交活动的时候，整天把自己锁在父母的车库里，专注于收集和改造头戴式显示设备。他收集过不少古老的虚拟现实头戴设备，而且对每一个系统的弱点了如指掌，比如视野太窄、太笨重或者分辨率太低等。2009年，勒基只有17岁。他希望购买一台在虚拟现实方面更先进的游戏设备。他找遍了几乎市场上所有的产品，没有任何一台能够满足他。于是，他开始了一个大胆的尝试——自己做一套足以超越市场上所有对手，并且让人真正沉浸的360度游戏环境头盔，除此之外，他还在一个3D游戏论坛里记录了自己一步步实现的过程。勒基希望以这种方式和“日渐缩小的”虚拟现实爱好者圈子分享。约翰·卡马克也是在这个时候注意到勒基和他的产品的。“由于约翰有自己的虚拟现实项目，他也在游戏论坛上发帖。最初开始交流的时候，我们甚至谈过改造他拥有的一款头戴式显示设备，还谈到那么做困难的地方在哪。”他在接受《商业内幕》（BusinessInsider）杂志采访时说。“后来他就看到了我的头戴式显示器，问我：‘嘿，你的产品看起来很有趣，我可以买一个吗？’他可是3D游戏之父约翰·卡马克啊。”勒基回忆道，“最后我送了他一个——你没有办法拒绝卡马克。”之后，卡马克在2012E3大会上向世人展示了OculusRift，在该原型设备上演示《毁灭战士3》（Doom3）BFG版游戏。当时受邀体验卡马克的虚拟现实设备的科技记者奥利·韦尔什（OliWelsh）表示，他被该设备的潜力迷住了。就是在那个时候，勒基从大学退学，决定全身心追求他热爱的事业，创办了OculusVR公司。但当时公司只有他一个人。事实上那时候他对成功的期望也非常低。但是因为卡马克掀起的那些波澜，Oculus还是吸引到许多专业人士。游戏开发商Gaikai和Scaleform的资深科技专业人士布伦丹·艾里布（BrendanIribe）和迈克·安东诺夫（MikeAntonov）都对Oculus表示兴趣。数次会面后，他们很快就加盟了Oculus，艾里布出任CEO，安东诺夫则担任首席软件架构师。“他们让Oculus变成了远比工具包宏大的东西。”勒基说。艾里布和安东诺夫鼓动勒基向一些知名的大公司展示产品，以获得它们的支持。勒基与游戏开发商Valve\h[7]曾经打过一些交道，他们的关系要追溯到那个具有里程碑意义的E3大会：Valve计划从勒基那里购买一些原型产品。“我们在大会上展示了Rift，给大家都留下了非常深刻的印象——他们觉得它是一款很不错的虚拟现实设备。很幸运，他们最终愿意让它出现在众筹网站Kickstarter上发布的宣传视频当中。”而出现在视频中的Valve成员可不是什么小人物，他们包括创始人盖布·纽厄尔（GabeNewell）和硬件天才迈克尔·亚伯拉什（MichaelAbrash），那是莫大的支持。Oculus的Kickstarter项目随即准备启动，勒基如同走入了梦境。“像Oculus这样的虚拟现实技术获得如此多的关注实在令人很兴奋。之前一直有人说虚拟现实要再过几年才能发展壮大，而直到现在我才意识到人们相信我的Oculus是可行的。”OculusRift在仅仅几个小时内便完成了众筹资金目标，但因为几天之后，勒基需要在电脑游戏赛事QuakeCon上演示Rift，所以当时他并没有过多关注筹款的金额。不过随着这个项目的展开，众筹资金一路飙升。两天之后，OculusRift收获了100万美元的众筹资金。“我开始意识到它不仅仅会是‘成功的Kickstarter项目’，它还会成为Kickstarter上最成功的项目之一。”OculusRift在Kickstarter上的众筹于2012年9月1日结束。根据《连线》杂志报道，最终，众筹资金与原定目标相比超出974%。它有接近1万名资助者，共计筹资243.7429万美元。到2013年开春，这批设备开始送到开发者手中的时候，虚拟现实的愿景看上去不再那么虚拟了。2013年6月E3游戏展上，Oculus推出了分辨率达到1080p的升级款，并放出了让试戴者观看的《超人：钢铁之躯》（ManofSteel）的预告片demo，试用者的队伍甚至超过2公里。这是第一次，人们看到了这款头盔在游戏之外的可能性。同在2013年6月，在参加完E3游戏展之后，由来自波士顿经纬创投的两名风险投资家领投，Oculus获得了1600万美元的A轮投资，但Oculus并未披露收购交易的财务条款。此笔收购之后，虚拟现实行业开始升温，风险投资才不断涌入这个之前一直被人忽略的市场。2013年12月，Oculus进行B轮融资，由网景公司创始人马克·安德森（MarcAndreessen）和网景公司联合创始人本·霍洛维茨（BenHorowitz）共同创立的风投公司安德森·霍洛维茨领投，为Oculus公司注资7500万美元。此时的Oculus公司估值高达2.5亿美元，马克·安德森也加入了Oculus公司的董事会。收获这笔7500万美元的投资之后，勒基的任务就是把OculusRift原型机变成大众消费品，从而实现最初的愿望。然而，要在2014年的第一款消费级OculusRift（内部代号V1）投入市场之前就创造出无缝虚拟现实体验，他们还有不少障碍要攻克。比如完善追踪系统、分辨率、动态模糊等展示技术，比如敲定哪些功能会被加进来……这串清单好像长得没有尽头。但在这些问题背后还有一个最关键的障碍，他们得解决虚拟现实界的终极大难题：延迟，也就是迟滞问题。它让人感到头晕、恶心甚至发热。这是发展了半个世纪的VR从没有人解决的问题，Oculus如何避免使用者的不适感呢？迟滞，指的是输入命令与得到对应视觉体验之间的时间差。比如你使用电脑，在操作和电脑响应中间会出现延误或停顿；或者你玩在线游戏网络带宽过慢的时候，你的所有操作都会有明显的滞后，电脑会显示你释放技能的时间比你真正的操作时间慢半拍。在这种情况下，迟滞带来的仅仅是游戏体验上的不适。然而当使用者戴上虚拟现实头盔，它带来的却会是类似眩晕的感觉。当使用者转动头部，哪怕与真实世界之间微小的不同步都会让他感到想吐。约翰·卡马克曾在博客上写道：“从延迟的角度来看，VR技术是一项最需要‘人在环境中’（human-in-the-loop）的应用。对于高质量的VR体验，关键点在于用户头部物理移动与头戴式显示器上实时刷新图像到达用户眼睛之间的延迟时间。人类的感官系统在一定范围内能感知视觉和听觉中相对较小的延迟，但是当绝对延迟控制在大约20毫秒以内的时候，便不可察觉了。目前互动式的3D系统造成的延迟要比这个数字高上几倍，但如果不断调试同一组硬件，终究会达到消费者的要求。”延迟问题是Oculus所面对的主要问题，这也是整个VR行业需要解决的主要问题。延迟会影响沉浸式体验，也能导致玩家的呕吐和不适应，所以找出问题所在和解决方法很重要。为什么会有延迟，如何减少延迟时间？传统的电脑交互界面一般都没有VR所需的那么小的延迟。但是敏感的用户能够感觉出20毫秒或更低延迟之间的差异，也就是说，这项技术还能用于VR之外的领域。一个比较有趣的应用场景是云游戏——用户通过简单的应用发送至远程服务器，服务器持续不断地回传游戏的视频流。这能给予用户难以想象的便利——然而网络和压缩延迟的限制也降低了游戏的用户体验。VR最佳体验的标准是整个系统的延迟控制在50毫秒。如果延迟低于20毫秒，人类就无法感觉出来。预测传感器数据可以被用于减缓一些系统延迟，但即使是最精准的人类头部移动模型，在用户实际使用的时候，还是会有时预测不准。早期的LCD（液晶显示器）屏幕在画面滚动和变化的时候，会因为有几十毫秒的残影而饱受诟病，但在过去20年里，这一技术有了长足的进步。LCD每一个像素点的转换时间取决于色彩变化的程度。一块优秀面板的转换时间能控制在大约10毫秒之内，而为3D显示和游戏而优化过的显示器能减少一半左右的转换时间。一些不常见的显示技术比LCD面板的刷新速度更高。OLED（有机发光显示屏）单元像素的刷新时间低于1毫秒，它和阴极射线显示器（CRT）反应一样及时。这里是另一个不易察觉的延迟：大多数显示器是逐行显示图像的，而显示器的图像是从计算机里读取的，但由于计算机自身的原因，在帧率为60fps的显示器上，屏幕底部的画面要比顶部的刷新时间慢16毫秒左右。在静止的屏幕上，这根本算不上问题。然而在HMD头戴式显示器里，因为源图像是即时渲染的，显示在屏幕上的时间是不同的，它可能造成图像的左边或右边被裁剪掉；或者在转动头部时，图像出现晃动。这个效应在使用液晶显示屏幕的HMD上不易察觉，但在刷新更快的有机发光显示屏幕的HMD上却更容易显现出来。当然，完全解决迟滞是不现实的，问题在于迟滞要降到多小才能避免使用者感到不适。随着芯片计算能力的逐步提高，不少头戴显示和虚拟现实设备都宣称自己把迟滞降到了最低点，或许能解决大多数明显的延迟，然而，这仍旧不能保证佩戴者的舒适程度。对此，勒基曾说道：“哪怕视觉上察觉不到迟滞，你还是很容易因为它而感到不舒服。虚拟现实行业的人们尚未就人类到底对迟滞有多敏感达成一致，好像每次发布新的产品，总会发现人们还能再敏感一些。”经过大量实验，Oculus的工作人员估计这个敏感阈值在20毫秒左右。一旦跨越这个数字，设备的现实感将大大提高。这个数字比Oculus的开发者版本要低了将近一半，显然他们还有大量创新工作要做。实际上，从输入到输出要经过这样6个步骤，这中间每一步都对迟滞有“贡献”：1．用户输入指令；2．数据线将指令从虚拟设备传输到电脑上的游戏引擎；3．游戏引擎把指令“翻译”给电脑的显卡；4．显卡发出指令要求生成新图像；5．虚拟设备的显示端开始输出这幅新图像；6．新图像完整显示出来。那么，Oculus第一步要做的就是缩短输入端产生的迟滞，也就是说，要加快处理器的转译速度。这就是个硬件问题了。新款Rift头盔集成了一套拥有专利的惯性测量组件，用陀螺仪、加速器、磁力计的数据实时估测头部动作，这就可以把原来15毫秒的指令输入时间缩短到1毫秒之内。最后，指令传到电脑还需要1—2毫秒，所以，除非USB技术出现什么颠覆性创新，否则没法再改进了。此时，降低迟滞的重任就落到了开发者身上。现在大部分游戏的帧率在60帧/秒左右，通过简单的运算我们可以知道，一幅游戏图像需要16.67毫秒来进行渲染并推送给图形处理器处理。但如果开发者能把帧率提高到120帧/秒，就只需要8毫秒来渲染一幅图像。电脑游戏倒不是没有高帧率的先例，但目前Oculus还是得先应对普遍情况，也就是16.67毫秒的渲染时间。不过此时，迟滞已被大大缩短，接近20毫秒的目标了。接下来的问题在于显示输出。一幅图像由许许多多像素组成，某些像素很快就能转换成指令颜色，比如一个黑色像素变成白色只需不到10毫秒，但是，一个灰色像素要变得更浅一些，则需要将近30毫秒。为了节约时间，一旦收到图形处理器指令，所有像素都是即时开始切换颜色的；Rift从图像底端开始向上输出，所以等图形处理器在传图像最上面那行的指令时，下部的图像已经显示出来了。即使是这样，完整的图像输出仍需要20—30毫秒时间。由于图像计算和输出指令几乎是同时发生的，所以对于一个60帧/秒的游戏来说，走完整个流程大约要花上40毫秒。还是太慢了。好在Oculus还留了一手。像素切换要花那么长时间，关键在于液晶显示屏。目前的有机发光显示技术可以在微秒之间完成切换。消费版本的OculusRift会不会用上有机发光显示屏呢？Oculus还没决定。世界上只有一家制造商拥有符合我们需求的有机发光显示技术，那就是三星，而三星从来没把自己的技术卖给过任何第三方。这并不是说Oculus没有考虑其他形式的展示技术。他们与Valve公司合力研发了一款采用有机发光显示屏的原型机，这款原型机第一次把Rift的迟滞降到了20毫秒以下。那么，这块有机发光显示屏是哪儿来的呢？为了完成这款原型机，Oculus拆了一部手机，虽然官方解释并没有说是哪款手机，但显然那是部三星GalaxyS4。Oculus的CEO艾里布使用过之后非常好，他并没有出现任何眩晕的症状。甚至制作好这款原型机之后，他就马上联系了马克·安德森，要他马上乘下一班飞机来公司。安德森·霍洛维茨公司的另一位投资人克里斯·迪克逊（ChrisDixon）是少数见过这款原型机的人之一。他在博客中说道：“我那时候已经见过Oculus的开发版了，我觉得它很不错，但迟滞确实明显。但当我看到Oculus新版本的原型机，我顿时感觉他们解决了所有问题。我这辈子到现在，只有几个产品的演示让我觉得它们会改变世界：AppleII计算机、网景浏览器（Netscape）、Google、iPhone……然后就是Oculus了。”不过，这款原型机能解决迟滞，不仅仅是OLED显示技术的功劳。Rift的三个头部传感追踪组件也把采集数据的速度提高到初代的4倍，