基于LCOS的眼镜型透视融合显示系统-中期检查报告

中期检查报告基于LCoS的眼镜型透视融合显示系统课题负责人：朱东堂2016年8月项目简介项目名称：基于LCoS的眼镜型透视融合显示系统所属领域：信息技术领域所属方向：虚拟现实与数字媒体技术推荐单位：西安高新技术产业开发区申报单位：西安中兴新软件有限责任公司参加单位：中兴通讯股份有限公司、东南大学、北京理工大学、浙江大学项目技术负责人：朱东堂项目起止时间：2015年1月~2017年12月课题技术路线阐述目录中期完成情况课题执行情况课题总体目标及考核指标课题总体目标及考核指标200020042008研究大规模SDRAM器件与数字逻辑器件共融的集成电路设计和准亚微米厚度液晶盒制造工艺。研究波导器件设计和加工方法。完善眼镜型透视式增强现实显示系统的研发，并进一步进行各项性能指标的测试，完成与课题“基于移动终端的户外实时视觉定位技术”进行示范应用场景集成和展示，准备结题。.”研究大规模SDRAM器件与数字逻辑器件共融的集成电路设计和准亚微米厚度液晶盒制造工艺。完成初步搭建眼镜型透视式增强现实显示系统在知名学术期刊和国际会议上发表高水平的论文1篇，国内专利1项.以上成果均在课题期限内完成并与课题任务和主要研究内容密切相关，发表论文标注本课题编号的863计划资助。初步实现波导器件，波导厚度<2mm，视场角≥40度，出瞳直径>10mm，亮度达到1000cd/m2的超薄型眼镜显示系统。在知名学术期刊和国际会议上发表高水平的论文1篇，国内专利3项，国际专利3项。以上成果均在课题期限内完成并与课题任务和主要研究内容密切相关，发表论文标注本课题编号的863计划资助。课题总体目标及考核指标第三年度完善眼镜型透视式增强现实显示系统的研发，并进一步进行各项性能指标的测试，完成与课题“基于移动终端的户外实时视觉定位技术”进行示范应用场景集成和展示，准备结题。微型时间混色LCOS芯片分辨率≥1920×1080，像素单元尺寸≤8um，实现实时彩色显示，刷新帧率：>60Hz；完成波导期间厚度<2mm，显示视场角≥40度（对角）出瞳直径>10mm亮度达到1000Cd/m²相对孔径：2.8出瞳距：22mm清晰度：中心：MTF≥30%@30lp/mm边缘：MTF≥20%@20lp/mm畸变：≤2%彩色显示在该视场角范围内实现虚实融合显示的超薄型眼镜显示系统。本课题会结合本项目中课题“基于移动终端的户外实时视觉定位技术”进行示范应用场景展示，完成旅行时景点的多媒体信息显示。在知名学术期刊和国际会议上发表高水平的论文6篇，国内专利7项，国际专利7项。以上成果均在课题期限内完成并与课题任务和主要研究内容密切相关，发表论文标注本课题编号的863计划资助。提交科技报告4篇：其中，课题年度执行报告2篇，课题中期总结报告1篇，课题验收报告1篇。对于核心技术指标，将通过由具备相关资质的第三方机构出具测试报告、专家现场测试、直接用户提供使用报告等方式进行评测。工作计划考核指标初步实现LCoS芯片，像素单元尺寸≤8um；完成平面波导光学元件的设计、加工、检测资料检索调研；完成平面波导光学系统理论模型建立、杂光分析和设计；完成显示系统的设计和分析；完成波导头盔关键工艺可行性分析；开展泽尼克多项式自由曲面的像差校正技术；开展彩色波导头戴显示光学系统的设计；开展全息波导头戴显示系统的加工及工艺研究；开展消除鬼像和重影的方法的研究；样机的光学加工装配及检测；

中期完成情况

按时完成课题前期拟定的第一年度和第二年度上半年的工作计划具体完成情况课题技术路线阐述按照任务书要求，课题组已进行了：Lcos芯片的设计流片及初步测试自由曲面像差矫正波导型头戴显示光学系统设计相关工艺研究鬼像及重影研究及样机的装配等的研究工作，建立了相应的实验装置

目前工作进展顺利，关键技术路线正确，无需对技术路线进行调整课题技术路线阐述Lcos芯片的设计流片及初步测试自由曲面像差矫正波导型头戴显示光学系统设计相关工艺研究鬼像及重影研究及样机的装配等的研究工作，建立了相应的实验装置按照任务书要求，课题组已进行了目前工作进展顺利，关键技术路线正确，无需对技术路线进行调整课题执行情况Lcos执行情况光波导执行眼镜系统课题组织运作与其他课题合作Lcos执行情况LCos芯片设计1.总体设计2.SOT设计3.时钟，LP状态检测，使能信号4.串口转并口5.数据耦合6.时钟恢复7.数据包识别，ECC译码，数据包解码，DSI转DPI和DBILcos仿真与验证1使能--终端电阻控制及高速接收2串口转并口3.SoT同步序列检测及译码4.整体功能仿真课题执行情况–Lcos芯片第一版和第二版流片完成的8英寸LCoS芯片采用第二版芯片实现的单色视频显示单色LCoS显示芯片的视频显示小型化像素单元的设计和验证高速串行接口的设计和验证课题执行情况–Lcos芯片芯片总体设计双路视频接口DPI接口、MIPI接口、控制寄存器、驱动控制器、GAMA_DAC、GAMA电阻阵、行扫描移位寄存器、行驱动器、列扫描移位寄存器、行缓存、输出DAC、列驱动缓冲器和显示阵列课题执行情况–Lcos芯片课题执行情况–Lcos芯片设计SoT：Start-of-Transmission数据0、1通道离开停止状态进入高速从机使能终端电阻控制信号及高速接收信号信号传送到MIPI模拟电路，高速接收差分放大电路工作主机再发送高速同步序列：00011101主机依次向从机发送状态LP11-LP01-LP00高速数据传输标志SoT检测错误，并等待主机重新发送信号接收到错误的同步序列正确接收同步序列，并检测成功数据通道重新回到LP11状态，终端电阻控制信号和高速接收信号为0，差分放大电路停止高速接收课题执行情况–Lcos芯片时钟通道LP状态检测使能信号课题执行情况–Lcos芯片MIPI接口是采用DDR时钟对串行数据进行采样，并进行串转并操作，将数据传到通道管理层进行后续处理。DDR时钟进行四分频后作为MIPI数字部分的高速数据传输用的时钟。由于串转并电路基本是属于数字逻辑，考虑项目进度，以及对电路的分析，在保证功能正确的情况下对原来的电路进行了适当的修改，使其提取的网表能进行综合和自动布局布线，减少后端版图设计的工作量。串口转并口课题执行情况–Lcos芯片数据耦合MIPI接口有两个数据通道，其中通道0具有反向传输模式及在Escape模式下进行低功耗传输模式。

在高速数据传输模式，MIPI接口可以采用单通道和双通道两种方式进行高速接收。

低功耗数据传输和从机到主机的反向传输都只采用通道0，因此数据融合就有两种方式。数据融合电路。对传输过来的数据进行缓存，以备后面进行数据包识别及ECC、CRC译码等课题执行情况–Lcos芯片时钟恢复电路MIPI接口中主要有HSBitclk、HSByteclk、LPBitclk、LPByteclk以及内部自带的systemclk。

时钟恢复电路在高速数据传输模式下恢复HSByteclk，在低功耗模式下产生和恢复LPBitclk、LPByteclk，两者共用一个时钟树。

时钟树前面是一个四输入与非门，分别对应四个不同时钟，通过控制信号进行切换控制。课题执行情况–Lcos芯片数据包识别ECC译码DSI数据包分长据包和短数据包MIPI接口底层协议模块，负责对数据包进行识别和ECC、CRC解码数据包无法识别则标志数据类型识别错误。ECC译码能对数据进行一位纠错，并能标志ECC检测一位错误和多位错误。当主机发送Ack请求时，从机将错误报告发送给主机。ECC检测数据正确后输出数据包的DI，然后对DI进行译码，对各种不同的DI产生相应的控制信号。课题执行情况–Lcos芯片常用的数据包的DI解码，如像素数据流的RGB888、RGB666、RGB565格式的数据包以及EOT包等。DSI数据或命令通过DSI转DPI电路和DSI转DBI电路输出给显示器模块像素数据流包解码DSI转DPI和DBI输出数据包解码DSI转DPI和DBI像素数据流包解码DSI转DPI和DBI输出常用的数据包的DI解码，如像素数据流的RGB888、RGB666、RGB565格式的数据包以及EOT包等。DSI数据或命令通过DSI转DPI电路和DSI转DBI电路输出给显示器模块课题执行情况–Lcos芯片数据包解码DSI转DPI和DBI课题执行情况–Lcos芯片–仿真与验证使能--终端电阻控制及高速接收主机在向从机发送高速接收请求序列LP11-LP01-LP00之后，从机接收到正确的序列后即关闭低功耗状态，数据通道切换到高速接收状态，需要注意的是，时钟通道需先进入高速传输状态，数据通道才能进入高速接收状态。X57_Y、X64_Y、X999_Y分别为时钟通道、数据通道0和数据通道1的高速接收终端电阻使能信号，X1113_Y、X1266_Y和X1057_Y分别为时钟通道、数据通道0和数据通道1的高速接收使能信号。其余六个信号分别对应时钟通道的clkp、clkn和数据通道的D0p、D0n、D1p、D1n。课题执行情况–Lcos芯片串口转并口SoT同步序列检测及译码课题执行情况–Lcos芯片

SOT正确接收仿真结果SoTerrorSoTerrorSoTerrorSoTsyncerror从机在进入高速接收状态之后，主机需向数据通道发送高速同步序列，从机在接收到正确的序列后才开始接收像素数据。若接收到的同步序列有错误，则标志SOT同步序列错误，并等待主机重新发送高速同步序列。SoT同步序列检测及译码课题执行情况–Lcos芯片整体功能仿真验证在正确的激励下，电路能正确的检测LP序列及SoT的译码，就开始着手建立整个MIPI接口的仿真平台。确定MIPI数字部分各个输入信号线是测试信号还是非测试信号。然后确定各个输入信号在MIPI进行正常传输的情况下的值，以此建立仿真平台的初始化环境。再参照MIPI协议的具体说明和数据传输机制，根据项目的具体要求和MIPI接口所具有的功能，制定功能仿真计划，由于此次功能验证是采用传统的定向测试验证设计的正确性。课题执行情况–Lcos芯片展示了在测试激励输入10帧RGB888格式数据的情况下，MIPI的DPI接口RGB图像数据输出、pclk、DE以及场同步和行同步信号的输出情况，仿真结果表明，电路能正确的接收高速数据并以DPI格式正确地输出课题执行情况–Lcos芯片波导光学光波导原理与设计重点LightTools分析杂光鬼象杂光的形成投影光学系统设计难点及方法设计投影系统----自由曲面照明光擎技术方案加工及镀膜研究消除鬼象和重影方法样机加工及装配课题执行情况–波导光学课题执行情况–波导光学光学显示系统组成微显示器投影光学系统波导光学元件图像

微显示器

投影光学系统

放大投射

入口反射镜反射

全反射，耦合输入

入射到半透半反阵列

部分耦合输出，部分继续传输，入射半透半反阵列上再次分光

耦合出射的光线进入人眼课题执行情况–波导光学平面光波导的发展a)没有利用平板内光线的全反射传输，视场角受到平板厚度和长度的限制。利用光的全反射，不受限于玻璃平板的厚度和长度，可以利用较薄的玻璃平板达到很大的视场角，但是随着视场角的增加，系统的出瞳直径逐渐减小。多个耦合出射半反半透面，取得大视场的同时保证了比较大的眼动范围。课题执行情况–波导光学平面光波导的发展a)方案所示几何平面波导视场角受到平板厚度和长度的限制，平板波导中允许的最大半视场角为：

d为平面波导的厚度，L为平面波导的长度b）所示几何平面波导利用光在波导两平行平面间的全反射，最大半视场角不再受到平面波导厚度和长度的影响，但出瞳大小受到视场角和出瞳距离的影响ERF为出瞳距离，即眼睛离平面波导的距离，Ωmax为最大半视场角，θ为半反半透面与波导两平面的夹角c）所示平面波导方案中，采用多个半反半透面作为耦合出射端，实现了出瞳的复制，扩大了出瞳，为了保证经相邻两个半反半透面耦合出射的光线束的连续性，相邻半反半透面间的距离为

课题执行情况–波导光学近眼显示系统的设计中，我们希望得到更薄的厚度的同时取得更大的出瞳，但，出瞳的大小随着厚度的减小而减小，而且实际加工时厚度越小加工难度越大，所以设计过程中需要选择合适的波导厚度以取得最佳的效果。课题执行情况–波导光学平面波导光学元件是由一组倾斜放置的半反半透镜和反射镜面组成，光线经耦入端进入波导，经全反射在波导内传播，最后经半反半透膜耦合出射进入人眼形成图像。光波导元件是整个显示系统的核心器件之一,很大程度上影响着头盔光学系统的光能利用率、杂光的比重、系统的出瞳距离和出瞳直径，因此它的设计至关重要。光学元件结构图课题执行情况–波导光学杂光成因光线在平面波导传播过程中，经过其耦入、耦出光学部分时，不完全按预定光路传播就会造成杂光，因此需要对其杂光成因进行分析，但是由于光线路径数量巨大，关于杂光成因的分析相当复杂。由于平面波导光学元件本身不产生光焦度,需要与耦入光学系统进行匹配，对耦入光学系统的出瞳光路进行了折叠，这要求耦入光学系统的出瞳距离比较大，同时由于楔形平面波导光学系统仅仅对头盔投影系统的出瞳在一个方向上进行了拓展，造成平面波导耦入光学系统两个方向(子午、弧矢)的出瞳位置不同，大幅增加了耦入光学系统的设计难度。课题执行情况–波导光学波导光学元件的特定结构，探索适合于其结构的光学设计理论和方法。通过专业的光线追迹软件LightTools，全面详细的分析几何波导光学元件的半反半透镜对头盔显示器光学系统的光能利用率、杂光比重、系统出瞳距离和出瞳直径等的影响；全面细致的分析了光线在几何波导的传播过程中，经过投影、耦合和耦出时，光路在波导内的传播规律，分析产生杂光的原因并提出了有效的杂光抑制方法，在此基础上，优化出了最佳性能的波导光学元件参数。LightTools分析杂光课题执行情况–波导光学鬼像杂光的形成路径光线在波导元件耦合入射端的反射面上反射了两次，导致光线在波导元件内部的传输角度比正常光线大很多，最后入射在耦合出射半反半透面上，出射后的角度与正常光线不同，形成杂光。光线经波导元件传输后在光线由波导元件左边平面向右边平面传输时“撞击”到半反半透面下表面上，然后发生了反射，导致光线在波导元件内部的传输角度与正常光线不同，经半反半透面耦合出射后形成杂光。与第二类鬼像路径类似，也是光在由波导元件左边平面向右边平面传输时比正常光线多了一次反射，不同的是这次“撞击”发生在半反半透面的上表面。课题执行情况–波导光学投影光学系统波导近眼显示系统将图像放大和投远的功能需要通过投影光学系统实现设计难点：

波导对投影光学系统的出瞳进行了折叠，因此投影光学系统的出瞳距离比较大；

同时由于波导仅对投影光学系统的出瞳在一个方向进行了拓展，因此投影光学系统子午和弧矢方向的出瞳位置不相重合，即要设计一个出瞳直径非常大的目视投影光学系统；同时需保证投影光学系统的体积；设计方法：

采用自由曲面来进行投影光学系统的设计

采用树脂材料降低光学系统的重量；

自由曲面光学元件的设计过程中，综合考虑畸变，合理有效的光学结构，像差校正以及全内反射、自由曲面加工、镀膜和胶合工艺以及复杂工作环境等因素。课题执行情况–波导光学出瞳分离：采取多重结构的方式来分别对XOZ方向和YOZ方向进行设计，设计过程中光学系统的结构参数不变，变的只是出瞳位置大小方向。投影系统多重结构两个方向的视图投影系统两重结构的MTF曲线课题执行情况–波导光学头影系统波前像差和垂轴像差曲线图投影系统两重结构的场曲和畸变曲线课题执行情况–波导光学投影系统第一重结构点列图投影系统第二重结构点列图课题执行情况–波导光学采用自由曲面光学系统来设计投影系统：降低投影系统的体积和重量可见自由曲面的使用大幅降低了投影系统的体积和重量。目前该系统的设计已经完成，但是加工周期比较长，为此，项目组使用已经完成加工的自由曲面光学系统研制本项目的原理样机。自由曲面投影系统结构图课题执行情况–波导光学自由曲面投影成像传递函数曲线图课题执行情况–波导光学用于样机试制的自由曲面投影系统结构图及其成像传递函数视场图课题执行情况–波导光学微型化设计:波导头盔的投影系统照明光擎系统采用微型显示器件为LCOS显示器，LCOS显示器需要配套照明光引擎。为了有效控制波导照明光擎的体积和重量，采用分光镜和会聚镜组合的方式。为提高系统的光能利用率和降低LED的直射杂散光，采用了偏振分光和波带板的技术，大幅提高系统的光能利用率以及降低直接有害的杂光。照明光擎技术方案比较课题执行情况–波导光学照明光擎光学系统光路结构图课题执行情况–波导光学非球面投影系统和自由曲面投影系统课题执行情况–波导光学波导光学元件的加工及镀膜研究前期加工的时候，为了简化各分光镜的镀膜和加工，各分光镜表面采用镀制相同膜系的镀膜方案，但是镀制相同膜系必定会造成出瞳位置光照度的均匀性很差，为了提高波导耦合出射光照的均匀性，现在我们考虑另一种镀膜方案：每个分光镜表面镀制不同的膜系，即各个分光镜膜层的反射率不再相同，经过专业光线追迹软件LightTools的追迹模拟试验，最后选定各分光镜膜层的反射率依次为8.5%、9.5%、12%、16%、22%，模拟试验结果表明采用这种镀膜方案可有效提高耦合出射光照的均匀性。同时为了进一步消除波导光学系统的杂光，在设计膜系时，需要考虑偏振光的使用情况，在膜系的优化设计过程中加入不同偏振态光线的优化约束条件，使用p光作为波导器件的成像光束。课题执行情况–波导光学各分光镜之间的平行度对像质和杂光有很大的影响，会造成双像问题和图像跳跃问题，所以在波导光学元件的加工过程中，需要严格保证分光镜之间的角度一致性公差，为此本项目组将采用先镀膜胶合，然后按特定角度切割，最后研磨抛光并最终镀制增透膜的加工工艺来进行波导的加工制作，解决了小块分光镜的胶合定位等难题。波导光学元件的加工工艺课题执行情况–波导光学自由曲面像差矫正用泽尼克多项式自由曲面校正像差的技术方案，应用龙格库塔方法和数值偏微分法方法对反射型自由曲面进行求解，建立泽尼克多项式来拟和数值解的反射型光学自由曲面，对自由曲面的波像差进行分析，应用泽尼克像差与赛得和像差的对应关系进行选择性像差校正的方法。在头戴显示器光学系统方面，课题从泽尼克多项式自由曲面的特性入手，在深入分析泽尼克多项式自由曲面的波像差的基础上，利用泽尼克多项式与赛得和像差项的相关性，通过对泽尼克多项式自由曲面的波像差进行分析，选取泽尼克多项式的系数表征特性描述光学系统的波前边界，从而进行选择性地单独处理各像差系数，校正在大视场条件下由于视场角的增大而产生的各种轴外像差，从而提高成像清晰度达到扩大视场角的效果。课题执行情况–波导光学光学显示系统设计对波导平板型头戴显示光学系统进行了初步设计确定了耦合角、视场等结构参数对系统光学性能进行了仿真计算对部件加工工艺进行了研究研究R/G/B型LED形成彩色的时序叠加产生方法提供LCoS图像产生器件照明的紧凑型照明系统的设计。课题执行情况–波导光学由R/G/BLED发出的光线经偏振棱镜后照射到微显示LcoS芯片上，LCoS微显示芯片时序产生红、绿、蓝图像，LED发光时序与图像相匹配，再由偏振棱镜P光输出，这部分反射光再经偏振棱镜或TIR棱镜反射，打到透镜或柱面镜上，透镜为反射，由透镜曲面反射，再由耦合棱镜进入波导片，由于光线入射角度在波导片上符合全反射条件，因而在波导片中传播，在眼位附近由6片棱镜胶合而成，棱镜斜面上镀有一定反射比率的薄膜，当有光线打到斜面时，部分光线出射，在眼位处可以进行观看，从而使图像源的像与外界视景叠加在一起映入观察者眼中。采用多片棱镜叠加可以扩展左右眼盒大小。光学系统初始结构课题执行情况–波导光学全息波导头戴显示系统研究进行全息波导耦合矢量研究；制备了基于全息波导的彩色头戴显示系统；对衍射效率等参数进行测量；进行了初始参数参数设计，系统的初始结构属于目镜结构形式，属于NonPupil形式，即图像生成器件没有共轭像，眼睛出瞳作为头戴系统的出瞳。1）出瞳大小：10mm*8mm2）视场角：单目视场：40°；双目视场：40°3）图像源分辨率：720P（0.37”LCoS）4）像素大小视差：

=60*(XFov/XPixel)=60*40/1280=1.875’(0.545mrad)6）焦距：5）相对孔径：课题执行情况–波导光学消除鬼像和重影的方法研究光学追迹软件，利用蒙特卡洛方法对鬼像和重影进行分析耦合棱镜一侧的亮度要高30%左右，出瞳大小为10mm*10mm，能够满足要求。课题执行情况–波导光学从仿真分析上看来，系统的鬼像与重影对加工精度要求高，在加工检测及装配中必须应于注意。课题执行情况–波导光学样机加工和装配根据仿真分析，基于彩色波导穿戴系统，采用分辨率1920*1080像素的LCoS显示器、配合照明系统和波导器件，同时将耦合器件进行光线导入，构造出波导型穿戴显示，搭建了波导头戴显示的样机。课题执行情况–波导光学采用自准直仪检测重影课题执行情况–波导光学系统装配：相关的干涉检测，测量面型加工精度课题执行情况–波导光学构建系统及展示。课题执行情况–眼镜系统研究ID设计硬件系统方案变更外部供应商方案调VR及发货分离式方案：手机端方案眼镜端方案一体式方案课题执行情况–眼镜系统研究配合光学系统初步完成ID设计课题执行情况–眼镜系统研究CPU：

高通8996Nand：

64GBUFS2.0DDR：

4GB1866MHzLPDDR4DSP：

Hexagon825MHzVideo:

Complete4k60entertainmentsystem(4k60H.265/VP9decodewithuncompressed4kdisplay,HDMI2.0)

Videodecode:1080p240/4K60/8x1080p30:H.264,VP8,HEVC

8/10-bit,VP91080p60

Videoencode:1080p120/4K30/4x1080p30:H.264,VP8,HEVC

Concurrentvideo:4K60decode+4K304:2:0encode,4K60decode

Grapics：Andreno530with64bit624MHzWifi：802.11a,b,g,nBT：BT3.0，BT4.0LE

智能眼镜硬件系统配置变更，较之前任务书所描述的配置有很大提升。课题执行情况–眼镜系统研究考虑Lcos和光波导还未成熟，我们考察了课题组外的多个外部供应商：LcdPanel：Sony、Himax、Syndiant光学模组：神采光电、歌尔、上海理鑫、联创、灵犀光学、影创科技系统方案：君正、佐臻、Nvidia课题执行情况–眼镜系统研究考虑到光波导工艺的复杂性及量产良率底、价格昂贵，手势捕捉精度较差、相关的应用还有待开发及长时间佩戴的舒适性，且按课题组内部讨论结论，AR的演进会从TOB开始，通过我司政企网接触两家事业单位，详细的应用场景还有待进一步讨论，AR眼镜的量产时间点还不够成熟。

满足Daydream标准；

屏幕：5.5英寸，1600万色，AMolED屏，2560*1440(2K)分辨率;FOV：96;VR延迟：16.7ms;

量产发货课题执行情况–眼镜系统研究课题执行情况–眼镜系统研究APQ8096HDMI2.0CCUSB2.0Mux&HDMI2DPTypeCDPUSB2DualSwitchVBUS5V1APMUChargerUFSLPDDR2IMUAudioCodecWifi/BT/GPS手机端系统解决方案：对于分离式解决方案，不论VR、AR，手机端均使用一样的方案，即同一款手机可以支持VR、AR眼镜。需注意的是对音频信号的处理，一种方式是手机端处理，将音视频信号剥离，视频信号通过HDMI传给眼镜，音频信号通过手机3.5寸口输出；另外一种处理方式是眼镜端做音视频信号的剥离，剥离后加DAC输出给眼镜3.5寸耳机口。课题执行情况–眼镜系统研究眼镜端系统方案(VR)：对于VR应用，眼镜端需求一般分两种：观影式；观影+游戏式，对于观影，只需要视频信号，需注意的是为保证VR的高分辨率、高帧率、低延迟，对AP、DP、MIPI速率提出较高的要求。观影+游戏，除上述基本需求外，需要增加IMU，IMU信号经SensorHub处理后，通过USB回传给手机处理器。TypeCDemuxSSTX/RXSBUCC4LaneDP2MIPIDPAUXMCUI2CUSB2.0MIPIPanelupto1200*1200@120Hz(pereye)1800*1800@90Hz(pereye)MIPIMIPIPanelupto1200*1200@120Hz(pereye)1800*1800@90Hz(pereye)MIPIIMU8Lane8Lane课题执行情况–眼镜系统研究以我们定制的VR为例，单目分辨率为1200*1200，帧率60/90/120Hz，Blanking设为12%，需要的总的分辨率为2688*1344，总的带宽为9.755Gbps（90Hz条件），需要DP2Lane即可以支持，单个眼镜的带宽为4.878Gbps，需要5个Lane。对于手机侧，若使用HDMI2.0DP，如Qualcomm平台SnapDragon8996，则需Qualcomm确认其HDMI2.0能支持的分辨率及帧率。课题执行情况–眼镜系统研究TypeCDemuxSSTX/RXSBUCC4LaneDP2MIPIDPAUXI2CUSB2.01920*1080@60Hz(pereye)MIPIMIPISensorHubWithCortexM4CameraIMU1920*1080@60Hz(pereye)4Lane4Lane眼镜端系统方案(AR)：

对于AR，眼镜端三个最基本需求是：视频、IMU、Camera。在上述VR方案基础上，需要增加USBHub，以将Camera和IMU的数据打包回传给手机，需注意的是USB2能支持的速率为480Mbps，故眼镜端能支持的Camera像素值最高为2M。对于AR，单目的分辨率及帧率的需求较VR要低很多，故平台对视频的支持是足够的。LcosorOled课题执行情况–眼镜系统研究I2C1920*1080@60Hz(pereye)MIPIMIPICameraIMU1920*1080@60Hz(pereye)4Lane4LaneLcosorOledAPQ8096PMUChargerUFSLPDDR2IMUAudioCodecWifi/BT/GPSSensorHub一体机眼镜系统方案：软硬件系统将大大简化；省去了各种接口转换，简化电路设计；无线缆，相应的信号完整性也比较好；Camera、IMU等均借用之前手机的开发成果，降低开发难度；无线缆，Camera可以支持的像素值大大提升，可支持20M；

ID设计复杂；重量增加，舒适性变差；

散热问题；课题执行情况–论文[1]ChenliangChang,JunXia,LeiYang,WeiLei,ZhimingYang,andJianhongChen,Speckle-suppressedphase-onlyholographicthree-dimensionaldisplaybasedondouble-constraintGerchberg–Saxtonalgorithm,AppliedOptics,Vol.54(23),6994-7001,2015.[2]LeiYang,JunXia,ChenliangChang,XiaobingZhang,ZhimingYang,andJianhongChen,Nonlineardynamicphaseresponsecalibrationbydigitalholographicmicroscopy,AppliedOptics,Vol.54,No.25,7799-7806,2015.[3]Qi

Zhiyang,WangQilong,Zhai

Yusheng,Xu

Ji,TaoZhi,TuYan,LeiWei,andXiaJun,Plasmon-enhancedenergytransferbetweenquantumdotsandtunablefilm-couplednanoparticles,JournalofPhysicsD-AppliedPhysics,Vol.49(23),DOI:10.1088/0022-3727/49/23/235103.[4]YangGao,DewenCheng*,ChenXu,YongtianWang,Designofanultra-shortthrowcatadioptricprojectionlenswithafreeformmirror,InternationalSymposiumonOptoelectronicTechnologyandApplication2016,9-11May2016.[5]ChengZhan,DewenCheng*,ShanshanWang,YongtianWang,Injectionmoldinglensmetrologyusingsoftwareconfigurableopticaltestsystem，InternationalSymposiumonOptoelectronicTechnologyandApplication2016,9-11May2016.[6]ChenglongLei,DewenCheng*,ChenXu,YongtianWang,Opticaldesignforoff-axisthree-mirrortwo-channelimagingsystemwithfreeformsurfaces，InternationalSymposiumonOptoelectronicTechnologyandApplication2016,9-11May2016.[7]FangfangLiu,DewenCheng*,QiweiWang,YongtianWang,RotationalsymmetricHMDwitheye-trackingcapabilities，InternationalSymposiumonOptoelectronicTechnologyandApplication2016,9-11May2016.课题执行情况–专利及授权[1]一种近眼式视线跟踪方法及其系统,刘硕硕,夏军,CN201510464929.4[2]一种借助表面浸润特性提高电子印刷精度的方法,吴俊,夏军,王保平,CN201510566159.4[3]全息光波导及全息光波导显示装置,夏军,刘硕硕,CN201610035096.4[4]一种新型无盲区全景镜头，程德文，宫尘，许晨，王涌天，刘越[5]一种用于移动终端的无盲区全景镜头，程德文，宫尘，许晨，王涌天，刘越[6]一种用于小型离轴光学系统的MTF测试装置及方法，程德文，胡源，王涌天，刘越[7]一种拼接式头盔显示装置，程德文，宋维涛，王涌天，刘越[8]一种基于多个平面反射镜的三维场景获取装置，程德文，宋维涛，王涌天，刘越

课题执行情况–经费支出明细表（汇总）课题编号：西安中兴新软件有限公司课题名称：基于LCoS的眼镜型透视融合显示系统单位：万元行号科目预算批复数累计支出其中：2016年支出结余专项经费自筹经费合计专项经费自筹经费合计专项经费自筹经费合计专项经费自筹经费合计1经费支出合计921.002000.002921.00129.72496.49626.2192.08366.00458.08791.281503.512294.792（一）直接费用843.992000.002843.9977.78496.49574.2740.14366.00406.14766.211503.512269.7231、设备费128.70138.50267.2034.5075.49109.990.000.000.0094.2063.01157.214（1）购置设备费92.70138.50231.2034.5075.49109.990.000.000.0058.2063.01121.215（2）试制设备费***0.000.000.000.000.000.000.000.000.006（3）设备改造与租赁费***0.000.000.000.000.000.0036.000.0036.0072、材料费231.20239.50470.7024.2732.0056.2724.2732.0056.27206.93207.50414.4383、测试化验加工费221.6330.00251.630.070.000.070.070.000.07221.5630.00251.5694、燃料动力费21.00

21.000.000.000.000.000.000.0021.000.0021.00课题执行情况–经费105、差旅费40.58

40.583.990.003.992.300.002.3036.590.0036.59116、会议费11.73

11.730.000.000.000.000.000.0011.730.0011.73127、国际合作与交流费30.00

30.001.450.001.450.000.000.0028.550.0028.55138、出版/文献/信息传播/知识产权事务费60.1562.00122.1513.500.0013.5013.500.0013.5046.6562.00108.65149、劳务费84.00

84.000.000.000.000.000.000.0084.000.0084.001510、专家咨询费15.00

15.000.000.000.000.000.000.0015.000.0015.001611、其他支出

1530.0