大规模科学可视化计算的发展

1、大规模科学可视化计算的发展之路The Ability Matrix2VisualizationVisualizationComputer-based visualization systems provide visual representations of datasetsdesigned to help people carry out tasks more effectively.DataInsightsMentalModelImage31987 美国NSF会议“Visualization in Scientific Computing,” B.H. McCormick, T.A. D

2、eFanti, andM.D. Brown, eds., Computer Graphics, Vol. 21, No. 6, Nov. 1987.1987 report by the National ScienceFoundations Advisory Panel on Graphics, Image Processing, and Workstations“visualization in scientificcomputing”4大规模科学数据的可视化与可视分析可视化与可视分析科学与工程问题/模拟计算大规模流场数据Insight5知识与结论6Top 10 Challenges in

3、Extreme-Scale Data Visual AnalyticsIn Situ AnalysisPerform as much analysis as possible while the data are still in memoryInteraction and User InterfacesMachine-based automated systems vs. Human CognitionLarge-Data VisualizationData projection and dimension Reduction, display technologyDatabases and

4、 StorageA cloud-based solution might not meet the needsAlgorithmsAddress both data-size and visual-efficiency issuesData Movement/Transport, & Network InfrastructureEfficiently use networking resources and provide convenient abstractionsUncertainty QuantificationCope with incomplete dataParallelismD

5、omain and Development Libraries, Frameworks, and ToolsAffordable resource libraries, frameworks, and toolsSocial, Community, and Government Engagements7科学可视化的发展之路原位可视化与可视分析方法（In Situ Visualization）面向可视化任务的稀疏数据管理方法提高可视化并行性能Visualization2对复杂科学数据的语意理解科学计算可视化与人工智能的结合利用人的智能8原位可视化与可视分析9原位可视化 (In Situ Visu

6、alization)10模拟计算Simulation Machine协同处理Coprocessing后处理Postprocessing分析与可视化Analysis and Visualization模拟计算Simulation Machine可视化机群Visualization Machine原位前处理结果In situ Preprocessing存储系统Storage分析与可视化Analysis and Visualization原位可视化In situ Visualization可视化计算Visualization Calculations存储系统Storage可视化机群Visualiza

7、tion MachineIn Situ Visualization at Extreme Scale:Challenges and OpportunitiesKwan-Liu Ma CG&A 2009面向可视化任务的数据管理11并行迹线计算问题任务并行对种子(作业)进行静态分配I/O代价高负载均衡差数据并行对数据进行静态分配要求读入全部数据负载均衡高度取决于数据分配策略并行算法与可视化/分析方法结合满足不同的分析任务需求多次反复计算同样的迹线12流场的稀疏数据管理解决方案“小块”粒度的数据划分基于并行键值存储的按需数据管理高性能数据预取益处在任意给定资源限制下，提高数据分析的规模节约I/O带宽

8、和内存的使用，提高任务并行的迹线计算的可扩展性Guo et al. TVCG 2014 (SciVis)13合作：济南国家超算中心 美国田纳西大学数据预取数据项的键值存储键值存储进程根据预取提示读取数据若预取提示不存在，场线计算进程发布新的预取提示，并在之后的计算中被复用14案例I：脉面计算测试数据：TB量级湍流模拟数据球型网格，分辨率1024x1024x720 x100不同内存限制下的基准测试每节点内存限制分别为48MB, 96MB, 384MB实验结果该方法可以有效地节约内存，使大规模数据分析(TB量级)可以在小规模计算环境(8节点)上进行15进一步的观察场线计算存在更复杂的数据访问模式已

9、有的方法：一阶访问模式扩展：高阶（二阶及以上）访问模式提高下一步可能访问数据块的预测精确度一阶访问模式16二阶访问模式Zhang et al. PacificVis 2017预处理：高阶访问依赖的计算均匀撒种计算场线场线所记录的数据块间的访问依赖一阶访问依赖17高阶（三阶）访问依赖应用：场线计算高阶数据预取场线历史访问信息与高阶访问依赖的匹配找到并载入匹配结果中概率最大的下一个可能访问的数据块自定义预取深度不断更新历史访问信息，迭代搜索高阶数据预取的迭代搜索18测试结果测试数据：飓风伊莎贝尔模拟数据全局范围均匀撒种下的基准测试高阶数据预取和一阶数据预取的性能比较实验结果高阶访问依赖提高了数据利

10、用率，从而进一步提高了场线计算效率1920提高可视化的并行性能动态任务分配负载平衡问题基本的任务并行和数据并行算法都存在负载均衡性问题WorkloadWorkloadRank 0Rank 1Rank 2粒子分配Rank 3粒子负载21数据块负载Load data;While (not finished) trace particles;任务并行While (not finished) trace particles; exchange unfinishedparticles;数据并行数据块分配静态负载平衡动态负载平衡Work stealing (Dinan et al.2009, Lu et

11、al. 2014)静态负载评估(Nouanesengsyet al. 2011)静态数据划分(Peterka et al.2011, Chen et al. 2013)k-d树分解基于k-d树分解的动态负载平衡方法通过k-d树分解动态地重分配粒子初始分配220重分配1重分配2重分配带有约束的k-d树分解切线几何约束下的k-d树分解限制切平面只能在ghost层（数据重叠区域）范围内数据重叠区域切线切线23带有约束的k-d树分解3D示例24Zhang et al. IEEE TVCG 2018初始分配0重分配1重分配2重分配02512初始分配重分配一般的k-d树分解方法重分配重分配带有约束的k-d

12、树分解方法26结果测试数据：Nek5000 thermal hydraulics(热工水力学)模拟数据测试平台一个拥有2048结点的Blue Gene/Q超算平台(Vesta at Argonne National Laboratory)测试内容负载平衡性测试Strong/weak scaling测试测试不同进程数和不同内存限制下k-d树方法与基线方法的比较基线方法：基本的数据并行粒子追踪算法27Visualization2baseline28k-d tree29复杂科学数据的多变量分析与集合模拟分析2018.10.19 HPC China 2018 青岛30QVAPORQCLOUDSpeed

13、PressureQVAPOR(Scalar)Isabel Hurricane31大规模集合模拟流场数据的耦合迹线分析方法Hanqi Guo, Xiaoru Yuan, Jian Huang, and Xiaomin Zhu, “Coupled Ensemble Flow Line Advection and Analysis.” IEEE TVCG (Vis 13), 19(12):27332742, 2013.32集合模拟流场的耦合迹线分析大规模集合模拟数据(76GB)大规模迹线数据(远大于集合模拟数据本身, 5.8TB)差异场数据(规模较小, 1GB)筛选后的场线(规模更小, 46MB)3

14、3测试平台：国家超算济南中心 “神威蓝光”超级计算机每个物理节点装有国产SW1600十六核 微处理器，主频为1.01.1GHz每个物理节资源点被均分为4个虚拟节 点，每个虚拟节点4个计算核心每个计算核心可使用1GB内存节点间通过高速网络连接，理论带宽为40Gbps两台超级计算机 共享同一个神威 并行文件系统基于x86的超级计算机每个节点装有Intel Xeon E5675六 核处理器，主频为 3.06GHz每个计算核心可使用3GB内存节点间通过InifiniBand QDR连接，理论带宽为40Gbps34GEOS-5全球气候模式集合模拟数据 （8个模拟成员）G科EOS-5模式由美国太空总署戈达

15、德飞行中心开发学家进行一组集合模拟研究该模式的数值稳定性8个集合模拟成员空间分辨率为1X1.5degree，包含72个垂直等压层(混合地形追踪网格)模拟时间为2000年1月到2011年12月(墙钟时间)35集合模拟数据差异性可视化参照成员MOZAR-4 模型集合模拟数据：七个源排放区域的分别污染下臭氧浓度的模拟结果考虑模拟成员间相似/差异性随时间的变化特征西伯利亚欧洲印度东亚所有排放36RU成员EU成员IN成员EA成员Qingya Shu, Hanqi Guo, Jie Liang, Limei Che, Junfeng Liu, and Xiaoru Yuan.EnsembleGraph:

16、Interactive Visual Analysis of Spatiotemporal Behaviors in Ensemble Simulation Data.In Proceedings of IEEE Pacific Visualization Symposium (PacificVis 2016), pages 56-63, Taipei, Apr. 19-22, 2016.研究对象臭氧污染源模拟实验现有分析方法地图、曲线图、表格存在的问题依赖感兴趣区域，却只能用试错方式来寻找缺乏灵活、联动的数据浏览和分析工具不容易理解随时间的演化过程地图曲线图表格37Li et al., Ef

17、fects of trans-Eurasian transport of air pollutants on surface ozone concentrations over Western China. Journal of Geophysical Research: Atmospheres. 2014, 119(21):123381235438对复杂科学数据的语意理解39主题模型的迁移流场主题成为特征空间与数据空间之间的媒介将场线聚类为流场主题，能对聚类间 为什么相似进行详细可视化将特征混合为更有意义的流场结构（主题），使用者能较为容易地应用已有知识场线特征流场主题文本词语主题文本分析4

18、0流场分析Document: a bag of words （词 袋）Topic Distribution Per DocumentTopic: a mixture of words41迹线: 特征包特征: 描述迹线的行为主题中的特征分布,迹线的主题分布,流场主题42流场主题4344科学计算可视化与人工智能的结合流场可视化计算的数据访问模式问题场线计算存在更复杂的数据访问模式已有的方法：一阶访问模式扩展：高阶（二阶及以上）访问模式提高下一步可能访问数据块的预测精确度一阶访问模式二阶访问模式Zhang et al. PacificVis 201745基于长短期记忆（LSTM）模型的访问依赖关系建

19、模目的：获取高精度的依赖关系估计，同时只需要低额外存储和较少的训练样本基于LSTM的神经网络模型天然地考虑粒子的所有历史数据块进行预测（高精确度）强的学习/泛化能力（需要更少的训练样本以及更小的空间存储）46Hong et al. PacificVis 2018结果与高阶依赖工作相比Zhang et al. PacificVis 2016.更小的空间存储：1/50 1/23047利用人的智能48VAST Challenge 2017背景故事红冠蓝雀（Rose-crested Blue Pipit）是 Boonsong Lekagul 自然保护区的常见鸟类，但近年来大量 减少鸟类学家 Mitch

20、 对保护区展开调查，以期发现蓝雀减少的原因49VAST Challenge 2017自然保护区的相关数据交通数据环境监测数据遥感图像交通数据园区各处设置交通监测站车辆经过留下记录数据细节40个不同类型的监测站13个月的时间跨度17万条交通记录18,708辆不同类型的车Mitch50VAST Challenge 2017可视分析：大众化数据分析的“瑞士军刀”频繁序列投影视图空间视图标签视图车辆列表时间视图车辆列表51VAST Challenge 2017基础信息展示空间信息路网与监测站车辆轨迹时间信息时间分布与周期性规律序列信息轨迹的监测站序列52VAST Challenge 2017高维数据可

21、视化：换个角度看数据数据转换将监测站看作维度统计每辆车通过监测站的次数形成 40*18708 的高维数据降维投影采用 t-SNE 加强聚类效果展现车辆行为的相似性结果十个明显的主要聚类若干个小型聚类Vehicle IDSensor_1Sensor_2Sensor_3Car_13100Car_24141Truck_11608Truck_21816Truck_32009主要交通模式53VAST Challenge 2017主要交通模式：进一步分析你发现了其中的 共同点 么？“”字型绕路行为交通要道54横向穿越园区，需要通过一段“交通要道”VAST Challenge 2017为何需要“绕路”？两条通路连接东西侧园区南侧通路设有两个 Gate 入口，只允许护林员通过交通要道护林员专用道55VAST Challenge 2017抄近路”的违禁车辆查询通过专用道的所有车辆在视图中，选中专用道两侧的 Gate 监测站启动数据查询大部分为护林员车辆存在部分 违禁车辆抄近路的 原因？护林员专用道蓝色：通过专用道的车辆黄色高亮：护林员车辆违禁车辆56VAST Challenge 2017抄近路”的违禁车辆共计23辆车时间特征每个月仅13次行动仅