LAMOST数据存储与发布系统

1、2006.10.29VO Tutorial CAS 20061LAMOST数据存储与发布系统设计方案与原型 罗宇中国虚拟天文台研发团队Chinese Virtual Observatory2006.10.29VO Tutorial CAS 20062大纲 LAMOST背景 数据量估算 数据分类与存储方案 系统原型方案 原型初步功能2006.10.29VO Tutorial CAS 20063LAMOST简介大天区面积多目标光纤光谱天文望远镜（LAMOST)是一架横卧南北方向的中星仪式反射施密特望远镜。应用主动光学技术控制反射改正板，使它成为大口径兼大视场光学望远镜的世界之最。由于它的大口径，在

2、曝光1.5小时内可以观测到暗达20.5等的天体。而由于它的大视场，在焦面上可以放置四千根光纤，将遥远天体的光分别传输到多台光谱仪中，同时获得它们的光谱，成为世界上光谱获取率最高的望远镜。它将安放在国家天文台兴隆观测站。它将成为我国天文学在大规模光学光谱观测中，在大视场天文学研究上，居于国际领先的地位。 2006.10.29VO Tutorial CAS 20064自动化观测与处理子系统介绍 LAMOST每夜将观测上万个天体的光谱，其数据量是数G字节；而总的计划是观测上千万条光谱。因此LAMOST应该是一个全自动地进行观测运行和数据处理的系统，以最有效地获得观测数据和取得最大的科学成果。为此目的

3、，LAMOST设计了一套完整的自动化观测与处理的软件，其中主要包括巡天战略系统(SSS)、观测控制系统(OCS)和数据处理系统(DPS)。 LAMOST数据存储与发布系统就是数据处理系统（DPS ）的一部分。它将管理LAMOST各种数据的存储、备份等工作，并将数据分阶段的发布出来，以方便国内外的研究人员使用。2006.10.29VO Tutorial CAS 20065LAMOST数据规模估算根据详细设计文档的描述，4000根光纤将以每250根为一组，分为16组，输入到16台光谱仪。每天光谱仪将每条光谱分为红蓝两部分，由两台CCD相机进行记录。完整的观测系统由32台CCD相机构成。每台CCD相

4、机采用40964096像素CCD记录数据，像素深度16比特（两个字节）。一个观测夜内，对每个天区将进行三次重复观测，每次30分钟。如果按照每晚工作7.5到9小时，则可以观测5个天区。根据上述观测模式，每晚得到的原始观测数据大小为：4K*4K*2*32*5*3=15.36 (GB)考虑平场拍摄等因素，每晚原始数据的大小可以按照20GB来估计。如果按照每年300天观测，那么一年积累的原始数据约为6TB。按照项目5年的生命周期来估计，整个项目的原始数据将为30TB左右。假设经过处理得到的一维光谱大小为原始数据的一半，星表为一维光谱大小的一半。其它类型的数据与星表大小类似。那么LAMOST项目对存储容

5、量的需求大约为60TB。2006.10.29VO Tutorial CAS 20066数据种类 二维光谱数据。包括CCD相机直接观测得到的数据和经过二维图像处理后得到的二维光谱图像数据。 一维光谱数据。二维图像数据经过图像处理系统处理后得到的一维光谱。 巡天星表。经过光谱自动处理和分析后得到的包含目标天体各种测量参数在内的星表。 工作星表。为LAMOST巡天观测的进行而准备的各种星表，包括核心星表、输入星表、导星星表等。 系统运行数据。LAMOST观测与运行过程中产生的，对科学数据的使用有直接影响的数据，比如各个子系统的日志数据等。 其他需要保存的数据。2006.10.29VO Tutoria

6、l CAS 20067各种数据的存储方式 二维光谱数据，按照国际惯例以FITS格式以文件形式保存，同时以关系型数据库方式保存数据文件元数据。 一维光谱数据，按照FITS格式的数据文件形式保存，同时考虑以VOTable格式和关系型数据库格式保存。以关系型数据库方式保存数据文件元数据。 巡天星表，以关系型数据库形式保存。 工作星表，以关系型数据库形式保存。 系统运行数据，根据各子系统的情况以关系型数据库形式或者XML文件、或者纯文本文件形式保存。2006.10.29VO Tutorial CAS 20068LAMOST数据发布系统基本结构（基本方案）2006.10.29VO Tutorial CA

7、S 20069存储系统模块化结构2006.10.29VO Tutorial CAS 200610预期软硬件配置与拓扑构架Web服务器Mysql服务器File Provider AFile Provider BFile Provider C操作系统：Redhat Enterprise Linux 4数据库系统：MySQL 5.0 Web服务器：Tomcat 5.5 数据存储：SATA 阵列 数据至少有两套备份，并要求一份在异地（兴隆、北京2、合肥）2006.10.29VO Tutorial CAS 200611星表构成字段名字段名数据类型数据类型含义含义ID_HTMchar(24)以HTM表示的

8、标识符RAdegfloat赤经DECdegfloat赤纬Epochfloat历元oTypechar(16)天体类型magfloat星等refchar(24)源星表标识refIDvarchar(36)源星表内天体编号核心星表结构2006.10.29VO Tutorial CAS 200612数据压缩与数据传输规范数据压缩与数据传输规范 采用标准的“GZIP”压缩方式 LAMOST观测系统、数据处理系统以及发布系统的操作系统采用LINUX平台。 文件归档方式采用通用的“tar”方式。 LINUX平台上支持的数据传输方式主要包括：FTP，FTP over SSH, rsync, HTTP等。根据当前

9、的使用情况和支持情况，采用FTP和SFTP方式。在数据发布时提供HTTP方式。2006.10.29VO Tutorial CAS 200613存储系统文件命名规范（原始文件） 原始二维光谱文件采用：“LM+儒略日+Tile+Run+光谱仪ID+谱段类型+数据级别”的方法。例如：“LM2453848-0000001-03-16-bsr.fit”。其中“谱段”指“红、兰”两段，用“r、b”标识。其中“类型”指光谱种类，有如下几种：o:obj,目标s:sky,天光f:flat,平场b:bias,本底a:arc;灯谱d:dark暗流t:test;测试数据“光谱仪ID”从1至32，其中，116为低分辨光

10、谱模式，1732为中分辨光谱模式。“数据级别”指原始二维图像、处理后的产品、临时数据，分别用“r、p、t”标识。2006.10.29VO Tutorial CAS 200614 存储系统文件命名规范（产品级二维光谱与一维光谱）产品级二维光谱文件名采用：“LM+儒略日Tile+光谱仪ID谱段”的方法。其中“谱段”指“红、兰”两段或者合并谱，用“r、b、a”标识。比如：LM2453848-0000001-16-a.fit一维光谱文件采用：“LM+儒略日Tile光纤号谱段”的方法，比如：“LM2453848-0000001-1869-b.fit”。高分辨光谱、特例观测数据命名另行处理。2006.10

11、.29VO Tutorial CAS 200615数据发布系统基本界面Retangle Query：由用户给出ra，dec等参数的最大值与最小值，从而确定查询范围。Radial Query：由用户指定ra，dec参数作为中心，指定查询半径，从而确定一个园面作为查询范围。SQL Query：用户输入sql标准查询语句进行查询。SQL Batch Query：将查询运行于服务器后台队列中，将结果集保存为文件形式供下载。Tele Param Query：根据LAMOST数据文件命名方式查询光谱文件。目前只能查询2D光谱文件。2006.10.29VO Tutorial CAS 200616Retang

12、le Query2006.10.29VO Tutorial CAS 200617Sql Query2006.10.29VO Tutorial CAS 200618SQL Batch Query2006.10.29VO Tutorial CAS 200619Telescope Param Query2006.10.29VO Tutorial CAS 200620Data importLAMOST的内部用户通过该页面对光谱数据的入库进行人工操作与设定。可以得到所有的提供数据的机器，从而将存在于这个用户目录下的数据转移到这种类型数据对应的目录中。并且将每个光谱文件存储信息反馈到中心服务器上。2006