晴空万里、群星残暴的丽江高美古,在纳西语中的释义是“气象好、星星多、离天比来的处所”。这里的年平均好天超200天,视宁度达到世界优良台址的程度,大年夜气干净透明,昂首可见满天的繁星、清楚的银河,近年来慢慢成为国内重要的天文不雅测站点,慢慢成为国表里天文工作者的不雅测圣地。扶植在高美古的中国科学院云南天文台丽江不雅测站(以下简称丽江不雅测站),拥有独特的地舆情况优势,经由多年的扶植,慢慢扶植完成了2.4米、1.8米、1.6米等多种口径规格光学千里镜和一批小口径的长途/主动千里镜、日冕仪、射电千里镜等科学不雅测装配,云南天文台的南边天文不雅测集群已经初具范围。
跟着天文不雅测需求的赓续晋升,天文不雅测所产生的不雅测数据量也越来越大年夜,这也对数据存储和处理提出了更高的请求。为此,丽江不雅测站采取海潮分布式存储构建三级数据存储平台,为天文研究甚至往后的数字经济家当研究供给有利的硬件平台支撑。
云南天文台丽江不雅测站的2.4米光学千里镜
天文不雅测仪器背后惊人的数据需求
丽江不雅测站拥有多种型号的天文千里镜,包含光学千里镜、日冕仪和射电千里镜,全部不雅测站的不雅测才能已经覆盖了从光学到射电的波段范围,每年能开展多项具有国际先辈程度的天体物理不雅测和研究工作。天文范畴的科研工作者借助不雅测仪器设备对星体进行不雅测,并采集数据以便进一步研究。
近些年跟着新的天文不雅测技巧快速成长,不雅测的广度和精度获得极大年夜晋升,让天文工作者更清楚的不雅测到天文目标,也更精确的验证已有物理模型。与此同时,新的天文不雅测仪器采集的数据量也有了量级的晋升,如丽江不雅测站正在调试的云南大年夜学1.6米多通道测光巡天千里镜,个中装配了3台大年夜靶面的科学技巧CCD相机,每个相机由4片9k*9k的芯片拼接而成,在不雅测过程中三台相机同时曝光,一次曝光就能产生近1GB的不雅测数据,一个不雅测夜的不雅测数据量近3TB,一年的原始不雅测数据接近1PB。若何有效的传输不雅测站浩瀚千里镜不雅测采集的数据、支撑计算平台高效的分析和处理不雅测数据、安然存储原始数据和价值数据,给丽江天文不雅测站的不雅测数据治理提出了新的需求。
其次,数据的经久保存需求。天文不雅测的原始数据要经由过程合理的生命周期治理体系进行永远归档保存,数据的主动化迁徙归档、数据的安然性、归档数据经久保存成本、存储的易扩大性是数据归档存储推敲的重要身分。
分层存储筹划知足不合天文数据的需求
丽江不雅测站为了知足天文科研工作者对千里镜不雅测数据的存储和分析处理过程中高带宽存储资本需求,从而知足大年夜量文件的频繁读写,采取了海潮的计算节点和分布式存储搭建了三级分层的存储资本池,经由过程海潮分布式存储高机能节点AS13000G5-H搭建高速存储层供给并行读写才能,知足前端多个计算节点同时在存储长进行数据读写的需求;采取海潮分布式存储AS13000G5-M系列4U60高密节点供给2PB低速存储空间,用于存储前端回传的不雅测原始数据以及计算集群计算处理后的归档数据。
海潮存储
海潮AS13000G5-H经由过程私有客户端,可以或许使接收到的数据并发写入每个数据节点,打破传统存储的单存储节点机能限制,经由过程RDMA协定,有效降低数据传输过程中的时延,进一步晋升传输效力,单存储节点机能可达到GB/s读写带宽。经由过程并行文件体系可以添加更多的存储节点,机能和容量随节点数的增长而线性增长。
为保障天文数据经久靠得住保存、弹性扩大的需求,海潮存储在架构和运维方面进行了立异。
扩大性方面,海潮存储基于分布式存储架构支撑灵活扩大,可跟着天文科研项目需求横向扩大,应用独特的扩容算法,在扩容同时可保障营业机能无明显波动,机能与容量跟着节点的扩大而线性增长,避免对现有接收营业和科研计算义务读写拜访机能造成影响,存储空间可达到EB级别,知足了将来天文不雅测仪器设备晋升的存储增长需求。
为天文不雅测义务供给机能保障
科研项目标阶段性增长可以按需知足、高效运维
在靠得住性方面,海潮分布式存储采取纠删策略,允很多个节点破坏时营业不中断,包管不雅测义务以及计算义务7x24小时的持续营业拜访,保障天文工作者科研项目顺利进行。同时还可搭配InView智能治理平台,对于天文不雅测海量数据中间的设备进行治理,供给容量、机能、故障等猜测性分析等一系列智能化功能,赞助运维人员预防硬件潜在故障,同时降低存储的复杂性和保护成本。
占地260余亩丽江不雅测站园区里运行的光学千里镜每年都要履行数千次的不雅测义务,积聚大年夜量的原始不雅测数据,这些不雅测数据赞助科研工作者取得了大年夜量研究成果,加快中国天文研究的成长。如借助2.4米千里镜光谱不雅测发清楚明了数十个高红移类星体,赓续刷新中国发明类星体的红移记录;经由过程系外行星的精确视向速度搜寻工作,已经发明若干颗系外行星候选源;善于搜寻新的凌食系外行星体系的宽视场巡天千里镜(小口径千里镜),赞助科学家们发清楚明了10多颗凌食系外行星候选体以及200多颗其它类型的变源。正在扶植的云南大年夜学1.6米多通道测光巡天千里镜,建成后将经由过程3台相机进行同时曝光的巡天不雅测,将直接供给星空的“彩色片子”。
起首,数据机能需求。在数据采集过程中,天文千里镜不雅测产生的数据,须要经由过程数据采集法度榜样,及时地完成数据采集、数据预处理、计算、数据存盘等多个义务。数据量根据不雅测设备数量及型号等身分会有不合,数据采集过程就对存储提出了数GB/s至数十GB/s的带宽需求,以保障数据稳定写入。数据计算过程,作为以数据为驱动的天文不雅测义务,科研计算平台须要存储集群平台供给数十GB/s聚合带宽的读写才能以包管计算义务并行的高效性。在实现用户数据共享的同时,还要针对不合的用户进行权限控制和配额限制,以实现存储数据的安然高效应用。
将来云南天文台丽江不雅测站也将在此基本上,赓续进行天文学高新技巧立异,为天文学的科学应用研究办事供给高质量的不雅测数据,发挥南边天文不雅测集群的前沿感化,推动天文范畴研究的快速成长,摸索宇宙奥秘。
