常规气象格点数据规范化格式的研究

舒红平 沈晨笛 张殿超

摘要：常规气象格点数据主要由气象卫星、天气雷达及数值预报产品等三部分构成，目前确定的规范数据格式包括：Grib、NetCDF和HDF三种。Grib格式码表十分规范，较适用于对规范要求严格的各项业务;NetCDF及HDF由于其自身的灵活特征，有众多应用的支持，较适用于对规范要求严格的各项业务;NetCDF及HDF由于其自身的灵活特性，有众多应用的支持，较适用于各种科研类工作。

关键词：气象格点数据;规范化数据格式

中图分类号：X16 文献标识码：A 文章编号：2095-672X（2019）06-0-02

DOI：10.16647/j.cnki.cn15-1369/X.2019.06.151

Abstract： The conventional meteorological grid data is mainly composed of three parts： meteorological satellite， weather radar and numerical forecasting products. The current standardized data formats include Grib， NetCDF and HDF. The Grib format code table is very standard and is more suitable for various services that require strict specifications. NetCDF and HDF are supported by numerous applications due to their flexible features. They are more suitable for various services that require strict specifications; NetCDF and HDF Due to its flexible nature， it is supported by many applications and is suitable for various scientific research work.

Keywords： Meteorological grid data; Normalized data format

随着社会的进步和全球气候变暖的加剧，人们对气象预报和服务的需求越来越迫切，而气象格点数据是气象业务和科研等各种专业工作中不可缺少的重要数据内容。

目前气象业务和科研工作使用的气象格点数据主要有三大类：气象卫星数据、天气雷达数据、数值预报产品数据。中国气象局于2017年颁布的《气象数据格式应用指南》确定的六种数据格式中，有三种适用于气象格点数据的存储管理，分别是：Grib2（General Regularly-distributed Information in Binary from2）、NetCDF（network Common Data Form）、HDF5（Hierarchical Data File5）。随着天气雷达网建设的全面展开以及风云系列气象卫星的不断升空，气象格点数据的体量正以每日数十TB的增量迅速膨胀。如何有效地运用规范化数据格式来适应不同气象专业工作的特点，是一个不容忽视的问题。本文将简要介绍常规气象格点数据，概述并分析比较这三种格点数据编码格式。

1 常规气象格点数据

1.1 气象卫星数据

气象卫星[4]（meteorological satellite）分为极轨卫星与静止卫星两类，這两类卫星的数据概述如下：

1.1.1 极轨卫星

极轨卫星数据在扫描时远点与星下近点的格点间距不同。极轨卫星扫描后的格点数据形状一般都是带状的，虽然并不规则但存在一定规律。此外，由于极轨卫星呈匀速飞行，相邻两条扫描线之间的距离是相等的。具体扫描图像如下图：

1.1.2 静止卫星

静止气象卫星所产生的遥感数据是由从北到南的逐条扫描线组合而成的，每条扫描线由西向东逐点横向扫描，形成覆盖地球一侧的圆盘格点数据及图像。与极轨气象卫星同样的，由于地球表面的曲率，每条扫描线中相邻两点间的距离不尽相同，但有规律可循。具体卫星的扫描图像如下：

1.2 天气雷达数据

天气雷达是以体扫方式收集数据的，雷达原始数据是采用球坐标形式的格点数据，其数据呈圆台形，在顶部有一个圆锥形的镂空，这是由于雷达在体扫时的特点所造成的。在一些应用中人们常利用一定的插值方法，将球坐标系下的雷达原始资料插值到笛卡尔坐标系下的规则三维网格点上。在经过插值后进行存储的这类数据多数都是4维的，有着3维的长宽高以及1维的时间。

1.3 数值预报产品

数值预报是基于天气预报的，由观测获得的当前大气状态出发，借助于现代电子计算机，采用数值方式求解控制大气运动的流体力学方程组，从而对未来天气或气候变化做出预报。

数值预报产品数据是最为经典的格点数据，其格点形式根据数值模式和处理方案的不同而彼此各异，诸如：等距格点、兰勃特投影、麦卡托投影、经纬度等距格点等多种格点方案，由于种类繁多，不与赘述。

2 规范化格式描述

2.1Grib2和NetCDF

鉴于Grib2和NetCDF已有不少文献予以介绍，感兴趣者请参见参考文献，此处不再赘述。

2.2HDF5

HDF5是一种用于存储科学数据的文件格式，它被设计用来满足科学数据存储量不断增加和数据处理不断变化的需求。为了充分利用当今计算机系统的能力和特点，HDF5具有一个强大与灵活的数据模板，其支持管理的文件大小大于2GB，同时还支持并行I/O，线程和具备现代操作系统与应用程序所要求的其他特性，而且数据模型也变得更为简单，概括性更强。HDF5逻辑格式如下图：

HDF5格式只有两种基本结构：组（group）和数据集（dataset），组包含0个或多个数据集，在HDF5中用一个小数据集Attribute表示注释信息，其中：

（1）HDF5 group：按照组织结构包含零个组或多个组或数据集的实例，同时它还支持元数据（metadata）;

（2）HDF5 dataset：数据元素的多维数组，支持元数据。

HDF的具体优势与特性请参见参考文献，此处不再赘述。

3 格式的比较分析

3.1Grib与NetCDF

Grib与NetCDF在数据本身的存储上并没有什么太大的不同，都是进行了一定简单的压缩方法后使用数组存储，然而双方在数据的描述方面存在较大差异。

Grib由WMO推荐，使用非常严格的码表来描述要素，用模板来描述和存储数据，为此WMO几乎每年都会专门针对这些码表召开相关会议，用以确认是否需要修改或扩充，从而使得这个码表本身的变动变得较为困难。这种情况在一定程度上限制了Grib2的适用范围，由于其码表的内容具有严格的限制，一般来说Grib2只能使用在气象行业，存储一些卫星、雷达与数值预报产品数据。GRIB2数据格式的优势在于，由于码表和模板的规范性，任何用户均可根据要素码和模板代码等格式信息，通过参考手册或对照表而明了存储数据的基本信息，从而使得用户可以在没有任何复杂说明只有一张对照表的情况下使用数据。

NetCDF在这一点上与之不同。NetCDF在数据描述方面有着很高的自由性，以要素而言，它既可以用码表描述，也可以用文字描述，这就造就了NetCDF极高的通用性与灵活性，用户非但可以使用NetCDF存储气象格点数据，而且也可存储其他专业领域的格点数据。同时在可存储的维度方面，NetCDF也比Grib有着更多的选择，从1维到n维，从单一离散数据到格点数据，NetCDF都可予以便利的存储管理。相比较而言，Grib2只能存储二维及二维以上的气象格点数据，应用范围被局限在气象领域之内。两者在使用范围上的差异是由于这两种格式对于数据描述方式的不同所造成的。

3.2NetCDF与HDF5

NetCDF与HDF5对数据的描述方法相近，都可以采用码表或场描述，又可以采用文字描述，数据的通用性也很好，基本满足了大部分格点数据对数据存储的需求。由于这两种格式的版本繁多，在这里我们主要采用NetCDF-4与HDF5进行论述。

NetCDF-4文件是使用HDF5库创建的，并且是各种方式的HDF5文件，无需NetCDF-4接口即可读取。

NetCDF-4文件中的组对应于HDF5组。NetCDF中的变量与HDF5中具有相同名称的数据集共同使用，属性类似。

由于NetCDF文件中的元数据多于HDF5文件，因此使用特殊数据集来保存NetCDF元数据。

同时HDF5具有NetCDF-4不支持的一些功能，并且会导致互操作性问题：

（1）HDF5允许组既是另一组的“祖先”又是“后代”，在子组图中创建循环。HDF5还允许一组的多个“父母”。在NetCDF-4数据模型中，组形成一个没有循环的树，因此每个组（顶级未命名组除外）都具有唯一的父级。

（2）HDF5支持“引用”，类似于指向文件中对象和数据区域的指针。NetCDF-4数据模型省略了引用。

（3）HDF5支持NetCDF-4数据模型中未包含的一些原始类型，包括H5T_TIME和H5T_BITFIELD。

（4）HDF5支持数据对象的多个名称，如数据集（NetCDF-4变量），没有可分辨名称。NetCDF-4数据模型要求每个变量，属性，维度和组都具有单个可分辨名称。

（5）HDF5（如NetCDF）支持标量属性，但NetCDF-4无法读取标量HDF5属性（除非它是字符串属性）。

由此可以看出HDF与NetCDF主要是一个包含关系。

3.3 结论

在气象领域种，3种格式都可以独立管理所有常规气象格点数据，但从能力范围的角度来看，他们互相之间是一种包含关系，即：NetCDF包含Grib，HDF包含NetCDF。

4 总结

在常规气象格点数据所使用的几种格式中，Grib是一种专门为了气象格点数据所量身定制的格式，对于常规的气象格点数据来说，是最为规范化的一种格式，但在平时的使用中，因为其拓展性与通用性不足，使得Grib的应用范围相对较窄，所适用的应用软件（包括绘图软件）相对有限;而NetCDF与HDF的使用十分简单，很多应用软件都支持这两种格式，这与他们的通用性与灵活性是分不开的。

GRIB码作为WMO推荐使用的专用于存储管理气象格点数据的表格驱动码，在气象格点数据的业务工作中（尤其是数据交换过程中），有其特有的严格和规范等特点;而NetCDF格式则由于其灵活的存储方案以及十分广泛的应用适用范围，很适合气象科研领域的工作特点。

因此，在规范性要求严格的业务工作中，Grib相对更为适合作为规范化管理的依据;而在对自由度、灵活性要求更高的科研工作中，NetCDF作为规范化管理的统一格式相对是一个较好的选择。

参考文献

[1]范振林，郑宝锋，吴斌.气象数据服务在地质调查安全生产管理保障系统中的应用[J].安全与环境工程，2018，25（04）：156-159.

[2]顾洪，李昀英.NC格式气象数据无损压缩研究[J].计算机工程与应用，2012，48（09）：90-91+148.

[3]张林.中国气象百科全书[J].气象，2017，43（02）：248.

[4]黄云仙，张英.多普勒天气雷达数据插值方法比较研究[J].遥感应用，2008（2）：39-45.

[5]陈甫，舒秦.GRIB2资料解读[J].电脑知识与技术，2014，10（14）：3201-3203.

[6]刘媛媛，应显勋，赵芳.GRIB2介绍及解码初探[J].气象科技，2006（S1）：61-64.

[7]賈俊涛，孟婵媛，宋海英，鲁强，谭冀川.基于NetCDF的海底地形网格数据模型创建与调度[J].海洋测绘，2007（05）：22-25.

[8]顾洪，李昀英.NetCDF格式数据无损压缩[J].数据采集与处理，2010，25（S1）：87-91.

[9]李继祥，于立，陈龙泉，姚仁太，郝宏伟，范丹，吕明华.NetCDF格式在Windows及Linux平台下的读写[J].安徽农业科学，2014，42（33）：11942-11945.

[10]王玲，龚健雅.基于HDF文件的组织方式与影像提取[J].测绘通报，2003（4）：35-37.

[11]李振锋，李五生，禄永旭，王卫平，马驰.利用HDF5数据格式构建气象预报业务平台数据库[J].气象与环境科学，2014（8）：114-119.

[12]吕梁，陈晴，滕舟.基于NetCDF的数值预报产品存储和应用[J].现代计算机（专业版），2015（16）：47-50+55.

收稿日期：2018-12-04

作者简介：舒红平（1974-），男，汉族，研究生学历，计算机应用技术专业博士学位，中国科学院大学兼职博士导师，研究方向为数据库与知识工程、计算机在制造业中的应用、气象信息共享软件技术。

通信作者：沈晨笛（1994-），男，汉族，在读研究生，研究方向为气象信息化。