许柏宁,姜金荣,郝卉群,2,林鹏飞,何丹丹,2
1. 中国科学院计算机网络信息中心,北京 100190
2. 中国科学院大学,北京 100049
3. 中国科学院大气物理研究所,北京 100029
短期气候变化包括月尺度、季节尺度和年际时间尺度的气候变化,因其对人们的生产生活具有重要的影响,而备受人们关注[1]。其中,年际时间尺度上的变化又尤其受到人们的关注[1]。而年际时间尺度上最强的气候信号——厄尔尼诺-南方涛动 (El Niño-Southern Oscillation,ENSO),自然而然的受到各国气象学家、科学家的广泛关注[1-4]。虽然 ENSO 现象发生在热带太平洋地区,但是经过海气的相互作用,其会以遥相关的方式间接地对全球的短期气候 (气温、降水等) 造成重大的影响,引发多种气象灾害,进而对粮食产量造成严重的影响[1-2,4-8]。
鉴于 ENSO 对全球气候的重大影响,各国气象学家对 ENSO 展开广泛的研究,以期可以对其进行预测。因为 ENSO 发生时的表现为热带太平洋区域的海表面温度 (Sea Surface Temperature,SST) 的异常,所以,预报 ENSO 可以等价于预测热带太平洋的海表面温度或海表温度异常 (Sea Surface Temperature Anomaly,SSTA)。自 20 世纪 80 年代起,经过三十多年的研究,ENSO 的预报模型已经可以达到 6-12 个月的可信预报程度[1]。目前,ENSO 的预测模型主要分为两类:统计学模型 (Statistical Model) 和动力学模型 (Dynamical Model)。图 1 是目前国际上 14 个动力预报模型和 8 个统计预报模型,自2016年3月以来对Niño3.4 区域 (5oS~5oN, 120oW~170oW) 平均海表温度异常的预报结果。可以看出,虽然模式之间差异比较大,但是模式都能大体上预测出 SSTA 的变化趋势。此外,最近也有一些学者考虑到初值的不确定性和模式中物理过程以及参数化方案的不确定性,进行了 ENSO 集合预报的研究[1,9-11]。研究发现,集合预报在预报准确性上要优于单一确定性预报。
近期,随着 AI 浪潮的兴起,机器学习和深度学习又一次进入了人们的视线。一些学者[12-21]开始尝试使用机器学习或深度学习的技术进行气象要素(风速、温度等) 或气象现象的预测,取得了不错的成果,其中,对于 SST 的预测模型[19,20]就可以用来预报 ENSO。此外,也有一些学者[22,23]直接使用机器学习的方法,直接对 ENSO 指标进行预测,也取得了优于动力预报和其他统计预报模式的结果。但是,目前使用机器学习或深度学习对 SST 预测的模型中,都是针对于某个经纬点的时间序列进行预测,然后对某个区域的一定网格尺度下所有的经纬格点分别运行预测,进而得到整个区域的 SST。这样的做法虽然最后也是得到了某个区域的 SST 分布,但是考虑到温度其实是一个同时具有时间和空间信息的量,这种单点预测的做法明显忽略了温度的空间信息,这样就可能会破坏掉温度分布的连续性。而直接预报 ENSO 指数的模型,虽然预报 ENSO 的结果要优于传统模式,但是模型最终只是得到了 ENSO 指数,并没有 SST 或SSTA 等气象要素的信息,这样的话就无法根据 SST的分布信息做进一步的分析。
本文将以 Niño3.4 区域 ( 5°N~5°S,170°W~120°W) 为研究区域,用多个深度学习模型对整个研究区域进行提前 12 个月的月均 SSTA 预测,根据月均 SSTA 的预测结果找出最优的模型。然后,在最优模型的基础上进行一些调参实验,找到预测效果最优的一组参数。最后,使用在最优参数下训练好的模型,对 Niño3.4 区域进行 ENSO 指数 (Niño3.4 指数)的预测。
图1 国际上 14 个动力预报模式和 8 个统计预报模式的预报结果 (图片来源:https://iri.columbia.edu/our-expertise/climate/forecasts/enso/current/?enso_tab=enso-sst_table)Fig. 1 The prediction results of international fourteen dynamical models and eight statistical models (Figure source: https://iri.columbia.edu/our-expertise/climate/forecasts/enso/current/?enso_tab=enso-sst_table)
ENSO 是一个发生在热带太平洋并且涉及到海气不同方面的复杂过程,因此,有很多在不同方面描述 ENSO 事件的指数:(1) 从气压方面衡量的南方涛动指数[24](Southern Oscillation Index,简称 SOI)以及改进的赤道南方涛动指数 (Equatorial Southern Oscillation Index,简称 ESOI);(2) 根据不同海域的 SST 方面进行衡量的 Niño 指数,包括 Niño1+2、Niño3、Niño4 指数,以及还有被认为更能衡量ENSO 的 Niño3.4 指数[25];(3) 根据长波辐射进行衡量 ENSO 的指标[26]; (4) 利用风进行衡量 ENSO 的指标。本实验使用常用的 Niño3.4 作为衡量 ENSO 强度的指标,而 Niño3.4 指标是通过计算 Niño3.4 区域的SSTA 平均值得到的。
本实验所使用的神经网络层主要包括卷积神经网络[27-28](Convolutional Neural Network,CNN) 中的卷积层和卷积长短时记忆[29](Convolutional Long Short-Term Memory,ConvLSTM) 单元。下面,对两者进行简单的介绍。
卷积神经网络的提出与动物体的视觉处理有密切的关系。Hubel 等[30]学者通过研究猫和猴子的视觉神经后,提出了视觉感受野的概念。K. Fukushima等[31]学者根据视觉感受野的概念提出的神经认知机 (Neocognitron) 可以认为是 CNN 的雏形。后来,LeCun 等[27,32]学者借用神经认知机的思路,利用后向传播 (Backpropagation,简称 BP) 算法,设计并训练了 CNN。后来,Krizhevsky 等[33]实现的 CNN 模型在ImageNet 的图像识别比赛中大放异彩后,CNN 开始被人们熟知,并大量应用于图像分割、图像分类等图像类任务中。后来,CNN 因其卷积过程类似于自然语言处理中的 n-gram,也被一些学者[34-36]逐渐应用到自然语言处理领域中。
CNN 中一般都包含有卷积层和下采样 (pooling)层。其中,卷积层中完成卷积运算,而 pooling 层主要用来保证不变性 (平移不变性、旋转不变性等) 以及减少输出大小从而减少计算量。2 维卷积运算的前两次操作如图 2 所示,其中 A 为 5×5 的二维输入,W为 3×3 的卷积核 (kernel),B 为卷积后的输出 (3×3),一般称为特征映射 (feature map),两个方向 (横向和纵向) 上的卷积步长均为 1。具体过程为:(1) 用 W 对 A的左上角 3×3 的矩阵 (浅橙色) 进行按位相乘并求和的运算后,得到 B11,完成第一次操作,如图 2 上半部所示;(2) 向右移动 1 个单位 (即横向的步长大小),用 W 对 A 中上部的 3×3 的矩阵 (浅黄色) 进行按位相乘并求和的运算后,得到 B12,完成第二次操作,如图 2 下半部所示;以此类推完成整个卷积运算,直至得到 B。
正如 ConvLSTM 的名字所示,ConvLSTM 可以被定义成一种结合了卷积的长短时记忆 (Long Short-Term Memory,简称 LSTM) 单元 (cell)。近年来,以 LSTM 单元或 GRU 单元为主体的循环神经网络(Recurrent Neural Network,简称 RNN) 在自然语言处理等需要处理时序相关问题的领域中取得很大的成功。但是,不管是传统简单的 RNN 中的单元,还是改进过后的 LSTM 单元、GRU 单元,它们在每一个时间步可接收的输入都是向量或标量,无法接收矩阵以及维度更高的数据。而 ConvLSTM 的提出,使得RNN 网络可以在每个时间步接收矩阵以及更高维度的数据作为输入。这是因为 ConvLSTM 把传统 LSTM中一些矩阵乘向量的运算换成了卷积核对输入数据的卷积运算,而这样的话,因为卷积操作可以适用于任意维度的矩阵,所以 ConvLSTM 单元的每个时间步就可以接收维度大于 1 的数据,进而可以对输入数据同时进行时空两个维度上的特征学习。ConvLSTM 相对于 LSTM 的具体改变如图 3 中公式所示,其中,x和h为向量,X和H则不限维度,* 为哈达马积(Hadamard product), 为卷积运算。
图3 LSTM 到 ConvLSTM 公式的改变 (左:LSTM;右:ConvLSTM)Fig. 3 Formula changes from LSTM to ConvLSTM (left:LSTM; right: ConvLSTM)
本实验中所使用的数据主要包括 SSTA、表面压力 (P_SURF)、经向风速 (V_WIND)、纬向风速 (U_WIND)、经向流速 (V_CURRENT) 和纬向流速 (U_CURRENT)。其中,SSTA 来源于 NOAA OI SST V2 High Resolution Dataset[37]数据集,剩下的 5 种变量均来源于 NCEP Climate Forecast System Reanalysis (CFSR) 6-hourly Products[38,39]和 NCEP Climate Forecast System Version 2 (CFSv2) 6-hourly Products[40]数据集。因为数据来源不同,导致网格的分辨率以及时间范围均有一些差异 (例如 SSTA是 0.25°*0.25° 网格的数据,而 P 和 U_WIND 均为0.5°*0.5° 网格的数据),对数据进行筛选和预处理后,得到了 Niño3.4 区域上 1981 年 9 月 1 日至 2017年 11 月 25 日共 13235 个日均数据,数据的分辨率为 0.5°*0.5°。
考虑到 ENSO 的预测一般都是基于周均 SSTA或月均 SSTA 的预测,所以本实验拟进行月均SSTA 的预测,进而计算出 Niño3.4 指数,预测ENSO 现象。而通过现有的日均数据只能得到 535个真实月均数据 (1981 年 9 月 1 日至 2017 年 11 月共 535 个月),但是,这个数据规模显然是不足以支撑深度学习模型的训练。因此,本文采用 29 天滑动平均的方法进行月均数据的扩增。具体做法为:在所有日均数据 (d1,d2,d3,…,d13235) 上,滑动一个时间长度为 29 的窗口,对每个窗口内的数据计算平均值作为窗口正中间的数据所在月份的近似月均数据。例如,第一个滑动窗口中的数据为 d1,d2,d3,…,d29,对这 29 个数据求均值后,得到的数据作为 d15所在月份的近似月均数据,以此类推可以得到 d16,d17,…,d13221所在月份的近似月均数据。经过数据集扩增后,总共可以得到 13207 个近似月均数据。经过分析,扩增月均数据中超过 60%的数据点与真实月均数据的绝对误差小于 0.1℃,超过 82% 的数据点的绝对误差小于 0.2℃,约 98% 的数据点的绝对误差小于 0.5℃,因此扩增数据具有有效性。
本实验采用两类训练模型——Sequence-to-One(Seq2One) 和 Sequence-to-Sequence (Seq2Seq) 进行训练。两类训练模型主要有两个不同之处:
(1) 输出长度不同。两种训练模型的输入均为一定时间长度 (如 12 个月) 的时空序列,而输出分别为单一时间点的 SSTA 数据 (即序列的时间长度为 1) 和一定时间长度 (如 12 个月) SSTA 时空序列。例如,输入均为 2011 年 1 月至 12 月长度为 12 个月的时空序列,对于 Sequence-to-One 模型,输出可以为 2012年 1 月到 12 月某一个月份的月均 SSTA 数据,而对于 Sequence-to-Sequence 模型,输出可以为 2012 年 1月到 12 月的月均 SSTA 时空序列。
(2) 进行预测的形式不同。对于 Sequence-to-One模型,不同的时间间隔 (要预测的月份与输入序列的最后一个月份间的差) 对应于不同的模型,如在上述例子中,对 2012 年 1 月到 12 月的预测就分别对应于12 个模型;而对于 Sequence-to-Sequence 模型,则是根据起报月 (输出序列的起始月份) 不同而训练不同的模型进行预测。
本实验中设计使用了 3 种网络结构不同的Sequence-to-One 模型和 1 种 Sequence-to-Sequence模型。具体的网络结构示意图如图 4 和图 5 所示。其中@前为 kernel 数目,@ 后为 kernel 的大小,Sequence-to-Sequence 模型中的 ? 表示 kernel 的个数会随着输入数据的变量个数 (channel) 的变化而变化。
不同的网络结构中,一般来说由 CNN 进行空间特征的学习,ConvLSTM 进行时间维度的学习,考虑到 ConvLSTM 中也包括卷积过程以及 3维 CNN 也可以同时进行时间维度上的卷积,所以也有只使用 ConvLSTM (图 4.b) 和 CNN (图 4.a) 的网络结构。Sequence-to-Sequence 模型的网络结构则借用自然语言处理领域中的 Seq2Seq 结构,只是把 Seq2Seq 结构中的 RNN 相关的单元换成了ConvLSTM。
图4 Sequence-to-One 模型示意图 (a.CNNs 模型,b.ConvLSTMs 模型,c. CNNs+ConvLSTMs 模型)Fig. 4 Schematic fi gure of Sequence-to-One Models (a. CNNs model, b. ConvLSTMs model, c. CNNs+ConvLSTMs model)
图5 Sequence-to-Sequence 模型示意图Fig. 5 Schematic fi gure of Sequence-to-Sequence model
本文把 SSTA 的预测问题转换为时空序列的预测问题,通过使用大小为序列长度的滑动窗口,在扩增的月均数据集上滑动出模型训练所需的样本,得到的样本根据 8:2 的比例划分为训练集和测试集。此外,本文采用均方根误差 (Root Mean Square Error,RMSE) 作为训练过程中的损失函数。
本文的实验包括五组实验,其中,第一组实验用来确定最优的预测模型,第二组实验用来确定最优的一组超参数,第三组实验用来确定最优变量个数,剩余两组实验用来与其他 ENSO 预报模型进行对比。具体的实验如下:
(1) 确定最优模型结构。使用上述设计的四种模型结构,在 Niño3.4 区域上进行实验,通过 RMSE 的对比找出最优的模型结构;
(2) 确定在最优的模型基础上的一组最优的超参数。调节优化器种类 (Adam、Adadelta、SGD、Adgrad)、是否引入正则化等超参数,选择一组最优的超参数。
(3) 确定最佳的输入变量的个数。分别使用SSTA、SSTA+P+U_WIND (P 和 U_WIND 与 SSTA 的相关性略强) 和所有变量作为输入进行三次实验,以确定最佳的输入变量个数;
(4) 用上述实验确定的最优的模型和参数 (优化器种类、是否正则化、输入变量个数等) ,训练出用于预测 SSTA 的模型,与动力学模型[9]进行对比,以检验模型预测效果的好坏;
(5) 使用训练好的模型进行 Niño3.4 区域的 SSTA预测 (即 Niño3.4 指数预测) 实验,与其他动力学模型和统计模型的预测结果进行对比。
需要说明的是,因为 SSTA 的序列自相关性最强,因此,在前两组实验中只使用 SSTA 作为模型输入。
第一组实验的实验结果如图 6。从图 6 中不难看出,就 RMSE 的对比 (图 6.a) 而言,Seq2Seq 模型不论在训练集还是测试集上都要优于 Seq2One 模型。在相关系数 (图 6.b) 的对比上,中短期 (lead months <6) 预测中,Seq2One 模型相对表现更好一点,而中长期 (lead months > 6) 预测中反而是 Seq2Seq 模型表现更好一点。其中,Seq2Seq 模型在向后预报到 3-6 个月 (lead months = 3-6) 时,相关系数有明显的降低,这与动力学预报上的“春季预报障碍”现象比较吻合,这可能就说明 Seq2Seq 模型的预测过程类似于动力学预报。而 Seq2One 模型 (除 CNNs 模型之外) 则没有类似“春季预报障碍”的现象。但是,整体来看,Seq2Seq 模型还是要优于 Seq2One 模型的,而且ENSO 预报一般要越能提前并准确地预报越好,在中长期的预报技巧 (相关系数) 上,显然也是 Seq2Seq 模型更占优势。因此,综合 RMSE 和相关系数的对比,可以看出 Seq2Seq 模型是设计的四种模型结构中最优的。此外,值得注意的是,四种模型在训练集 (实线)和测试集 (虚线) 上的表现有一定的差距。
图6 RMSE 和相关系数对比结果图 (train:训练集;test:测试集)Fig. 6 RMSE and correlation coefficient comparison result fi gure (train: training set; test: test set)
图7 不同超参数对比实验结果图 (测试集)Fig. 7 Results of different hyperparametric contrast experiments (test set)
图7为不同超参数实验在测试集上的实验结果的对比图,其中考虑到 Seq2Seq 模型的编码器 (Encoder)部分对输入序列可以有三种方式——正序输入、逆序输入和使用双向编码器 (Bi-Encoder) 接收双向输入,所以也把编码器不同的输入方式也考虑为超参数之一。首先,就不同的编码器输入方式 (图 7.a 和图 7.b) 而言,在 RMSE 的对比上,正序输入 (normal_encoder_input) 只有在短期 (lead months < 5) 预测时表现得略差,在中长期 (lead months ≥ 5) 预测时要明显好于其他两种输入方式;而在相关系数的对比上,三种输入在短期 (lead months < 5) 预测时的表现相差无几,而在中长期 (lead months ≥ 5) 预测时,随着提前预报月份 (lead months) 的增加,正序输入与其他两种输入的差距逐渐增大,最终,正序输入的相关系数比其他两种输入的相关系数要高 0.1 左右。因此,编码器使用正序输入可以带来更好的预测结果。其次,就是否使用 L2 正则化 (图 7.c 和图 7.d) 这一点来说,不使用 L2 正则化的模型的结果 (包括 RMSE 和相关系数) 都要略好于使用 L2 正则化的模型的结果。其中,短期 (lead months < 3) 预测时,不使用 L2 正则化的模型的RMSE更是明显好于使用 L2 正则化的模型的RMSE。因此,不使用L2正则化更有利于模型得到好的预测结果。最后,针对于不同的优化器 (图 7.e 和图 7.f),Adam 优化器在 RMSE 和相关系数上都要优于其他三种优化器。综上所述,对于 Seq2Seq 模型而言,最优的超参数为:编码器使用正序输入、不使用L2 正则化和使用 Adam 优化器。
第三组实验的实验结果如图 8 所示。可以看出增加变量个数只能降低训练集上的 RMSE,而对测试集来说基本没有提升,甚至中长期 (lead months > 5)的预测反而是只使用 SSTA 要更好。因此,这就说明只使用SSTA做模型的输入就可以达到比较好的预测结果。此外,使用 3 个变量 (SSTA、P_SURF、U_WIND) 作为输入和使用 6 个变量作为输入对模型的预测结果基本没有影响。这可能说明增加的 3 个变量(V_WIND、U_CURRENT、V_CURRENT) 对 SSTA的预测基本没有影响。
使用 Seq2Seq 模型,用 SSTA 作为输入变量,用前述实验所确定的超参数 (编码器使用正序输入、不使用 L2 正则化和使用 Adam 优化器) 进行 SSTA 的预测实验,实验结果如图 9 所示。其中,图中阴影区域表示 12 个模型 (分别以 12 个月作为起报月得到的模型) 在测试集上的结果的分布范围,而红色实线为 12个模型结果的平均值,即不考虑不同起报月预测结果的差别。由图 9 可以看出,就 RMSE 来看,Seq2Seq模型在短期 (lead months < 3) 预测时的结果要略差于单一动力学模型 (deterministic model) 和集合预报(ensemble model) 的结果。但是随着预测超前的月份 (lead months) 的增加,Seq2Seq 模型逐渐显示出优势。当 lead months ≥ 3 时,Seq2Seq 模型的预测结果就已经优于单一动力学模型的预测结果了,而当 lead months > 7 后,其预测结果更是优于集合预报的预测结果。但是,就相关系数而言,Seq2Seq 模型与动力学模型还是有一定的差距的。此外,经过分析,测试集上的较差的边界 (RMSE 中的上边界和相关系数的下边界) 应该与“春季预报障碍”现象有一定关系。
图8 不同变量个数实验结果图Fig. 8 Results of different number of variables’ experiments
图9 Seq2Seq 模型与动力学模型对比Fig. 9 Comparison of Seq2Seq model and dynamical models
最后,利用训练好的 Seq2Seq 模型对 2015 之后Niño3.4 区域的 SSTA 进行预测实验,实验结果如图10 所示。从图中可以看出,Seq2Seq 模型对 2015 年出现的强厄尔尼诺现象拟合的较差。但是,相较于其他 ENSO 预报模型的预测结果 (图 10 虚线,数据来源于 https://iri.columbia.edu/our-expertise/climate/enso/),Seq2Seq 模型的预测结果还算可以,而且在 2017 年 5月左右的峰后可以较好地预测出回落。因此,整体上来看,目前的 Seq2Seq 模型可以较好地预测出 SSTA的趋势,但是峰值强度的预测还有一定的差距。
本文通过一组对比实验,从四种设计的网络模型中挑选了一种可以用来 SSTA 预测的模型——Seq2Seq 模型。随后又确定了可以让 Seq2Seq 模型取得最优预测结果的一组超参数和输入变量个数。然后,用此模型与传统的动力学模型进行了 RMSE 和预报技巧 (相关系数) 的对比,结果表明 Seq2Seq 模型在中长期 (lead months > 7) 的预测结果要优于动力学模型,而在预报技巧上的表现要略差于动力学模型,但是中长期较好的预测结果更有利于 Seq2Seq 模型用于 ENSO 现象的预报。最后,使用训练好的Seq2Seq模型对 2015 年 1 月到 2018 年 8 月的 SSTA 进行了预测,结果表明 Seq2Seq 模型可以较好地预测出 SSTA的变化趋势,但是预测的峰值强度 (特别是厄尔尼诺的强度) 要弱于观测值。此外,与其他ENSO预报模型相比,Seq2Seq 模型的表现处于中等水平。
当然,目前的 Seq2Seq 模型也存在一些问题:(1)测试集上有较为明显的类似于动力学模型中的“春季预报障碍”的现象;(2) 训练集与测试集有较大差距;(3) 峰值强度较低。
因此,在今后的实验中可以尝试解决上述问题,以优化现有的模型。本文中只是进行了相对简单的调参工作,没有对正则化的惩罚因子的大小,不同优化器的学习率等进行更深入的调参工作,随着今后调参工作的进一步深入,或许可以找到能减轻训练集中类 “春季预报障碍”的现象的超参数以及缩小训练集和测试集之间的差距。而且,也可以尝试利用Seq2One 模型,特别是 CNNs_ConvLSTMs 模型,减轻 Seq2Seq 模型在训练集中的类 “春季预报障碍”现象。针对峰值强度较低的问题,或许可以尝试引入一些随机扰动的机制让模型可以预测出更大的强度。此外,因为本文中的数据量比较小,导致无法支撑较大模型的训练,如果可以得到更充足的数据,或许可以训练出预测效果更好的模型。
图10 预测实验结果对比图 (虚线为其他 ENSO 预报模型的预测结果)Fig. 10 Comparison of prediction experiments’ results (dotted line is the prediction result of other ENSO prediction models)
致谢
本研究受到国家重点研发计划 (2016YFB0200800),重点自然科学基金重点基金 (91530324) 和中国科学院知识创新项目 (XXH13504-03-02) 的资助,在此特别感谢。
[1]郑飞. ENSO 集合预报研究 [D]; 中国科学院研究生院(大气物理研究所), 2007.
[2]郑冬晓, 杨晓光. ENSO 对全球及中国农业气象灾害和粮食产量影响研究进展 [J]. 气象与环境科学, 2014,37(4): 90-101.
[3]李晓燕, 翟盘茂. ENSO 事件指数与指标研究 [J]. 气象学报, 2000, 58(1): 102-109.
[4]任福民, 袁媛, 孙丞虎, 曹璐. 近 30 年 ENSO 研究进展回顾 [J]. 气象科技进展, 2012, 02(3): 17-24.
[5]许武成, 马劲松, 王文. 关于 ENSO 事件及其对中国气候影响研究的综述 [J]. 气象科学, 2005, 25(2): 212-220.
[6]秦坚肇. 两类厄尔尼诺对次年夏季中国东部降水的可能影响 [D]; 中国气象科学研究院, 2014.
[7]吴萍, 丁一汇, 柳艳菊. 厄尔尼诺事件对中国夏季水汽输送和降水分布影响的新研究[J]. 气象学报, 2017, 75(3):371-383.
[8]袁媛, 杨辉, 李崇银. 不同分布型厄尔尼诺事件及对中国次年夏季降水的可能影响 [J]. 气象学报, 2012, 70(3):467-478.
[9]ZHENG F, ZHU J. Improved ensemble-mean forecasting of ENSO events by a zero-mean stochastic error model of an intermediate coupled model[J]. Climate Dynamics,2016, 47(12): 1-15. 10.1007/s00382-016-3048-0.
[10]王辉, 刘娜, 李本霞, 李响. 海洋可预报性和集合预报研究综述 [J]. 地球科学进展, 2014, 29(11): 1212-1225.
[11]周广庆, 李旭, 曾庆存. 一个可供 ENSO 预测的海气耦合环流模式及 1997/1998ENSO 的预测 [J]. 气候与环境研究, 1998, 29(4): 62-70.
[12]SALMAN A G, KANIGORO B, HERYADI Y. Weather forecasting using deep learning techniques; proceedings of the Advanced Computer Science and Information Systems(ICACSIS), 2015 International Conference on, F, 2015[C]. IEEE. 281-285.
[13]SOMAN S S, ZAREIPOUR H, MALIK O, MANDAL P. A review of wind power and wind speed forecasting methods with different time horizons; proceedings of the North American Power Symposium, F, 2010 [C]. 1-8.
[14]刘鑫达. 基于深度学习的气象温度预测研究 [D]; 宁夏大学, 2016.
[15]燕东渭, 孙田文, 杨艳, 方建刚, 刘志镜. 支持向量数据描述在西北暴雨预报中的应用试验 [J]. 应用气象学报,2007, 18(5): 676-681.
[16]张振. 基于深度学习的全天空云图分类方法研究 [D];北京交通大学, 2017.
[17]朱磊. 基于图像的结露与结霜现象自动化检测技术研究[D]; 华中科技大学, 2015.
[18]FENG Q Y, VASILE R, SEGOND M, GOZOLCHIANI A, WANG Y, ABEL M, HAVLIN S, BUNDE A,DIJKSTRA H A. ClimateLearn: A machine-learning approach for climate prediction using network measures[J].Geoscientific Model Development Discussions, 2016:1-18.
[19]ZHANG Q, WANG H, DONG J Y, ZHONG G Q, SUN X.Prediction of Sea Surface Temperature Using Long Short-Term Memory[J]. Ieee Geosci Remote S, 2017, 14(10):1745-1749. 10.1109/Lgrs.2017.2733548.
[20]AGUILARMARTINEZ S, HSIEH W W. Forecasts of Tropical Pacific Sea Surface Temperatures by Neural Networks and Support Vector Regression[J]. International Journal of Oceanography, 2014, 2009(1687-9406)
[21]KALRA A, AHMAD S. Using oceanic-atmospheric oscillations for long lead time stream fl ow forecasting[J].Water Resources Research, 2009, 45(3): 450-455.
[22]LIMA C H R, LALL U, JEBARA T, BARNSTON A G. Machine Learning Methods for ENSO Analysis and Prediction [M]//LAKSHMANAN V, GILLELAND E, MCGOVERN A, et al. Machine Learning and Data Mining Approaches to Climate Science: Proceedings of the 4th International Workshop on Climate Informatics.Cham; Springer International Publishing. 2015: 13-21.
[23]NOOTEBOOM P D. Using Network Theory and Machine Learning to predict El Niño[J]. 2017,
[24]TROUP A J. The Southern Oscillation Index[J]. Quarterly Journal of the Royal Meteorological Society, 1965,91(390): 490-506.
[25]BAMSTON A G, CHELLIAH M, GOLDENBERG S B. Documentation of a highly ENSO‐related sst region in the equatorial pacific: Research note[J]. Atmosphereocean, 1997, 35(3): 367-383.
[26]CHIODI A M, HARRISON D E. El Niño Impacts on Seasonal U.S. Atmospheric Circulation, Temperature, and Precipitation Anomalies: The OLR-Event Perspective*[J].Journal of Climate, 2013, 26(3): 822-837.
[27]LECUN Y, BOSER B E, DENKER J S, HENDERSON D,HOWARD R E, HUBBARD W. Backpropagation Applied to Handwritten Zip Code[J]. Neural Computation, 1989,
[28]LECUN Y. Generalization and Network Design Strategies;proceedings of the Connectionism in Perspective, F, 1989[C].
[29]SHI X, CHEN Z, WANG H, YEUNG D Y, WONG W K,WOO W C. Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting[J]. 2015,9199: 802-810.
[30]HUBEL D H, WIESEL T N. Receptive fields, binocular interaction and functional architecture in the cat's visual cortex[J]. The Journal of Physiology, 1962, 160(1): 106-154.
[31]FUKUSHIMA K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics,1980, 36(4): 193-202.
[32]LECUN Y, BOTTOU L, BENGIO Y, HAFFNER P. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.
[33]KRIZHEVSKY A, SUTSKEVER I, HINTON G E.ImageNet classification with deep convolutional neural networks; proceedings of the International Conference on Neural Information Processing Systems, F, 2012 [C].1097-1105.
[34]KALCHBRENNER N, GREFENSTETTE E, BLUNSOM P. A Convolutional Neural Network for Modelling Sentences[J]. Eprint Arxiv, 2014, 1
[35]CHEN Y, XU L, LIU K, ZENG D, ZHAO J. Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks; proceedings of the The Meeting of the Association for Computational Linguistics, F, 2015 [C].
[36]KIM Y. Convolutional Neural Networks for Sentence Classi fi cation[J]. Eprint Arxiv, 2014,
[37]REYNOLDS R W, SMITH T M, LIU C, CHELTON D B, CASEY K S, SCHLAX M G. Daily High-Resolution-Blended Analyses for Sea Surface Temperature[J]. Journal of Climate, 2007, 20(22): 5473-5496.
[38]DECKER M, BRUNKE M A, WANG Z, SAKAGUCHI K, ZENG X, BOSILOVICH M G. Evaluation of the Reanalysis Products from GSFC, NCEP, and ECMWF Using Flux Tower Observations[J]. Journal of Climate,2012, 25(6): 1916-1944.
[39]SAHA S, MOORTHI S, PAN H, WU X, WANG J,NADIGA S, TRIPP P, KISTLER R E, WOOLLEN J S,BEHRINGER D. The NCEP Climate Forecast System Reanalysis[J]. Bulletin of the American Meteorological Society, 2010, 91(8): 1015-1057.
[40]SAHA S, MOORTHI S, WU X, WANG J, NADIGA S, TRIPP P, BEHRINGER D W, HOU Y, CHUANG H, IREDELL M. The NCEP Climate Forecast System Version 2[J]. Journal of Climate, 2014, 27(6): 2185-2208.