神经网络模型有哪些_BP神经网络预测模型

电力行业节能环保公众服务平台——权威、专业、创新的电力节能环保公众号

全文6546字

阅读约需7分钟

作者 | 马双忱，林宸雨，周权，吴忠胜

刘琦，陈文通，樊帅军，要亚坤，马采妮

华北电力大学(保定)环境科学与工程系

深能保定发电有限公司

摘要

本文建立了一个隐含层包含一个长短期记忆层(Long-short  Term  Memory,  LSTM)、两个线性整流函数层(Rectified Linear Unit, ReLU)、两个全连接层(Fully Connected Layer)和输入、输出层组成的深度神经网络用于脱硫系统主要指标预测。该模型对输入参数采用了指数滑动平均、合并最小分析周期等数据预处理技术进行降噪，在网络训练过程中采用 dropout技术防止过拟合。仿真结果对比现场数据表明，模型对浆液 pH 值、出口 SO₂ 浓度和脱硫率均体现出良好的预测能力。本文还结合某 2×350MW 燃煤电厂提供的实际工数据，以石灰石供浆密度对系统脱硫性能的影响为例，详细介绍了利用所建立的深度神经网络模型测试湿法脱硫系统各参数指标对脱硫效果的影响，并结合化学机理和工业实际进行的诊断过程。

关键词：燃煤电厂；脱硫系统；计算机模拟；深度学习；神经网络；预测；模型应用；智慧环保；

当前，国家正加快推进以 5G、人工智能、工业互联网、物联网为代表的新型基础设施建设(新基建)，电力行业的智能化建设也蓬勃发展。国内大型火力发电厂很早就实现了厂级 DCS 数据监控，历史运行数据丰富，为实现数据驱动的神经网络建模提供了有利条件。由于脱硫系统受各种复杂工况的影响，且具有大惯性、非线性等特点，化学机理建模只能较粗略地对脱硫系统重要指标进行预测。当前化学机理建模的手段主要是通过传质理论、化学动力学建立系列微分方程求解，或通过离子平衡规律、电中性原理建立守恒方程求解。化学机理建模的优势在于可以计算和判断各主要化学物质的浓度和存在形式，并可以对物质的空间分布进行分析。但是，化学机理建模也面临因计算代价大从而过度简化、无法考虑复杂工况等问题，导致预测效果较差，模型迁移能力不强。

随着人工智能技术的高速发展，神经网络技术逐渐被应用于对脱硫系统进行建模预测。早期技术主要是基于简单的反向传播(Back Propagation, BP)设计神经网络，但因 BP 网络结构简单，存在一些问题。苏向鹏等采用了基于径向基函数(Radical Basis Function，RBF)的改进模型，改善了 BP 网络易陷入局部最小值的缺陷；李军红等利用的广义回归神经网络(Generalized  Regression  Neural  Network，GRNN)是基于 RBF 网络改进的神经网络模型，针对样本较少的情况，预测效果有所改善。但上述改进仍未考虑脱硫系统大惯性的特点，FU  J 等使的用 LSTM 网络，就能实现信息在时序上传递。不过因其设计的网络只使用了 LSTM 一种结构，神经网络在结构设计上还有改进空间。基于上述分析，本文采用多种网络结构和数据处理技术设计深度神经网络模型，模型预测误差水平和训练代价显著下降。

1  神经网络输入数据预处理

1.1 输入数据降噪预处理

本文采用华北某 2×350MW 电厂 2019 年 7 月 1 日到 27 日按分钟记录的脱硫环保数据集(共计 40000条)进行网络参数训练，模型选取的 14 个分析指标和 DCS 监测值基本变动范围如表 1 所示：

表 1  神经网络的输入指标和其波动范围

本文对 DCS 提供的原始数据采用指数滑动平均技术(Exponential Moving Average, EMA)进行降噪。因为电厂监测系统测量值易受温度、湿度等影响而漂移，EMA 可以使得数据输入更重视变化趋势而不是瞬时振荡，对神经网络模型训练过程、防止过拟合有积极作用。

本文采用的 EMA 公式如下(1)，(2)所示：

式中：vt为 t 时刻指数滑动平均值，rt 原始值。β 为递减系数，l 为窗口长度  (min)。

为更好地平衡降噪和趋势保留，对不同变量，本文采用不同的 l 值，使得测量噪声得以消去，而变化趋势得以保留。图 1 中，展示了入口烟气流量、SO₂含量经过滑动平均的分析结果(l 分别取 7 和 5)和监测值的对比。对其他变量，模型采用的 l 值基本在 5~15 之间。

图 1   数据 EMA 降噪结果展示

1.2 最小分析时间周期划分

目前基于神经网络的脱硫系统相关预测模型，大都是基于前 1min 的 DCS 监测值预测后 1min 的监测值。这样模型的预测误差虽然较小，但由于控制系统的响应很难达到如此小的时间精度，实际应用中仍需要对一个段时间段(一般为控制系统最小响应时间)取平均，再带入网络计算，而由于网络是针对 1min设计和训练的，就容易造成较大误差。所以，本文在建模初始就进行了最小分析时间周期的划分，在数据预处理、网络架构上都适当考虑了适应较长预测时间的需求，只需要对模型参数调整即可改变最小预测周期。

图 2 展示了本文所建立模型的预测误差随最小分析周期变动的箱线图。箱体下端为 25%分位数的位置，箱体上端为 75%分位数的位置，这表明箱体包含了 50%误差值分布。除了箱体的上下边缘外，箱线图还展示了几个偏离程度较大的异常点。

图 2   最小分析周期变化对模型性能的影响

显然，最小分析周期增大，误差边缘范围扩大、异常点增多，这是做长时段预测必然面对的情况，电厂可以根据容忍的误差限和最短工况反应时间选定网络参数。本文模型采用最小分析周期为 3min，且预测效果达到预期后选择尽可能简单的深度神经网络结构加速运算过程。当前情况下，模型的训练时长为 1 分17 秒，计算输出结果仅需数秒，小于最小分析周期，可以满足工业实际需求。  

为了体现输入工况的时滞性并减少异常值输入对模型影响，模型在处理输入时还采用了加权周期处理，周期设置一般取 3~5 个最小分析单元。之后的预测结果表明，此做法增加了模型的鲁棒性，模型对异常输入的响应不敏感。图 3 展示了本文所建立模型的数据预处理过程。

图 3   模型数据预处理过程

2  神经网络结构及训练方法

2.1 神经网络模型结构

本文所建立的深度神经网络模型结构如图 4 所示，除了常规的输入层、输出层和全连接层外，还引入了 LSTM 层、ReLU 层和 dropout 模块，增强了网络的预测能力和泛化性能。

图 4   深度神经网络的设计结构

在神经网络结构中，循环神经网络(Recurrent Neural Network，RNN)一般用于解决时序问题。但 RNN在训练过程中容易发生“梯度消失”现象。LSTM 本质也是一种 RNN，但由于其巧妙设计了门限结构，可将之前的工况影响选择性地记忆或遗忘，并能解决 RNN 的“梯度消失”问题。近年，LSTM 已在电厂 NOx排放量预测和电力市场及负荷预测被中应用。本文模型使用的 LSTM 层的基本运算流程如图 5 所示，模型中架设设 1 个 LSTM 层，含如图示节点神经元 128 个，梯度阈值设置为 1，并采用 L2 正则化方法，正则化系数为 0.0001。

图 5   LSTM 网络结构的运算流程

模型在 LSTM 层和全连接层后都架设了 ReLU 层。相较于 LSTM 层、全连接层使用的 sigmoid 或 tanh激活函数，使用 ReLU 激活函数计算神经元响应，计算复杂度显著下降。另对深度神经网络而言，ReLU激活函数可显著降低因 sigmoid 激活函数接近饱和区时导数趋于 0 带来的梯度消失现象。此外，在输入小于 0 时，ReLU 层的输出也为 0，减少了网络间相互依赖过程，对防止模型过拟合有积极作用。

2.2 模型训练过程

网络参数训练采用自适应矩估计(Adaptive moment estimation, ADAM)方法控制梯度下降过程。设置初始学习速率 0.013，最小学习批次为 256，为防止梯度爆炸，设置梯度阈值为 1。模型最大训练轮数为 60轮，每 20 轮后，学习速率降低到原先的 0.6。在模型训练过程中，采用 dropout 技术防止模型过拟合，该技术由人工智能领域著名学者 Hinton 在 2014受自然选择和有性生殖过程启发而提出。如图 6，dropout  技术在深度神经网络的训练过程中，按照一定的概率将部分神经网络单元暂时隐藏，此时相当于从原始的网络中选取一个更简洁的网络进行训练。在本文提出的深度神经网络模型训练中，在第二个 ReLU 层后使用了一个 dropout 模块，丢弃率取 0.2。

图 6   Hinton 在论文中展示的 dropout 示意图

3  模型的输出结果分析

根据第 2 章中神经网络结构和计算方法，模型输出值为下个最小分析周期的 pH 和出口 SO₂ 浓度。但在电厂实际运行中，脱硫率是运行人员判断吸收塔实时脱硫能力、对控制策略做出调整的重要参考指标。目前主流的脱硫系统神经网络模型也大都以脱硫率预测结果来评价模型的性能。故本模型将预测的出口SO₂ 浓度转化，增加脱硫率指标，一则贴近现场需求，二则方便与其他模型预测性能进行比较。脱硫效率计算公式如下：

3.1 关于脱硫率和 pH 值的预测结果分析

图 7，图 8 展示了训练后神经网络模型在测试集上的预测结果与实际值对比。测试数据集采用华北某2×350MW 电厂 2019 年 7 月 28 日到 30 日中按分钟记录的一段 DCS 监控数据(共 4000 条)。从图中展示的系统出口 SO₂ 含量、脱硫率的 DCS 降噪处理后的实际值(蓝线)和神经网络预测输出结果(红线)的对比可以看出，预测出口 SO₂ 含量和脱硫率变化趋势和实际值对应，模型预测效果良好。

图 7   出口 SO₂ 浓度降噪后实际值和预测值的对比

图 8   出口脱硫率降噪后实际值和预测值的对比分析

此外，图 9 展示了 DCS 降噪前的实际监测值(蓝线)和降噪后的实际值(绿线)以及神经网络的预测值(红线)在测试集 2400 min 到 4000 min 的一段局部对比。图中 3100~3200 min、3400~3500 min 及 3700 min~3900 min 内，DCS 监测值振荡严重，而神经网络预测值平滑变动。可以看出，神经网络的预测结果能跟随出口 SO₂ 含量的变化趋势，但不会跟随监测噪声振荡，表明模型的预处理手段和系数选取合适。

图 9   出口 SO₂ 浓度降噪后实际值和预测值的对比(局部放大)

DCS 对 pH 监测时，也会发生同样的随机波动误差，但除此之外，由于 pH 计管每隔 2h 冲洗一次，会导致测定点 p H 值瞬间升高，所以此时 DCS 测量的 pH 值数据不能很好地反应吸收塔浆液真实情况。不过，由于本文的数据预处理技术，神经网络模型对此刻的突变并不敏感。这表明在 DCS 监测值因某种原因失真的情况下，模型预测值可以实现一定程度上的“软测量”功能，辅助运行人员决策。图 10 就展示了这种情形，图中蓝线为 DCS 实时反应的 pH 值，绿线为预处理降噪后的 p H 值，红线为神经网络的预测输出结果。

图 10   浆液 pH 实际值和预测值的对比分析

3.2 关于脱硫率和 pH 值的预测结果指标评价  

由前文 3.1 节所讨论的，为降低 DCS 监测数据中振荡噪声带来的影响，在模型评价中使用经过降噪处理，并以 3min 为最小分析周期取平均值合并的实际值作为真实值标准评价模型的预测误差。本节采用了 3个指标：均方根误差(Root Mean Square Error, RMSE)用于反映泛化误差水平，平均百分误差(Mean Absolute Percentage  Error,  MAPE)用于直观体现预测值的偏差水平，误差值的方差用于直观反应模型的泛化能力，上述指标计算公式如下：

表 2 集中展示了浆液 pH 值、出口 SO₂浓度和系统脱硫率的预测结果主要评价分析指标 RMSE、MAPE和误差的方差。结果表明，模型预测能力很强，预测误差很小。

表 2   神经网络输出指标和其波动范围

图 11(a)、(b)为模型预测 p H 和脱硫率的误差频次分布图，可以看出，预测结果的误差分布接近均值为0 的正态分布，说明模型的预测效果较好。

图 11  预测 pH 和脱硫率误差的频次分布直方图

3.3 本模型与其他主流神经网络预测性能对比

神经网络的结构种类有很多，为验证本文使用深度神经网络模型预测脱硫率和 p H 具有良好效果，本节采用目前主要流行的深度 BP 神经网络、LSTM 神经网络模型与本文提出的人工深度神经网络的预测效果进行对比。对比指标选择浆液 pH 值和系统脱硫率，最小分析时间周期均取 5min，对比的参数是 RMSE和 MAPE。对不同的模型，输入参数采用同样的数据处理和降噪手段。

本文对比采用的深度 BP 神经参照文献设计，为提高网络性能，BP 隐含层数量增至 10 层，LSTM神经网络参照 FU J 等文献模型的参数和架构设计，因 FU J 在文献中已经对比 LSTM 神经网络相对 RNN网络的优势，本文不再设计 RNN 对比。

图 12  不同网络预测 pH 和脱硫率误差主要指标对比

如图 12，本文提出的深度神经网络模型对于 pH 的预测值 RMSE=0.0947,优于深度 BP 的 0.116、仅使用 LSTM 层模型的 0.1095；脱硫率方面，本文模型脱硫率预测值的 RMSR=0.1066，而深度 BP 的预测值RMSE=0.2781，几乎是本文深度神经网络模型预测泛化误差的两倍，而仅使用 LSTM 的预测值RMSE=0.2351(FU J 等文献中所求 RMSE=0.2909，可能因其数据未经本文预处理手段，噪声较大降低模型性能)，仅仅略优于深度 BP 的预测效果。上述结果说明，本文提出的深度神经网络模型在 5min 尺度上的预测结果要明显优于主流的 BP 和仅使用 LSTM 神经网络。

4  模型应用案例

4.1 模型对石灰石供浆密度对出口 SO₂ 和脱硫率影响仿真

脱硫系统出于自身安全性的考虑，往往不能进行大范围、多状态试验，导致探究脱硫系统内各变化因素对系统的影响一般通过建立中试平台实验完成，但这种做法往往存在较大的误差，不能很好反应脱硫系统真实情况。本文神经网络模型建立完成后，事实上提供了一种基于计算机仿真的工况诊断与优化分析方法，并且因模型在训练时使用的是特定电厂的数据，相对于一般的中小试实验更有针对性。本节案例选取石灰石供浆密度对系统脱硫性能的影响，测试值位点选择为系统各工况参数均值附近最大概率分布区间内的中位数值。测试范围为监测情况下该工况参数变动范围的 95%，测试因素变化时，其他工况参数条件不变。图 13 为本文深度神经网络的仿真结果。图中可见，石灰石供浆密度在达到 1260kg/m³左右时，对系统脱硫率的贡献就非常有限，而增大到 1270 kg/m³  以上时，过高的石灰石浆液密度甚至抑制了塔内反应，导致脱硫率下降，出口 SO₂ 浓度上升。

图 13   吸收塔石灰石浆液密度对出口脱硫率和 SO₂ 浓度的影响

从化学传质和反应的角度可以解释上述模型的仿真结果：一般情况下，石灰石浆液密度升高，脱硫率增大，是因密度较低时，CaCO₃含量不足，化学反应不充分导致脱硫率低，同时 CaSO₄ 密度小，也使石膏晶体不易生成长大。但是当浆液密度过大时，浆液中 CaCO₃的浓度趋于饱和，增加的石灰石溶解并不充分，不能进一步提升脱硫率，并且因为生成的 CaSO₄溶解度小，过饱和的 CaSO₄ 可能覆盖在碳酸钙表面，阻滞反应。此外，由于吸收塔浆液密度和石灰石浆液密度具有关联性，长期输入过高密度的石灰石浆液可能间接提升吸收塔浆液密度，触发石膏排出泵工作，导致未反应的 CaCO₃也一并排出，造成脱硫剂浪费，并降低石膏品质。

4.2 结合仿真结果对电厂实际工况的分析

图 14 为该厂脱硫系统 2019 年 7 月 1 日到 31 日(共 44640 条)按 min 记录的吸收塔石灰石浆液密度频次分布图。发现监测的 2019 年 7 月工况下，超过 1260 kg/m³的时间段占比为 6.45%，其中超过 1270 kg/m³的时间段占比为 1.91%。该厂部分时间段存在石灰石供浆密度过大而对脱硫反应不利的情况。电厂应尽量减少供浆密度超过这一限值的情况。

图 14   监测时段吸收塔石灰石浆液密度频次分布图

由于神经网络模型属于端对端模型，对于输入和输出之间容易测试影响，而对于其他中间过程则属于“黑箱”，故本团队同时也设计了基于化学机理的过程模型进行补充探讨中间过程、使得诊断过程更加全面。通过该机理模型推理反应线索，认为过高的石灰石供浆浆液密度除了影响吸收塔内的化学反应，还会导致吸收塔浆液密度过高、结垢倾向大。结合工程经验，还可能导致浆液循环泵叶轮磨损，在吸收塔壁、吸收塔底部和循环泵入口滤网结垢。综上，应对电厂脱硫系统相关位置做结垢分析。

图 15   吸收塔壁垢样、健康石膏和循环泵滤网入口垢样的 SEM 图

图 15 是 2020 年 3 月该电厂脱硫系统垢样分析报告中，对电厂吸收塔塔壁、吸收塔底部和循环泵入口滤网垢样的 SEM 图。观察到吸收塔壁垢样(图 15(a))颗粒直径主要在 20μm 以上，晶体生长痕迹明显，且以片状形式堆叠生长，结构紧凑、晶体间空隙较小，表面附着直径 2-3μm 左右杂质颗粒。与健康生长石膏(图 15(b))相比，晶体结构存在差异：健康生长石膏多为六棱柱结构、晶体间有明显空隙、表面无细小杂质，推测差异的原因是浆液中 CaSO₄ 过饱和，结晶在吸收塔塔壁可以生长的物质表面。此外，吸收塔底部与循环泵入口滤网结垢样品晶体(图 15(c))整体偏小，一般在 5-10μm 左右，且存在较多细碎颗粒。结合 XRD 结果，结垢样品主要存在物质为 CaSO₄·2H₂O。综上所述，可以判断该厂部分时段吸收塔浆液密度过大，CaSO₄ 过饱和，在吸收塔壁、吸收塔底部和循环泵入口结垢。

综上，本节先通过神经网络的仿真结果，得到了该电厂石灰石浆液密度过高、影响脱硫系统主要化学反应的参考边界，再经对该厂 7 月工况下石灰石浆液密度的分布情况分析，判断有 6.45%的时间段该厂石灰石浆液密度偏离了最适范围。随后通过化学机理模型，判断吸收塔内存在结垢风险，之后进行 SEM、XRD 等化学分析也印证了这一结论。该诊断过程体现了基于数据建模、机理建模与实验分析相互协调补充的脱硫系统智慧环保体系基本工作流程。

5  结论

本文设计了一种基于 LSTM 层、ReLU 层和全连接层按单元组合的深度神经网络模型，能够实现对脱硫塔出口 SO₂ 浓度、浆液 pH 值和脱硫率进行预测。由于考虑了脱硫系统重要指标在时序上的惯性以及采用了合适的网络架构和数据处理技术，模型对系统 pH 值、SO₂ 排放量和脱硫率有很好的预测效果，可实现对未来数分钟的 SO₂ 排放浓度趋势预判，为运行人员提前优化运行，保证 SO₂ 的排放处于合理范围内，降低其波动性创造了空间。

另一方面，由于模型预测结果对监测噪声和异常突变并不敏感，在因某些情况下 DCS 监测数据失真时，模型的预测结果能起到一定的“软测量”补充作用。

该模型还可以用于对脱硫系统进行计算机仿真实验，探究各个重要参数变化对脱硫系统脱硫率、出口SO₂ 浓度或 p H 的影响，与化学机理分析相配合，对脱硫系统进行工况诊断和运行优化。

文章发表于《化工进展》

第一作者及通信作者：马双忱，教授，博士，主要从事燃煤电厂烟气脱硫脱硝、废水处理等方面研究。

电力帮学习就在电力帮

专家库征集邀您加入 电力行业环境资源专家库

企业直
播
邀
请华山论剑  技术争鸣