基于马尔可夫模型的混合动力汽车随机能量管理策略

基于马尔可夫模型的混合动力汽车随机能量管理策略

1混合动力汽车的仿真计算在能量管理策略研究的早期阶段，人们通常使用相对简单的恒压控制或功率跟踪策略。在研究能量的管理策略时，主要依靠实验的紧凑和直观思维来获得能量的管理策略。很难找到有效的方法来指导控制参数的调整。随着研究的不断进展,人们开始逐步引入优化算法来进行能量管理策略的设计。此时,基于子部件静态模型的优化方法成为了一种主要的方法。但是静态优化没有考虑汽车的动态特性,不能获得动态控制系统的全部信息,也不能很好地解决动力系统工作模式的切换问题。于是,全局优化的方法自然就成为了更好的方法,贝尔曼(Bellman)动态规划是其中的一种主要算法。在尝试工程试验、数学优化和数值计算等方法后,人工智能方法成为研究的热点。文献中的仿真计算结果表明:基于模糊规则的能量管理策略比序列二次规划算法的数学优化结果更好。近年来,建模仿真分析方法已经成为很多研究领域的有力工具,在能量管理策略的研究方面,利用Matlab/Simulink/Stateflow软件进行仿真计算已成为混合动力汽车研究的一个步骤。在混合动力汽车各子部件仿真模型的基础上,文献借助于工程经验和逻辑控制方法建立了实用的能量管理策略。确定性动态规划理论在能量管理策略设计中得到了较多的应用。然而,确定性动态规划理论是基于某些预先定义的行驶工况进行优化计算,只能得到在这些工况下行驶时的最优数值解,不能直接得到控制策略的参数;也不能保证该控制策略在真实的行驶工况下是最优的。为了克服确定性动态规划所固有的缺点,文中根据车辆的真实道路行驶记录,建立驾驶员需求功率的马尔可夫随机模型,利用马尔可夫决策理论(又叫随机动态规划)对燃料电池车辆动力系统功率分配问题进行优化计算,可以直接获得能量管理策略,且这个控制策略已经考虑了道路行驶工况的特点。2导线功率的传递燃料电池混合动力汽车的动力系统是一个多能源动力总成系统,它包括电机、燃料电池系统、蓄电池、DC/DC转换器等多种零部件,各部件之间通过电气母线实现物理连接,其结构如图1所示。燃料电池发出的电功率通过主DC/DC转换器,传输至动力系统母线。而蓄电池与母线直接连接,将功率直接传输至母线。交流电机及其控制器的电力由动力系统母线提供。母线功率Pbus如下Pbus=Pbat+Pfcdc=Pdem/(ηm&cηtrans)(1)式中Pbat为蓄电池功率;Pfcdc为主DC/DC转换器输出到母线的功率;Pdem为驾驶员需求功率(在车轮上的驱动功率);ηm&c为电机及其控制器的效率;ηtrans为从变速器、传动轴、驱动桥到车轮的机械传动效率。下面简单描述2个能量源的稳态效率模型。2.1动力能源系统燃料电池是燃料电池混合动力汽车的主要动力能源。根据试验,采用多项式拟合方法得到燃料电池堆效率和堆电压随燃料电池堆功率变化的关系曲线,如图2和图3所示。2.2u3000蓄电池充放电效率值的数学描述选取某384V80A·h镍氢蓄电池作为辅助动力单元,采用RC模型如图4所示,通过试验得到RC等效电路模型数据。RC模型中各个电阻、电容以及电动势参数均为蓄电池荷电状态和温度的函数。根据室温下蓄电池的试验数据计算出蓄电池模型的参数。由蓄电池等效电路可以计算出Ubus与Pbat之间的数学关系表达式为Ubus=ε+√ε2-4(Rt+RcReRc+Re)Ρbat2(2)式中ε为蓄电池开路电压。同时可以得到蓄电池效率的数学表达式。由于蓄电池组充放电效率计算方法不同,需要分别计算。当Pbat>0时,蓄电池放电效率为ηbat_dis=2Ρbat(ReRcRe+Rc+Rt)ε2-ε√ε2-4Ρbat(ReRcRe+Rc+Rt)(3)当Pbat<0时,蓄电池充电效率为ηbat_cha=-ε2+ε√ε2+4(ReRcRe+Rc+Rt)⋅|Ρbat|2(ReRcRe+Rc+Rt)⋅|Ρbat|(4)3司机需求功率随pdem的变化在真实的道路行驶过程中,驾驶员根据道路交通状况、车辆动力性能以及自身的驾驶习惯来控制油门踏板和制动踏板。混合动力汽车的能量管理控制系统首先需要把当前车速下油门踏板或者制动踏板的位置解释成驾驶员期望的功率(即驾驶员需求功率),随后通过能量管理策略把这个驾驶员需求功率分配给燃料电池系统和蓄电池两个能量源,从而实现能量效率最佳。假设驾驶员的操作仅仅是根据当前的状态来决定下一时刻的驾驶员需求功率。具体来说,在当前时刻k,驾驶员在k+1时刻的需求功率Pdem(k+1)只与Pdem(k)相关,而与Pdem(k-1)无关。因此,可以利用马尔可夫链来建立驾驶员需求功率的随机模型,揭示驾驶员需求功率的统计规律。首先,把驾驶员需求功率Pdem离散化成m个状态,即Pdem∈{Pdem1,Pdem2,…,Pdemm}(5)定义状态转移概率puij为Ρr{Ρdem(k+1)=Ρdemj|Ρdem(k)=Ρdemi,u}=puiji,j=1,2,⋯,m;u∈U(6)其中U是决策量的合集,包括了所有可能的控制量,u是当前采用的决策。式(6)表示在采取某决策u后,本时刻在i状态,下一时刻状态转移到j状态的概率。将m个驾驶员需求功率Pdem状态之间的切换转移概率组成图5所示的矩阵,存在m∑j=1puij=1。文中根据实车道路试验数据,包括母线电压、母线电流、电机转速和电机电流等,计算燃料电池混合动力汽车的驾驶员需求功率的状态转移概率矩阵。母线电压Ubus、母线电流Ibus用于计算母线功率Pbus;电机转速、电机电流用于计算电机的稳态效率ηm&c。按照式(7)计算得到驾驶员需求功率Pdem。Pdem=IbusUbusηm&cηtrans(7)以当前驾驶员需求功率是20kW为例,通过对下一时刻驾驶员需求功率的统计分析,其状态转移概率分布情况如图6所示。上述驾驶员需求功率的状态转移概率矩阵需要建立在足够的道路试验的样本数据基础上,要求这些样本数据能够覆盖所有可能的状态空间。4soc和车速工况马尔可夫决策过程是研究一类随机序贯式决策问题的理论。马尔可夫决策优化对象的状态量必须是一个马尔可夫链。为此,上节中建立了驾驶员需求功率的马尔可夫模型,驾驶员需求功率将作为状态量。在应用马尔可夫决策理论前,除了已有的状态转移概率矩阵,还需要确定决策量u和优化目标函数(即成本函数)。对于文中的燃料电池混合动力汽车,在某个蓄电池SOC状态下,母线电压与蓄电池功率是一一对应关系。因此,可以通过控制主DC/DC转换器的输出电压(即母线电压)来间接控制蓄电池功率。虽然母线电压与蓄电池功率是基本等效的,但从功率分配的角度来看,选择蓄电池功率作为决策量更为直观。这里把蓄电池功率Pbat离散化成l个状态,即u=Pbat∈{Pbat1,Pbat2,…,Pbatl}(8)定义单步转移成本ruij:在控制量为u的情况下,驾驶员需求功率从i转移到j状态所消耗的成本。在不同的SOC和车速下,对于某个驾驶员需求功率,在蓄电池功率控制(u=Pbat)下,其单步转移成本为ruij=(Ρfcdcηfcηdcdc+Ρbatηcps)Δt其中ηcps={ηbat_disηfc_avgηdcdc_avg,当Ρbat＞01/ηbat_cha,当Ρbat＜01,当Ρbat=0(9)式中ηfc为燃料电池效率;ηfc_avg为燃料电池平均效率;ηdcdc为主DC/DC转换器效率;ηdcdc_avg为主DC/DC转换器平均效率;Δt是单步步长时间,文中采用1s。单步转移成本分为2个部分:(1)第一项表示燃料电池系统按照静态效率模型计算所消耗的氢气能量;(2)第二项表示蓄电池电能等效折算成的氢气能量。由于蓄电池电能与燃料电池的电化学能是两类不同的能量,因此在计算总能量消耗时,需要对这两种能量形式进行能量转换。一般情况下,蓄电池的电能最终来自于燃料电池的充电,因此在对蓄电池放电的时候,还需要考虑将来为恢复这部分电能时燃料电池和主DC/DC转换器的能量效率。定义总期望成本vi(n)为从状态i开始进行n次状态切换的最小总期望成本,可得递推公式为vi(n+1)=minum∑j=1puij[ruij+vj(n)]n=0,1,2,⋯(10)马尔可夫决策的目标就是在当前蓄电池SOC和汽车车速下寻找到最佳控制策略u=π(Pdem|SOC,v_spd),使得从长远时间的角度来看总成本的期望值最小。在进行马尔可夫决策优化计算前,还需要考虑系统的约束条件。对于燃料电池系统,在其输出功率升高的情况下,单秒净输出功率增量ΔP+fc_ps<15kW。从设计需求角度来说,蓄电池主要起到功率调峰和辅助能量源的作用,而不是主要的能量源。从实车道路数据来看,较少出现蓄电池功率大于30kW的情况,所以在优化时,设定蓄电池功率范围为-30kW≤Pbat≤30kW。最后,从状态i开始的马尔可夫决策优化问题可以描述为π(Ρdem|SΟC,v_spd)=argminu∈Um∑j=1{puij[ruij+vj(n)]}st.{Ρfc_net＜Ρfc_net_maxΔΡ+fc_ps＜ΔΡ+fc_ps_maxΡdc_in＜Ρdc_in_maxrratio_min＜UbusUdc_in＜rratio_max|Ρbat|≤Ρbat_maxUbus_min＜Ubus＜Ubus_maxΙm&c＜Ιm&c_maxUm&c＞Um&c_minτm_min＜τm＜τm_maxωm＜ωm_max(11)式中v_spd为汽车车速;Pfc_net为燃料电池净输出功率;Pdc_in是主DC/DC转换器的输入功率;rratio是主DC/DC转换器的升压比;Um&c为电机及控制器电压;Im&c为电机及其控制器电流;τm为电机转矩;ωm为电机转速。5马尔可夫决策的优化结果与验证5.1最优能量管理策略马尔可夫决策主要有两种求解方法,一种是值迭代法,另一种是策略迭代法。由于策略迭代法更适合于持续时间较长的系统,因此文中采用策略迭代法求解最优策略。篇幅所限,仅列出车速30km/h、3个蓄电池SOC下的马尔可夫最优能量管理策略,如图7所示。从图中可以看到,通过马尔可夫决策计算出的最优能量管理策略,在驾驶员需求功率较低时,倾向于对蓄电池进行低功率充电或者不充电,只有在较高驾驶员需求功率的情况下,蓄电池功率随驾驶员需求功率线性增长,直至其最大允许功率。当蓄电池SOC较低时,倾向于以较大功率对蓄电池充电;当蓄电池SOC较高时,倾向于不对蓄电池充电。这里需要补充说明的是,虽然在优化计算时,限制蓄电池功率在-30～30kW之间,这不意味着在行驶的动态过程中,蓄电池功率始终工作在这个区间。这是因为当驾驶员需求功率发生剧烈变化时,燃料电池功率不能立刻随之变化,不足功率或者多余功率只能由蓄电池来平衡。因此,蓄电池功率在某些时刻往往要超出这个功率限制区间。总之,马尔可夫决策过程是依据驾驶员需求功率的统计规律,得到驾驶员需求功率的状态转移概率矩阵,用来预测将来的驾驶员需求功率的概率分布,着眼于现在和未来的功率需求,得到比较综合的能量管理策略。5.2仿真与验证实验在利用马尔可夫决策理论计算得到最优能量管理策略之后,采用仿真计算的办法对策略进行验证和评价。文中借助控制系统仿真和调试平台作为验证能量管理策略的仿真平台。该平台是基于机群技术的硬件在环仿真平台,可以对整车动力系统的控制、匹配以及整车控制器功能进行仿真与验证。采用某北京公交车中速工况作为仿真的测试工况。在初始蓄电池SOC等于0.65的情况下,得到如图8所示的仿真结果。从图8看出,该能量管理策略可以使车辆满足北京公交中速工况的速度和加速度要求。在满足动力性的基础上,将该能量管理策略对应的燃料经济性与原来的母线恒压控制策略对比,参照文献中的电能折算成等效氢能的公式,可以得到表1所示的结果。由表中数据可以看出,采用马尔可夫决策理论优化得到的控制策略可以降低1.8%的燃料消耗。在实际道路行驶过程中,根据车辆行驶的有关数据,可以自动更新驾驶员需求功率状态转移概率矩阵,并自适应地修改能量管理策略,从而获得更佳的控制效果。6马尔可夫理论把驾驶员需求功率优化分配给多