基于强化学习的含电动汽车虚拟电厂优化调度与应用

摘要:大量电动汽车(EV)用户的无序充电可能造成电网负荷剧烈波动,危及电网的安全稳定。随着EV入网(V2C)技术的应用,将EV充电站及其周边的分布式新能源发电聚合为虛拟电厂(VPP)后进行优化调度,有助于改善EV用户充放电的经济性及满意度,同时提高分布式新能源的利用率,平抑电网负荷波动,但EV充电站的整体充放电负荷是大量个体EV用户随机行为的聚合,难以用数学模型精确描述。针对包含EV的VPP,提出一种基于深度强化学习的交互式调度框架,以最大化VPP内EV用户的总效益。VPP控制中心作为智能体决策EV个体的充放电动作,无需掌握个体详细模型,而是通过与区域电网环境的交互,不断学习和更新动作策略,从而克服集中式优化方法的局限性。该优化调度框架采用深度确定性策略梯度(DDPG)算法进行求解。仿真结果表明,与集中式优化方法相比,该优化算法提高了各EV用户的效益,并使EV充放电负荷与分布式新能源发电协调配合实现削峰填谷，改善了VPP的整体运行性能。关键词:虚拟电厂;电动汽车;V2G;分布式新能源;深度确定性策略梯度算法;优化调度;强化学习一、引言大量电动汽车(ElectricVehicle,EV)的无序充电不仅会影响电网的安全稳定运行,而且会给用户造成经济损失。事实上,EV充电负荷不仅具有较大的调节弹性,而且可以基于E人网(VehicletoGrid,V2G)技术实现发电和用电侧的角色转换,具备很大的优化调度潜力。通过搭建虚拟电厂(VirtualPowerPlant,VPP)整合区域配电网中的EV充放电负荷及分布式新能源发电资源,合理引导EV用户的充放电行为,不但可以降低EV车主的充电费用,提高充电需求满足程度,同时可使EV充放电负荷与分布式新能源发电协调配合,提高新能源利用率,平抑VPP整体负荷的波动。VPP是电力系统中智能配电网运行的重要技术,通过创建一个VPP控制中心,可以将配电网中的EV充放电负荷与分布式新能源聚合为一个整体参与电网运行,更好地发掘EV充放电负荷与分布式新能源的价值和效益。然而,在上述包含EV充放电负荷及分布式新能源的VPP中,EV充电站的总负荷特性是大量个体EV用户随机充放电行为的聚合,难以对其进行精确的数学建模和准确预测,这给传统的基于负荷预测进行优化计算的集中式调度模式带来了挑战。解决这一难点的一种有效途径是采用基于强化学习(ReinforcementLeaming,RL)方法的交互式优化调度模式。该模式中,VPP控制中心作为智能体,包含EV个体用户及分布式新能源的区域电网为智能体所在的环境。VPP控制中心在不掌握EV个体用户详细模型的情况下给出EV个体的充放电动作决策,并通过与区域电网的交互评估当前决策的性能,不断学习和更新动作策略,直至得到令人满意的优化决策。基于智能体与环境之间信息交互的RL方法可以在缺乏精确数学模型的情况下模拟顺序决策问题并获得对环境的精准响应。这种基于R的交互式调度模式克服了传统集中式调度的局限性,有望在VPP优化调度中得到应用。二、含EV的VPP优化调度模型考虑一个VPP,其中包含EV充电站及分布式新能源发电2类对象。对该VPP在T=24h范围内进行优化调度,时间段表示为t={1,2,…,T},决策间隔Δt=1h。假设VPP中充电站内有足够多的充电桩,在T时间范围内共有I辆EV随机进入充电站,每辆EV进站后即连接到充电桩变为上线状态;当EV的电池荷电状态(StateofCharge,S0C)达到充电上限后即自动断开充电桩连接,变为离线状态。第i辆E在充电站内的在线时段表示为集合Tion={tion,…,tiout},其中tion和tiout分别为上线和离线时间。VPP控制中心作为智能体,在Tion时段内可以通过对充电桩的智能控制,决策第i辆EV的充放电功率，而在其他时段该EV不进行任何充放电行为。VPP中的分布式新能源发电资源由若干分布式风机单元和分布式光伏板单元组成,VPP控制中心在分布式发电资源的可发电功率范围内决策其实际出力。三、基于RL的VPP优化调度方法传统的集中调度模式难以对EV个体用户充放电负荷做出精确预测,因此,本节基于方法,提出一种交互式的VPP优化调度框架。VPP控制中心作为一个智能体,不需要事先掌握EV个体用户及分布式新能源的精确模型及负荷预测,而是通过充电桩与EV个体用户交互,即下发充放电动作和获取用户奖励值,经R逐步得到令人满意的调度策略。RL是一个包含(S,A,P,R,γ)5个元素的马尔可夫决策过程,其中:S为智能体的状态空间;A为智能体的动作空间;P为状态转移概率;R为奖励函数;γ为折扣因子。本文建立的VPP优化调度模型可描述为图1所示的RL框架,其中VPP控制中心为智能体(Agent),VPP区域电网为环境(Environment),包括状态(State)、动作(Action)和奖励(Reward)三大要素。图1用于VPP优化调度的RL框架四、解决方案图2平台结构图充电运营管理平台是基于物联网和大数据技术的充电设施管理系统，可以实现对充电桩的监控、调度和管理，提高充电桩的利用率和充电效率，提升用户的充电体验和服务质量。用户可以通过APP或小程序提前预约充电，避免在充电站排队等待的情况，同时也能为充电站提供更准确的充电需求数据，方便后续的调度和管理。通过平台可对充电桩的功率、电压、电流等参数进行实时监控，及时发现和处理充电桩故障和异常情况对充电桩的功率进行控制和管理，确保充电桩在合理的功率范围内充电，避免对电网造成过大的负荷。五、安科瑞充电桩云平台具体的功能平台除了对充电桩的监控外，还对充电站的光伏发电系统、储能系统以及供电系统进行集中监控和统一协调管理，提高充电站的运行可靠性，降低运营成本，平台系统架构如图3所示。平台架构图3充电桩运营管理平台系统架构大屏显示：展示充电站设备统计、使用率排行、运营统计图表、节碳量统计等数据。e469ce3315ef00395172a0fff4a4211图4大屏展示界面站点监控：显示设备实时状态、设备列表、设备日志、设备状态统计等功能。650b9335fabea96345211aa243909c6图5站点监控界面设备监控：显示设备实时信息、配套设备状态、设备实时曲线、关联订单信息、充电功率曲线等。b3980dd9f0e5cabb84703ec6876d8aa图6设备监控界面运营趋势统计：显示运营信息查询、站点对比曲线、日月年报表、站点对比列表等功能。d24278f825dafe52253e2e31326b821图7运营趋势界面收益查询：提供收益汇总、实际收益报表、收益变化曲线、支付方式占比等功能。7a5a5a13d7b547d38e70a02fe34fea6图8收益查询界面故障分析：提供故障汇总、故障状态饼图、故障趋势分析、故障类型饼图等功能。b815b8b5d3149ac4ef7c23445b46995图9故障分析界面订单记录：提供实时/历史订单查询、订单终止、订单详情、订单导出、运营商应收信息、充电明细、交易流水查询、充值余额明细等功能。f86e7f274249d5b51a3d57d63556428图10订单查询界面#最美工作瞬间