科创中国
一种基于强化学习的电池组均衡方法
发布时间: 2023-12-08
基本信息
合作方式：
技术转让
成果类型：
发明专利
行业领域：
新一代信息技术产业
成果介绍
本发明涉及一种基于强化学习的电池组均衡方法,包括:根据电池组中单体电池的额定容量及均衡系统中均衡拓扑参数确定电池组均衡过程的均衡目标和约束条件;以电池组均衡器的均衡电流控制量建立均衡系统智能体的动作空间,以电池组的不一致性状态信息和该状态信息下智能体产生的均衡电流控制量建立均衡系统智能体的状态空间;建立Actor Critic架构的深度学习网络,并构建基于双延迟深度确定性策略梯度算法的深度强化学习均衡策略;设计电池均衡系统奖励函数,训练深度强化学习均衡策略,并在每个训练回合随机初始化单体电池的SOC状态;利用训练好的强化学习均衡策略进行电池组均衡控制。该方法有利于缩短电池组均衡时间,减少电池组均衡过程中的能量浪费。
成果亮点
基于强化学习的电池组均衡方法，包括以下步骤：步骤1：根据电池组中单体电池的额定容量以及均衡系统中均衡拓扑参数确定电池组均衡过程的均衡目标和约束条件；步骤2：以电池组均衡器的均衡电流控制量建立均衡系统智能体的动作空间，以电池组的不一致性状态信息和该状态信息下智能体产生的均衡电流控制量建立均衡系统智能体的状态空间；步骤3：建立Actor-Critic架构的深度学习网络，并基于此构建基于双延迟深度确定性策略梯度算法的深度强化学习均衡策略；步骤4：设计电池均衡系统奖励函数，初始化深度强化学习均衡策略的训练参数，然后对深度强化学习均衡策略进行训练，并在每个训练回合随机初始化单体电池的SOC状态；步骤5：利用训练好的强化学习均衡策略进行电池组均衡控制。
团队介绍
发明人：王亚雄 杨庆伟 梁非凡 欧凯
福州大学（Fuzhou University），简称福大，位于福建省福州市，创建于1958年，是国家“双一流”建设高校，国家“211工程”建设高校，国家教育部、国家国防科技工业局与福建省人民政府共建高校，福建省三所重点建设的高水平大学之一，福建省一流大学建设高校，入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
成果资料
产业化落地方案
成果综合评价报告
评价单位：- (-) 评价时间：2023-12-21
黄建华
福州大学
教授
综合评价
与传统的基于规则的制定均衡策略相比，该成果可以通过探索过程，使得均衡控制器不断地改进均衡控制决策，逐渐逼近控制域内最优均衡目标，实现均衡管理策略的自学习设计；本方法可以使智能体自动探索约束条件内最优均衡电流，同时能够有效缩短电池组均衡所需的时间并有效减少电池组均衡过程中产生的能量浪费；此外，该成果在强化学习的基础上采用TD3算法，用双Critic网络的电池组均衡训练框架，用两个Critic之间的最小值来抑制Q值的过高估计，在计算目标值时，在下一个状态的动作上加入扰动，从而使得价值评估更准确，并在Critic网络更新多次后，再更新Actor网络，从而保证Actor网络的训练更加稳定；本发明还提出了一种新型的简单的奖励函数，该奖励函数可以使智能体朝着约束条件内均衡效果最优的方向进行探索。
查看更多>
下载app