P2P V2G ile çoklu-temsilcili pekiştirmeli öğrenme tabanlı enerji yönetimi

Abstract

Bu çalışma, Pekiştirmeli Öğrenme algoritmalarından 'Double Deep Q-Network' algoritmasını temel alan, komşular arası enerji alışverişini ve elektrikli araçları enerji kaynağı olarak kullanan bir enerji yönetim yapısı sunmaktadır. Bu çalışma, birden çok üretici ve tüketici, enerji depolama sistemi ve elektrikli araç barındıran bir ortamda, komşular arası enerji alışverişini ve elektrikli araçları enerji kaynağı olarak kullanmanın, elektrik faturalarındaki ve ana şebekeye olan bağımlılığı düşürme üzerindeki etkilerinin araştırmaktadır. İçerisinde 6 bağımsız ev barındıran bir yerleşim bölgesi kümesine pekiştirmeli öğrenme uygulanmıştır. Yüksek çeşitlilik oluşturmak için her evin yük gereksinimleri ve güneş enerjisi üretim verileri farklı kaynaklardan toplanmıştır. Gözlem uzayı, yük gereksinimi, güneş enerjisi üretimi, elektrikli araçların durumu gibi bilgileri içermektedir. Aksiyon uzayı, komşular arası enerji alışverişinde kullanılacak, elektrikli araçlar ve enerji depolama sisteminde bulunan bataryalardaki enerji akışını optimize edecek şekilde tasarlanmıştır. Enerji akışında kullanılacak aksiyon sinyallerine ek olarak, komşular arası enerji alışverişinde kullanılacak fiyat aksiyon sinyalleri de aksiyon uzayına eklendi. Belirlenen çevre özellikleri, girdi verileri ve öğrenme parametreleri ile Simulink simülasyonu gerçekleştirilmiştir. Simülasyon sonuçları, enerji akışını optimize etmenin ve komşular arası enerji alışverişi platformunu belirli bir kümeye dahil etmenin, elektrik faturalarında ortalama %19'luk düşüş sağlayabileceğini göstermiştir. Ayrıca, elektrikli araçlarda bulunan bataryaları sisteme dahil etmenin, ana şebekeye olan enerji bağımlılığını küme içinde ortalama 110 kWh düşürülebileceği gösterilmiştir. Bu çalışma ve simülasyon sonuçları, enerji kaynaklarını ve akışını pekiştirmeli öğrenme algoritması yardımıyla optimize ederek hem elektrik faturalarını hem de ana şebekeye olan enerji bağımlılığını azalttığı göstermektedir.

An energy management structure based on Double Deep Q-Networks (DDQN) Reinforcement Learning (RL) algorithm with Peer-To-Peer (P2P) energy trading and Vehicle-To-Grid (V2G) functionalities is presented with this study. This study investigates the effectiveness of P2P energy trading and V2G functionalities on reducing the electricity bill of each houses and contributing to energy independency in an environment including multiple prosumers, Energy Storage System (ESS)s, and Electric Vehicle (EV). Reinforcement Learning (RL) was applied to a cluster including 6 independent houses in a residential area. Load requirements and solar energy production data of each house were collected from different sources to create high diversity. Observation space was designed with environmental information such as load requirement, solar energy production, and EV status etc. Action space of the environment was designed to optimize the energy flow from the ESSs, and EVs to be used in P2P energy trading. In addition to energy flow action signals, price action signals to be used in P2P energy trading added to the action space. Simulink simulation was performed with given environment specifications, input data and learning parameters. Simulation results showed that by implementing a P2P energy trading platform to a cluster could reduce electricity bill by 19% on average by optimizing the energy flow. Additionally, involving the batteries of EVs to the system via V2G could reduce main grid dependency by 110 kWh on average in the cluster. This study and simulation results conclude that implementing a P2P energy trading platform and V2G capability of EVs with RL algorithms optimize the system energy flow by controlling the energy sources therefore reduces the both electricity bills and energy dependence on the main grid.