Browsing by Author "Yavuz, Mete"

Now showing 1 - 2 of 2

Citation Count: 0
Optimization of a Cluster-Based Energy Management System Using Deep Reinforcement Learning Without Affecting Prosumer Comfort: V2X Technologies and Peer-to-Peer Energy Trading
(Ieee-inst Electrical Electronics Engineers inc, 2024) Kıvanç, Ömer Cihan; Kivanc, Omer Cihan
The concept of Prosumer has enabled consumers to actively participate in Peer-to-Peer (P2P) energy trading, particularly as Renewable Energy Source (RES)s and Electric Vehicle (EV)s have become more accessible and cost-effective. In addition to the P2P energy trading, prosumers benefit from the relatively high energy capacity of EVs through the integration of Vehicle-to-X (V2X) technologies, such as Vehicle-to-Home (V2H), Vehicle-to-Load (V2L), and Vehicle-to-Grid (V2G). Optimization of an Energy Management System (EMS) is required to allocate the required energy efficiently within the cluster, due to the complex pricing and energy exchange mechanism of P2P energy trading and multiple EVs with V2X technologies. In this paper, Deep Reinforcement Learning (DRL) based EMS optimization method is proposed to optimize the pricing and energy exchanging mechanisms of the P2P energy trading without affecting the comfort of prosumers. The proposed EMS is applied to a small-scale cluster-based environment, including multiple (6) prosumers, P2P energy trading with novel hybrid pricing and energy exchanging mechanisms, and V2X technologies (V2H, V2L, and V2G) to reduce the overall energy costs and increase the Self-Sufficiency Ratio (SSR)s. Multi Double Deep Q-Network (DDQN) agents based DRL algorithm is implemented and the environment is formulated as a Markov Decision Process (MDP) to optimize the decision-making process. Numerical results show that the proposed EMS reduces the overall energy costs by 19.18%, increases the SSRs by 9.39%, and achieves an overall 65.87% SSR. Additionally, numerical results indicates that model-free DRL, such as DDQN agent based Deep Q-Network (DQN) Reinforcement Learning (RL) algorithm, promise to eliminate the energy management complexities with multiple uncertainties.
P2P V2G ile çoklu-temsilcili pekiştirmeli öğrenme tabanlı enerji yönetimi
(2023) Kıvanç, Ömer Cihan; Kıvanç, Ömer Cihan
Bu çalışma, Pekiştirmeli Öğrenme algoritmalarından 'Double Deep Q-Network' algoritmasını temel alan, komşular arası enerji alışverişini ve elektrikli araçları enerji kaynağı olarak kullanan bir enerji yönetim yapısı sunmaktadır. Bu çalışma, birden çok üretici ve tüketici, enerji depolama sistemi ve elektrikli araç barındıran bir ortamda, komşular arası enerji alışverişini ve elektrikli araçları enerji kaynağı olarak kullanmanın, elektrik faturalarındaki ve ana şebekeye olan bağımlılığı düşürme üzerindeki etkilerinin araştırmaktadır. İçerisinde 6 bağımsız ev barındıran bir yerleşim bölgesi kümesine pekiştirmeli öğrenme uygulanmıştır. Yüksek çeşitlilik oluşturmak için her evin yük gereksinimleri ve güneş enerjisi üretim verileri farklı kaynaklardan toplanmıştır. Gözlem uzayı, yük gereksinimi, güneş enerjisi üretimi, elektrikli araçların durumu gibi bilgileri içermektedir. Aksiyon uzayı, komşular arası enerji alışverişinde kullanılacak, elektrikli araçlar ve enerji depolama sisteminde bulunan bataryalardaki enerji akışını optimize edecek şekilde tasarlanmıştır. Enerji akışında kullanılacak aksiyon sinyallerine ek olarak, komşular arası enerji alışverişinde kullanılacak fiyat aksiyon sinyalleri de aksiyon uzayına eklendi. Belirlenen çevre özellikleri, girdi verileri ve öğrenme parametreleri ile Simulink simülasyonu gerçekleştirilmiştir. Simülasyon sonuçları, enerji akışını optimize etmenin ve komşular arası enerji alışverişi platformunu belirli bir kümeye dahil etmenin, elektrik faturalarında ortalama %19'luk düşüş sağlayabileceğini göstermiştir. Ayrıca, elektrikli araçlarda bulunan bataryaları sisteme dahil etmenin, ana şebekeye olan enerji bağımlılığını küme içinde ortalama 110 kWh düşürülebileceği gösterilmiştir. Bu çalışma ve simülasyon sonuçları, enerji kaynaklarını ve akışını pekiştirmeli öğrenme algoritması yardımıyla optimize ederek hem elektrik faturalarını hem de ana şebekeye olan enerji bağımlılığını azalttığı göstermektedir.