Signal and Data Processing

fa انتقال دانش تنظیم شده برای یادگیری تقویتی چندعاملی Regularized Knowledge Transfer for Multi-Agent Reinforcement Learning مقالات پردازش داده‌های رقمی Paper پژوهشي Research <div style="text-align: justify;">یادگیری تقویتی به آموزش مدل‌های یادگیری ماشین برای اتخاذ تصمیمات متوالی اشاره میکند که در آن یک عامل از طریق تعامل با محیط، آموزش دیده، نتایج این تعامل را مشاهده کرده و بر این اساس، پاداش مثبت یا منفی دریافت میکند. یادگیری تقویتی کاربردهای زیادی برای سیستمهای چندعاملی  به خصوص در محیطهای پویا و ناشناخته دارد. با این حال، بیشتر الگوریتمهای یادگیری تقویتی چندعاملی  با مشکلاتی همچون پیچیدگی محاسباتی نمایی برای محاسبه فضای حالت مشترک مواجه هستند که منجر به عدم مقیاسپذیری الگوریتمها درمسائل چندعاملی  واقعی میشود. کاربردهای یادگیری تقویتی چندعاملی  را میتوان از فوتبال ربات‌ها، شبکهها، محاسبات ابری، زمانبندی شغل تا اعزام نیروی واکنشی دستهبندی کرد. در این مقاله یک الگوریتم جدید به نام انتقال دانش تنظیم‌شده برای یادگیری تقویتی چندعاملی  (RKT-MARL) معرفی میشود که براساس مدل تصمیمگیری مارکوف کار میکند. این الگوریتم برخلاف روشهای یادگیری تقویتی سنتی، مفاهیم تعاملات پراکنده و انتقال دانش را برای رسیدن به تعادل بین عاملها استفاده میکند. علاوه‌بر این، RKT-MARL از سازوکار مذاکره برای یافتن مجموعه تعادل و از روش کمینه واریانس برای انتخاب بهترین عمل در مجموعه تعادل بهدستآمده استفاده میکند. همچنین الگوریتم پیشنهادی، دانش مقادیر حالت-عمل را در میان عاملهای مختلف انتقال میدهد. از طرفی، الگوریتم RKT-MARL مقادیر Q را در حالتهای هماهنگی به عنوان ضریبی از اطلاعات محیطی جاری و دانش قبلی مقداردهی میکند. بهمنظور ارزیابی عملکرد روش پیشنهادی، یک گروه از آزمایشها بر روی پنج بازی جهانی انجامشده و نتایج حاصل بیانگر همگرایی سریع و مقیاسپذیری بالا در RKT-MARL‌ است.  </div> <div style="text-align: justify;">Reinforcement learning (RL) refers to the training of machine learning models to make a sequence of decisions on which an agent learns by interacting with its environment, observing the results of interactions and receiving a positive or negative reward, accordingly. RL has many applications for multi-agent systems, especially in dynamic and unknown environments. However, most multi-agent reinforcement learning (MARL) algorithms suffer from some problems specifically the exponential computational complexity to calculate the joint state-action space, which leads to the lack of scalability of algorithms in realistic multi-agent problems. Applications of MARL can be categorized from robot soccer, networks, cloud computing, job scheduling, and to optimal reactive power dispatch. In the area of reinforcement learning algorithms, there are serious challenges such as the lack of application of equilibrium-based algorithms in practice and high computational complexity to find equilibrium.  On the other hand, since agents have no concept of equilibrium policies, they tend to act aggressively toward their goals, which it results the high probability of collisions. Consequently, in this paper, a novel algorithm called Regularized Knowledge Transfer for Multi-Agent Reinforcement Learning (RKT-MARL) is presented that relies on Markov decision process (MDP) model. RKT-MARL unlike the traditional reinforcement learning methods exploits the sparse interactions and knowledge transfer to achieve an equilibrium across agents. Moreover, RKT-MARL benefits from negotiation to find the equilibrium set. RKT-MARL uses the minimum variance method to select the best action in the equilibrium set, and transfers the knowledge of state-action values across various agents. Also, RKT-MARL initializes the Q-values in coordinate states as coefficients of current environmental information and previous knowledge. In order to evaluate the performance of our proposed method, groups of experiments are conducted on five grid world games and the results show the fast convergence and high scalability of RKT-MARL. Therefore, the fast convergence of our proposed method indicates that the agents quickly solve the problem of reinforcement learning and approach to their goal.  </div> یادگیری تقویتی چند عاملی, انتقال دانش, تعادل‌های متا و نش, تنظیم‌پذیری, تعاملات پراکنده, مذاکره بین عامل‌ها. Multi-agent reinforcement learning, Knowledge transfer, Meta and Nash equilibriums, Regularization, Sparse interactions, Agents negotiations. 141 160 http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-1493-4&slc_lang=fa&sid=1 Niloofar Alavi نیلوفر علوی nilooalavi504@it.uut.ac.ir 100319475328460012588 100319475328460012588 No Urmia University of Technology دانشگاه صنعتی ارومیه Jafar Tahmoresnezhad جعفر طهمورث نژاد j.tahmores@it.uut.ac.ir 100319475328460012589 100319475328460012589 Yes Urmia University of Technology دانشگاه صنعتی ارومیه