Loading...

A Novel Resource Allocation Algorithm in Edge Computing with Deep Reinforcement Learning

Rahmati, Iman | 2022

129 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 55900 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Movaghar, Ali
  7. Abstract:
  8. With the explosion of mobile smart devices, many computation intensive applications have emerged, such as interactive gaming and augmented reality. Mobile edge computing (EC) is put forward, as an extension of cloud computing, to meet the low-latency require- ments of the applications. In mobile edge computing systems, an edge node may have a high load when a large number of mobile devices offload their tasks to it. those offloaded tasks may experience large processing delay or even be dropped when their deadlines expire. Due to the uncertain load dynamics at the edge nodes, it is challenging for each device to determine its offloading decision (i.e., whether to offload or not, and which edge node it should offload its task to) in a decentralized manner. In this work, we studied the computational task offloading problem with non-divisible and delay-sensitive tasks in the MEC system, and formulate a task offloading problem to minimize the expected long-term cost. We propose a model-free deep reinforcement learning-based distributed algorithm, where each device can determine its offloading decision without knowing the task models and offloading decision of other devices. To improve the estimation of the long-term cost in the algorithm, we incorporate the long short-term memory (LSTM), dueling deep Q- network (DQN), and double-DQN techniques. Simulation results show that our proposed algorithm can better exploit the processing capacities of the edge nodes and significantly reduce the ratio of dropped tasks, average delay and energy consumptions in entire system, when compared with several basic method
  9. Keywords:
  10. Resources Allocation ; Energy Consumption ; Deep Reinforcement Learning ; Edge Computing ; Computation Offloading ; Long Short Term Memory (LSTM) ; Mobile Edge Computing

 Digital Object List

 Bookmark

  • مقدمه
    • پیش‌زمینه
    • اهداف پژوهش
    • چالش‌ها
    • دست‌آوردها
    • ساختار پایان‌نامه
  • مفاهیم اولیه
    • معماری شبکه
      • محاسبات‌ ابری
      • محاسبات لبه متحرک
      • ابعاد محاسبات ابری و محاسبات لبه
    • بارسپاری محاسباتی
      • تصمیم‌گیری در مورد بارسپاری محاسبات به گره‌ لبه
    • مدیریت منابع
      • تخمین منابع
      • کشف منابع
      • تخصیص منابع
      • اشتراک‌گذاری منابع
      • بهینه‌سازی منابع
    • فرایند تصمیم‌گیری مارکوف
    • تعریف فرایند تصمیم‌گیری مارکوف
    • یادگیری تقویتی
    • اجزا مسئله یادگیری تقویتی
      • سیگنال امتیاز
      • عامل و محیط
      • حالات و تاریخچه
      • توابع ارزش و معادله بلمن
    • بهره‌برداری و اکتشاف
    • روش‌های پاسخ به مسائل یادگیری تقویتی
      • روش تکرارشونده ارزش
      • روش تکرارشونده سیاست
    • تقریب توابع
    • شبکه‌های عصبی عمیق
    • مدل محیط در روش‌های مبتنی بر یادگیری تقویتی
    • جمع‌بندی و نتیجه‌گیری
  • پژوهش‌های مرتبط پیشین
    • مقدمه
    • پژوهش‌های پیشین
  • تعریف مسئله
    • مدل سیستم
    • مدل وظیفه
    • تصمیم‌گیری بارسپاری وظیفه
    • مدل ارتباطی
    • مدل محاسباتی
      • محاسبات محلی
      • محاسبات در لبه
      • پردازش و انقضا وظیفه
  • مسئله بارسپاری وظیفه مبتنی بر یادگیری تقویتی عمیق
    • بیان مسئله با یادگیری تقویتی عمیق
      • حالت
      • عمل
      • هزینه
    • سیاست بهینه
    • الگوریتم بارسپاری وظیفه مبتنی بر یادگیری تقویتی عمیق
    • شبکه عصبی
    • لایه ورودی
    • لایه حافظه کوتاه‌مدت ماندگار
    • لایه‌های کاملا متصل
    • لایه ارزش، امتیاز-عمل و لایه خروجی
    • الگوریتم مبتنی بر یادگیری تقویتی عمیق
      • الگوریتم اجرایی در دستگاه تلفن همراه
      • الگوریتم اجرایی در گره لبه
  • نتایج
    • شبیه‌سازی
    • ارزیابی عملکرد
    • مقایسه نتایج
  • نتیجه‌گیری
...see more