• مقدمه (14)
  • تعریف مسئله (14)
  • اهمیت موضوع (15)
  • ادبیات موضوع (16)
  • اهداف پژوهش (16)
  • ساختار پایان‌نامه (17)
• مفاهیم اولیه (18)
  • حرکت (18)
  • دینامیک حرکت (20)
  • قیود حاکم بر حرکت (21)
  • یادگیری تقویتی (22)
  • کنترل پیش‌بین مدل (24)
• کارهای پیشین (26)
  • تولید مسیر مبنا (26)
    • تولید مسیر مبنا بر اساس داده‌های مبتنی بر حرکت انسان (27)
    • تولید مسیر به کمک توابع چندجمله‌ای (27)
    • تولید مسیر به روش نقطه گشتاور صفر (28)
  • روش‌های کنترل راه رفتن ربات دوپا بر مبنای مدل‌سازی (29)
    • نقطه گشتاور صفر و مدل پاندول معکوس خطی (29)
    • مدل پاندول معکوس غیرخطی (30)
    • پاندول معکوس بارگذاری شده با فنر (31)
  • سیستم دینامیک ترکیبی (32)
    • راه رفتن با دینامیک غیرفعال (33)
    • دینامیک گسسته ضربات پا (33)
  • دینامیک صفر ترکیبی (34)
  • کنترل به روش یادگیری تقویتی (35)
  • جمع‌بندی (38)
• روش کنترلی (39)
  • معروف‌ترین الگوریتم‌های روش یادگیری تقویتی (39)
    • الگوریتم سیاست قطعی عمیق (42)
    • الگوریتم گرادیان سیاست قطعی عمیق جفت تأخیری (43)
    • الگوریتم عملگر-نقاد نرم (44)
  • الگوریتم پیشنهادی این پژوهش (46)
    • مرحله اول: جمع‌آوری اطلاعات طبق سیاست جاری (46)
    • مرحله دوم: آموزش مدل و کنترل پیش‌بین (47)
    • مرحله سوم: آموزش سیاست بر اساس الگوریتم TD3 (51)
    • بهبودهای الگوریتم پیشنهادی (52)
• نتایج شبیه‌سازی (55)
  • محیط مسئله راه‌رفتن ربات دوپا (55)
  • فضای حالات (57)
  • فضای عمل‌ها (57)
  • تابع پاداش (59)
  • نتایج حاصل از الگوریتم‌های یادگیری تقویتی (60)
    • نتایج حاصل از الگوریتم DDPG (61)
    • نتایج حاصل از الگوریتم SAC (64)
    • نتایج حاصل از الگوریتم TD3 (67)
    • مقایسه نتایج الگوریتم‌های DDPG، SAC و TD3 (70)
  • نتایج حاصل از الگوریتم پیشنهادی پژوهش (71)
  • مقایسه نتایج الگوریتم پیشنهادی پژوهش با الگوریتم TD3 (74)
  • اعتبارسنجی الگوریتم (76)
    • مسئله اول: کنترل بازوی دولینکی (76)
    • مسئله دوم: کنترل حرکت ماشین در مسیر کوهی شکل (80)
• نتیجه‌گیری و پیشنهادات (85)
  • نتیجه‌گیری (85)
  • نوآوری‌ها (86)
  • پیشنهادات (86)
• مراجع (88)