• 1 مقدمه (12)
  • 1-1 تعریف مسأله (13)
  • 1-2 اهمیت و کاربرد (14)
  • 1-3 رویکردهای مدل زبانی (14)
  • 1-4 رویکردهای تعبیه‌ی [fa]KG (15)
  • 1-5 چالش‌ها (16)
  • 1-6 هدف پژوهش (16)
  • 1-7 ساختار پایان‌نامه (17)
• 2 پژوهش‌های پیشین (18)
  • 2-1 مقدمه (18)
    • 2-1-1 پیش‌نیازها (18)
  • 2-2 معماری‌‌ها و شبکه‌های مورد استفاده در مسأله‌ی مدل زبانی (19)
    • 2-2-1 معماری بازگشتی (19)
    • 2-2-2 معماری Transformer (20)
    • 2-2-3 شبکه‌ی BERT (23)
  • 2-3 مدل‌های بر پایه‌ی گراف (27)
    • 2-3-1 [fa]gcn (27)
    • 2-3-2 [fa]rgcn (28)
    • 2-3-3 [fa]gat (28)
  • 2-4 گراف‌های مورد استفاده در حوزه‌ی [fa]nlp (30)
    • 2-4-1 گراف AMR (30)
    • 2-4-2 گراف‌های برگرفته از متن (31)
    • 2-4-3 گراف‌های دانش (33)
  • 2-5 کاربرد گراف‌های دانش در شبکه‌های ژرف [fa]nlp (34)
    • 2-5-1 تولید متن (34)
    • 2-5-2 [fa]relext (36)
    • 2-5-3 [fa]reasoning (43)
    • 2-5-4 [fa]qa (46)
    • 2-5-5 [fa]entalign (49)
    • 2-5-6 دسته‌بندی متن (53)
    • 2-5-7 مدل زبانی (55)
  • 2-6 روش‌های مبتنی بر گراف برای مدل زبانی (55)
    • 2-6-1 مدل زبانی با استفاده از تعبیه‌ی [fa]pretrained موجودیت‌ها (55)
    • 2-6-2 مدل زبانی با استفاده از [fa]mask‌های متفاوت (57)
    • 2-6-3 مدل زبانی با امکان انتخاب کلمات [fa]KG (58)
    • 2-6-4 بازنمایی همزمان زبان و دانش (60)
  • 2-7 جمع‌بندی (62)
• 3 راهکار پیشنهادی (63)
  • 3-1 مقدمه (63)
    • 3-1-1 بررسی کاستی‌های مدل‌های زبانی پیشنهادی پیشین مبتنی بر Transformer (63)
  • 3-2 معرفی گراف‌های ثابت مورد استفاده در روش پیشنهادی (64)
  • 3-3 معماری کلی پیشنهادی (65)
  • 3-4 معماری‌های پیشنهادی برای لایه‌ی گرافی (66)
    • 3-4-1 استخراج اطلاعات از چندگرافی ثابت (66)
    • 3-4-2 استخراج اطلاعات از گراف پویای جمله (69)
  • 3-5 آموزش شبکه‌ی پیشنهادی (72)
    • 3-5-1 آماده‌سازی دادگان و گراف‌ها (72)
    • 3-5-2 تابع هزینه (73)
    • 3-5-3 شبه‌کد فرایند آموزش مدل مبتنی بر لایه‌ی پیچشی گرافی و تحلیل پویای جمله (73)
  • 3-6 جمع‌بندی (75)
• 4 پیاده‌سازی، آزمایش‌ها و ارزیابی (76)
  • 4-1 مقدمه (76)
  • 4-2 مجموعه دادگان آموزش (76)
    • 4-2-1 معرفی [fa]KG (77)
    • 4-2-2 معرفی دادگان متنی (77)
  • 4-3 معیارهای ارزیابی (78)
    • 4-3-1 معیار Hits@k (78)
    • 4-3-2 معیار [fa]perplex (78)
  • 4-4 سختی‌های آموزش مدل‌های پیشنهادی (79)
  • 4-5 مقداردهی [fa]hyperparamها و تنظیمات مدل (79)
    • 4-5-1 [fa]hyperparamهای مربوط به قسمت‌های مشابه شبکه‌ی BERT (80)
    • 4-5-2 [fa]hyperparamهای مربوط به لایه‌ی گرافی (80)
    • 4-5-3 [fa]hyperparamهای خاص مجموعه دادگان (80)
  • 4-6 ارزیابی مدل‌های پیشنهادی و مقایسه با مدل‌های مشابه موجود (81)
    • 4-6-1 معرفی مدل‌های مشابه موجود (81)
    • 4-6-2 ارزیابی مدل‌ها (81)
  • 4-7 مقایسه‌ی تأثیر گراف‌های متفاوت چندگرافی ثابت (84)
  • 4-8 جمع‌بندی (85)
• 5 جمع‌بندی و کار‌های آتی (87)
• مراجع (89)
• واژه‌نامه فارسی به انگلیسی (94)
• واژه‌نامه انگلیسی به فارسی (96)
• کلمات کوته‌نوشت (98)