Loading...

Design of a Knowledge-Grounded Open Domain Dialogue System

Samiei Paghale, Mohammad Mahdi | 2020

629 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 53352 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Sameti, Hossein
  7. Abstract:
  8. Despite significant advances in dialog systems, data-driven dialog systems are often unable to have content-driven conversations and present real-world knowledge in the context which is due to the lack of knowledge-based conversations in the research datasets and the lack of external knowledge in their architecture. As a result, they are far from the real world and opendomain use-cases. The goal of this research is to introduce a dialogue system based on external knowledge and facts using Deep Learning that the external knowledge can be updated and, the model will adapt itself and take them into account to have a rich conversation. It must be noted that external knowledge is assumed as a collection of text documents. Due to the great advances and performance of pre-trained models in various NLP tasks in recent years, incorporating the power of pre-trained models and Transfer Learning were a general approach in this work. In the end, several tests were accomplished and showed superior performance of the proposed model against baselines. So, with setting up and fine-tuning the well-known pre-trained networks such as Bert and Bart, the recall score in the knowledge selection problem and the F1 score in answer generation problem have been improved from 23.7 to 76.52 and from 32.2 to 41.3 respectively. Also in this study, a new criterion has been taken into account called ”BERTScore” that measures the quality of responses produced by the chatbot; it is a good alternative to other criteria such as F1, as it considers the semantic representations
  9. Keywords:
  10. Deep Learning ; Dialog System ; Open Domain Chatbot ; Knowledge-Grounded Chatbot ; Pretrained Models

 Digital Object List

 Bookmark

  • 1 مقدمه
    • 1-1 تعریف مسئله
      • 1-1-1 ‌مسئله گفتگو
      • 1-1-2 ‌انواع مسائل گفتگو
      • 1-1-3 انواع اصطلاحات علمی در رابطه با سامانه مکالمه‌گر
      • 1-1-4 مساله گپ‌زن دانش‌بنیان
    • 1-2 اهمیت تحقق گپ‌زن دانش‌بنیان
    • 1-3 مدل‌های پایه گفتگو
      • 1-3-1 ایده‌پردازی اولیه از روی مسئله ترجمه ماشینی
      • 1-3-2 چالش‌های پیش روی سامانه‌های مکالمه
    • 1-4 رویکرد حل مساله
    • 1-5 ساختار پایان‌نامه
  • 2 پژوهش‌های پیشین
    • 2-1 مقدمه
    • 2-2 مدل پیشنهاد شده توسط وینیالز
    • 2-3 مدل پیشنهاد شده توسط قزوینی نژاد
    • 2-4 مدل جادوگر ویکی‌پدیا
    • 2-5 مدل گپ موضوعی
    • 2-6 مدل گپ‌زن دوازده‌گانه
    • 2-7 جمع‌بندی
  • 3 مبانی نظری
    • 3-1 مقدمه
    • 3-2 ترنسفورمرها
      • 3-2-1 کدگذار و کدگشا
      • 3-2-2 مکانیزم توجه در ترنسفورمر
      • 3-2-3 شبکه پیشرو تمام متصل مستقل از مکان
      • 3-2-4 مکانیزم تعبیه مکانی
      • 3-2-5 علت اهمیت به معماری ترنسفورمری
    • 3-3 نهضت انتقال یادگیری در پردازش زبان
      • 3-3-1 مدل برت
      • 3-3-2 مدل‌های پس از برت
      • 3-3-3 مدل بارت
    • 3-4 شگرد عصاره‌گیری دانش
    • 3-5 معیارهای سنجش تولید متن
      • 3-5-1 سرگشتگی
      • 3-5-2 امتیاز F1
      • 3-5-3 امتیاز برت
    • 3-6 جمع‌بندی
  • 4 راهکار پیشنهادی
    • 4-1 مقدمه
    • 4-2 ساختار کلی مدل پیشنهادی
    • 4-3 روش پیشنهادی برای بخش انتخاب دانش
      • 4-3-1 پیشنهادات
      • 4-3-2 معماری پیشنهادی
      • 4-3-3 توابع هزینه
    • 4-4 روش پیشنهادی برای بخش تولید پاسخ
      • 4-4-1 معماری پیشنهادی
    • 4-5 جمع‌بندی
  • 5 آزمایش‌ها و نتایج
    • 5-1 مقدمه
    • 5-2 محیط آزمایش و ابزارها
    • 5-3 ارزیابی مدل انتخاب دانش
      • 5-3-1 ارزیابی مدل انتخاب دانش مبتنی بر تابع هزینه‌ی لگاریتمی
      • 5-3-2 ارزیابی مدل انتخاب دانش مبتنی بر تابع هزینه خطی
      • 5-3-3 بحث در مورد مدل‌های انتخاب دانش
    • 5-4 ارزیابی مدل تولید پاسخ
      • 5-4-1 مدل برت به برت
      • 5-4-2 مدل بارت
    • 5-5 ارزیابی کلی گپ‌زن
      • 5-5-1 حالت تک جمله
      • 5-5-2 حالت سه جمله
    • 5-6 جمع‌بندی
  • 6 جمع‌بندی و پیشنهادات
  • آ نتایج گپ‌زن
  • مراجع
  • واژه‌نامه فارسی به انگلیسی
  • واژه‌نامه انگلیسی به فارسی
...see more