Loading...

Proposing an Optimized Hyper-Dimensional Computing Platform Customized for Biosignals using In-Memory Computing

Jasouri, Hadi | 2025

7 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 58624 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Koohi, Somayyeh
  7. Abstract:
  8. The use of hyperdimensional computing models in edge applications and biosignal processing has been steadily growing due to their inherent robustness against noise and the simplicity of their operations. Nevertheless, these models face a fundamental challenge: extremely high dimensionality and the associated hardware cost during inference, which lead to substantial energy consumption and reduced efficiency. In contrast, processing-in-memory (PIM) architectures have recently emerged as a promising approach to reduce data movement and accelerate computation; however, they require algorithms that can adapt to their structural constraints. To tackle this issue, we propose ADAPT, a framework that employs adaptive dimension-level pruning. ADAPT not only eliminates redundant and non-informative features but also restores saturated dimensions when necessary. Moreover, we extend for the first time the concept of eliminating all-zero and all-one columns from the CMOS architecture domain to the PIM paradigm, thereby reducing both computation and memory-access overheads. By combining these mechanisms, the model dynamically adapts to data characteristics and hardware requirements, striking an effective balance between accuracy and efficiency. Extensive experiments on ISOLET, UCIHAR, and MNIST datasets demonstrate that the enhanced framework, Adaptive-Pruning, consistently outperforms baseline approaches by simultaneously achieving higher accuracy (up to a ∼2% improvement) and greater sparsity. These algorithmic gains directly translate into hardware-level benefits, yielding up to 65% energy savings and 2.87× speedup on ISOLET, 61% energy savings and 2.58× speedup on UCIHAR, and 76% energy savings and 4.24× speedup on MNIST. Overall, ADAPT bridges the gap between algorithm and hardware, underscoring the potential of algorithm–architecture co-design as an effective pathway toward developing intelligent, energy-efficient, and low-power PIM-based systems for humancentric and biomedical signal processing
  9. Keywords:
  10. Hyperdimensional Computing (HD) ; In-Memory Computing ; Pruning Method ; Energy Efficiency ; Biosignal Processing ; Adaptive Pruning ; Algorithm–Architecture Co-Design

 Digital Object List

 Bookmark

  • مقدمه
    • زمینه پژوهش
    • مشکل و اهمیت آن
    • مروری کوتاه بر پژوهش‌ها
    • مشاهدات و انگیزه
    • راهکار پیشنهادی
    • ساختار پایان‌نامه
  • مبانی نظری و پیشینه پژوهش
    • مبانی پردازش ابربعدی
      • مفاهیم پایه: فضای ابربعدی و بردارهای تصادفی
      • عملیات اصلی در HDC
      • فرایندهای آموزش در HDC
      • قراردادهای نمادگذاری و سنجه‌ها در این رساله
    • مبانی پردازش درون حافظه و ابزارهای مدل‌سازی
      • پردازش درون حافظه با آرایه‌های متقاطع ReRAM
      • اجزای کلیدی یک معماری پایه آنالوگ PIM
      • ابزار شبیه‌سازی CiMLoop برای ارزیابی معماری
  • مروری بر کارهای پیشین و شکاف‌های پژوهشی
    • کارهای مرتبط
    • QuantHD (چندی‌سازی و بازآموزی)
      • دودویی/سه‌تایی‌سازی مدل و دودویی‌سازی کوئری
      • سنجه شباهت و پیامدهای پردازشی
      • پیکربندی‌های رایج (، تعداد تکرار، ابعاد)
      • جمع‌بندی و نکات انتقالی
    • تنک‌سازی در HDC: SparseHD
      • بازآموزی و جبران افت کیفیت
      • آثار سامانه‌ای و نتایج (FPGA/GPU)
      • جمع‌بندی و نکات انتقالی
    • دریچه‌بندی افزونگی
      • پیاده‌سازی سخت‌افزاری و دامنه بهره‌وری
      • مدل هزینه پردازش
      • نتایج کلیدی: سرعت‌بخشی و صرفه‌جویی در انرژی
      • جمع‌بندی نکات انتقالی به کار حاضر
    • شتاب‌دهی HDC روی PIM مبتنی بر ReRAM: ReHDC
      • تفکیک وظایف DPIM و APIM
      • خط لوله ریزدانه و پنهان‌سازی تأخیر نوشتن
      • دودویی‌سازی نمونه و مقایسه همینگ
      • نگاشت داده در دوفاز
      • مزیت‌های سامانه‌ای و ارتباط با این رساله
    • انتخاب نمایش: {0,1} یا {pm1} در سخت‌افزار
      • تصمیم طراحی این رساله
    • جمع‌بندی و شناسایی شکاف پژوهشی
  • چارچوب پیشنهادی ـ آموزش تطبیقی و هرس پویا برای مدل‌های کارآمد HDC
    • گذار از بهره‌وری‌های مجزا به هم طراحی یکپارچه
    • حالت پایه و منطق بازآموزی
    • نوآوری الگوریتمی: چارچوب ADAPT برای افزایش دقت و کارایی
      • بنیاد الگوریتم: هرس مبتنی بر اطمینان بیت
      • رویکرد پایه: دودویی‌سازی با آستانه آماری
      • بهبود اولیه: هرس با آستانه سخت
      • گام کلیدی: هرس ایستای مبتنی بر اطمینان
      • راه‌حل نهایی: هرس تطبیقی
      • جمع‌بندی الگوریتم‌ها
      • کاربرد در حالت پایه: هرس تک گذر به‌عنوان منظم ساز
      • چارچوب کامل ADAPT: دستیابی به‌دقت بهتر با بازآموزی
      • شبه‌کد چارچوب آموزشی ADAPT
    • هم طراحی سخت‌افزار: شتاب‌دهنده استنتاج آگاه از افزونگی
      • ماهیت هم طراحی: آموزش آفلاین، استنتاج روی تراشه
      • چرایی 0/1 در بستر PIM و پیوند با دریچه‌بندی ستونی
      • پل الگوریتم به سخت‌افزار: نقشه افزونگی ستونی
      • بهره‌وری استنتاج با نقشه افزونگی آفلاین
      • پیاده‌سازی دریچه‌بندی ستونی آگاه از افزونگی
    • تحلیل سربارهای سخت‌افزاری
    • جمع‌بندی
  • آزمایش‌ها و نتایج
    • مجموعه‌داده‌ها و ویژگی‌ها
    • بستر شبیه‌سازی و ارزیابی سخت‌افزاری
    • سناریوهای آموزشی و روش‌های مقایسه
      • روش‌شناسی اعتبارسنجی و انتخاب هایپرپارامتر
    • تحلیل نتایج در سناریوی آموزش تک گذر
      • نتایج مجموعه‌داده ISOLET
      • نتایج مجموعه‌داده UCIHAR
      • نتایج مجموعه‌داده MNIST
      • محاسبه سرعت‌بخشی و انرژی حالت تک گذر
    • تحلیل نتایج بازآموزی
      • نتایج بازآموزی مجموعه‌داده ISOLET
      • نتایج بازآموزی مجموعه‌داده UCIHAR
      • نتایج بازآموزی مجموعه‌داده MNIST
      • پیامدهای سخت‌افزاری و خلاصه نتایج
    • نتایج سربارهای سخت‌افزاری
      • سربار سخت‌افزاری زمان استنتاج (حالت آنلاین)
      • سربار سخت‌افزاری زمان آموزش (حالت آفلاین)
    • جمع‌بندی
  • جمع‌بندی و کارهای آتی
    • جمع‌بندی
    • کارهای آتی
      • آموزش در لبه
      • بهره‌وری خودکار سیاست هرس
      • آزمون‌های پایداری با غیرفعال‌سازی موقت بیت‌های پر اطمینان
  • مراجع
  • واژه‌نامه
...see more