Hardware-Aware Probabilistic Machine Learning Models: Learning, Inference and Use Cases

این کتاب مدل‌های یادگیری ماشینی احتمالی را پیشنهاد می‌کند که ویژگی‌های سخت‌افزاری دستگاه میزبان آنها را نشان می‌دهد. این مدل‌ها را می‌توان برای ارزیابی تأثیری که یک پیکربندی دستگاه خاص ممکن است بر مصرف منابع و عملکرد کار یادگیری ماشین داشته باشد، با هدف کلی ایجاد تعادل بین این دو مورد استفاده قرار داد.

این کتاب ابتدا محاسبات فوق‌العاده را در چارچوب الگوی اینترنت اشیا (IoT) ایجاد می‌کند. سپس، به طور خلاصه مراحل مربوط به اجرای یک کار یادگیری ماشینی را مرور می‌کند و پیامدهای مرتبط با اجرای این نوع حجم کاری در دستگاه‌های با محدودیت منابع را شناسایی می‌کند. هسته اصلی این کتاب بر تقویت و بهره‌برداری از ویژگی‌های شبکه‌های بیزی و مدارهای احتمالی به منظور اعطای آگاهی سخت‌افزاری به آنها تمرکز دارد. مدل‌های پیشنهادی می‌توانند ویژگی‌های زیرسیستم‌های دستگاه‌های مختلف را رمزگذاری کنند که معمولاً توسط استراتژی‌های آگاه از منابع دیگر در نظر گرفته نمی‌شوند و فرصت‌های صرفه‌جویی در منابع را به وجود می‌آورند که رویکردهای سنتی در کشف آن‌ها شکست می‌خورند.

عملکرد پیشنهادی ارائه شده است. مدل ها و استراتژی ها به صورت تجربی برای چندین مورد استفاده ارزیابی می شود. تمام مثال‌های در نظر گرفته شده پتانسیل دستیابی به فرصت‌های صرفه‌جویی قابل توجه در منابع را با حداقل تلفات دقت در زمان کاربرد نشان می‌دهند. به طور کلی، این کتاب یک رویکرد جدید برای بهینه‌سازی مشترک سخت‌افزار-الگوریتم است که بیشتر زمینه‌های یادگیری ماشین و مهندسی برق را ایجاد می‌کند.

This book proposes probabilistic machine learning models that represent the hardware properties of the device hosting them. These models can be used to evaluate the impact that a specific device configuration may have on resource consumption and performance of the machine learning task, with the overarching goal of balancing the two optimally.

The book first motivates extreme-edge computing in the context of the Internet of Things (IoT) paradigm. Then, it briefly reviews the steps involved in the execution of a machine learning task and identifies the implications associated with implementing this type of workload in resource-constrained devices. The core of this book focuses on augmenting and exploiting the properties of Bayesian Networks and Probabilistic Circuits in order to endow them with hardware-awareness. The proposed models can encode the properties of various device sub-systems that are typically not considered by other resource-aware strategies, bringing about resource-saving opportunities that traditional approaches fail to uncover.

The performance of the proposed models and strategies is empirically evaluated for several use cases. All of the considered examples show the potential of attaining significant resource-saving opportunities with minimal accuracy losses at application time. Overall, this book constitutes a novel approach to hardware-algorithm co-optimization that further bridges the fields of Machine Learning and Electrical Engineering.