Automated Deep Learning Using Neural Network Intelligence: Develop and Design PyTorch and TensorFlow Models Using Python

بهینه سازی، توسعه، و طراحی مدل های PyTorch و TensorFlow برای یک مشکل خاص با استفاده از جعبه ابزار هوش شبکه عصبی مایکروسافت (NNI). این کتاب شامل مثال‌های عملی است که رویکردهای یادگیری عمیق خودکار را نشان می‌دهد و تکنیک‌هایی را برای تسهیل توسعه مدل یادگیری عمیق شما ارائه می‌کند.

فصل‌های اول این کتاب اصول استفاده از جعبه ابزار NNI و روش‌های حل وظایف بهینه‌سازی فراپارامتر را پوشش می‌دهد. شما با استفاده از NNI مشکل به حداکثر رساندن تابع جعبه سیاه را درک خواهید کرد و می دانید که چگونه یک مدل TensorFlow یا PyTorch برای تنظیم هایپرپارامتر آماده کنید، آزمایشی را اجرا کنید و نتایج را تفسیر کنید. این کتاب به تیونرهای بهینه‌سازی و الگوریتم‌های جستجوی مبتنی بر آنها می‌پردازد: جستجوی تکاملی، جستجوی آنیلینگ و رویکرد بهینه‌سازی بیزی. Neural Architecture Search پوشش داده شده است و شما یاد خواهید گرفت که چگونه مدل های یادگیری عمیق را از ابتدا توسعه دهید. رویکردهای جستجوی چند آزمایشی و تک شات طراحی شبکه عصبی خودکار ارائه شده است. این کتاب به شما می آموزد که چگونه یک فضای جستجو بسازید و یک جستجوی معماری را با استفاده از آخرین استراتژی های اکتشاف پیشرفته راه اندازی کنید: جستجوی معماری عصبی کارآمد (ENAS) و جستجوی معماری متفاوت (DARTS). شما یاد خواهید گرفت که چگونه ساخت یک معماری شبکه عصبی را برای یک مشکل و مجموعه داده خاص به صورت خودکار انجام دهید. این کتاب بر روی فشرده سازی مدل و روش های مهندسی ویژگی که در یادگیری عمیق خودکار ضروری هستند، تمرکز دارد. همچنین شامل تکنیک‌های عملکردی است که امکان ایجاد پلتفرم‌های آموزشی توزیعی در مقیاس بزرگ را با استفاده از NNI فراهم می‌کند.

پس از خواندن این کتاب، می‌دانید چگونه از مجموعه ابزار کامل روش‌های یادگیری عمیق خودکار استفاده کنید. تکنیک ها و مثال های عملی ارائه شده در این کتاب به شما این امکان را می دهد که روال شبکه های عصبی خود را به سطح بالاتری برسانید.

• مفاهیم اصلی تیونرهای بهینه سازی، فضای جستجو و آزمایشات را بدانید
• کاربردهای مختلف الگوریتم های بهینه سازی فراپارامتر برای توسعه شبکه های عصبی موثر
• ساخت مدل های یادگیری عمیق جدید از ابتدا
• جستجوی خودکار معماری عصبی را برای ایجاد مدل های پیشرفته یادگیری عمیق اجرا کنید
• فشرده کردن مدلی برای حذف لایه‌های یادگیری عمیق غیر ضروری

Optimize, develop, and design PyTorch and TensorFlow models for a specific problem using the Microsoft Neural Network Intelligence (NNI) toolkit. This book includes practical examples illustrating automated deep learning approaches and provides techniques to facilitate your deep learning model development.

The first chapters of this book cover the basics of NNI toolkit usage and methods for solving hyper-parameter optimization tasks. You will understand the black-box function maximization problem using NNI, and know how to prepare a TensorFlow or PyTorch model for hyper-parameter tuning, launch an experiment, and interpret the results. The book dives into optimization tuners and the search algorithms they are based on: Evolution search, Annealing search, and the Bayesian Optimization approach. The Neural Architecture Search is covered and you will learn how to develop deep learning models from scratch. Multi-trial and one-shot searching approaches of automatic neural network design are presented. The book teaches you how to construct a search space and launch an architecture search using the latest state-of-the-art exploration strategies: Efficient Neural Architecture Search (ENAS) and Differential Architectural Search (DARTS). You will learn how to automate the construction of a neural network architecture for a particular problem and dataset. The book focuses on model compression and feature engineering methods that are essential in automated deep learning. It also includes performance techniques that allow the creation of large-scale distributive training platforms using NNI.

After reading this book, you will know how to use the full toolkit of automated deep learning methods. The techniques and practical examples presented in this book will allow you to bring your neural network routines to a higher level.

• Know the basic concepts of optimization tuners, search space, and trials
• Apply different hyper-parameter optimization algorithms to develop effective neural networks
• Construct new deep learning models from scratch
• Execute the automated Neural Architecture Search to create state-of-the-art deep learning models
• Compress the model to eliminate unnecessary deep learning layers