Modern Data Mining Algorithms in C++ and CUDA C: Recent Developments in Feature Extraction and Selection Algorithms for Data Science

انواع الگوریتم‌های داده‌کاوی را کشف کنید که برای انتخاب مجموعه‌های کوچکی از ویژگی‌های مهم از میان انبوه نامزدها، یا استخراج ویژگی‌های مفید از متغیرهای اندازه‌گیری شده مفید هستند.

به عنوان یک داده کاوی جدی، اغلب با هزاران ویژگی کاندید برای برنامه پیش‌بینی یا طبقه‌بندی خود مواجه می‌شوید، که بیشتر ویژگی‌ها ارزش کمی دارند یا اصلاً ارزش ندارند. می‌دانید که بسیاری از این ویژگی‌ها ممکن است تنها در ترکیب با برخی ویژگی‌های دیگر مفید باشند، در حالی که عملاً به تنهایی یا در ترکیب با اکثر ویژگی‌های دیگر بی‌ارزش هستند. برخی از ویژگی ها ممکن است قدرت پیش بینی بسیار زیادی داشته باشند، اما فقط در یک منطقه کوچک و تخصصی از فضای ویژگی. مشکلاتی که دیتا ماینرهای مدرن را آزار می دهد بی پایان هستند. این کتاب با ارائه تکنیک های مدرن انتخاب ویژگی و کد پیاده سازی آنها به شما در حل این مشکل کمک می کند. برخی از این تکنیک‌ها عبارتند از:

• تجزیه و تحلیل مؤلفه‌های انتخاب به جلو
• انتخاب ویژگی محلی
• پیوند دادن ویژگی‌ها و هدف با مدل پنهان مارکوف
بهبود در انتخاب سنتی گام به گام
• تبدیل اسمی به ترتیبی

همه الگوریتم ها به طور مستقیم توسط معادلات و مطالب توضیحی مربوطه توجیه و پشتیبانی می شوند. نویسنده همچنین کد منبع کامل و با نظر بسیار را ارائه و توضیح می دهد.

کد مثال در C++ و CUDA C است اما پایتون یا کدهای دیگر را می توان جایگزین کرد. الگوریتم مهم است نه کدی که برای نوشتن آن استفاده می شود.

آنچه یاد خواهید گرفت

• تحلیل اجزای اصلی را با انتخاب گام به گام رو به جلو و عقب ترکیب کنید تا زیرمجموعه ای فشرده از مجموعه بزرگی از متغیرها را شناسایی کنید. حداکثر تغییرات ممکن را در کل مجموعه ثبت می‌کند.
• ویژگی‌هایی را شناسایی کنید که ممکن است فقط روی یک زیر مجموعه کوچک از دامنه ویژگی قدرت پیش‌بینی داشته باشند. چنین ویژگی‌هایی را می‌توان به‌طور سودآور توسط مدل‌های پیش‌بینی مدرن استفاده کرد، اما ممکن است توسط روش‌های دیگر انتخاب ویژگی از قلم بیفتد.
• یک مدل پنهان مارکوف را پیدا کنید که توزیع متغیرهای ویژگی و هدف را به طور همزمان کنترل می‌کند. حافظه ذاتی این روش به ویژه در کاربردهای پر نویز مانند پیش‌بینی بازارهای مالی ارزشمند است.
انتخاب سنتی گام به گام را به سه روش بهبود دهید: مجموعه‌ای از مجموعه‌های ویژگی «بهترین تا کنون» را بررسی کنید. ویژگی‌های کاندید را برای گنجاندن با اعتبارسنجی متقابل برای محدود کردن خودکار و مؤثر پیچیدگی مدل آزمایش کنید. و در هر مرحله این احتمال را تخمین بزنید که نتایج ما تاکنون فقط حاصل اقبال تصادفی باشد. ما همچنین این احتمال را تخمین می زنیم که بهبود به دست آمده با افزودن یک متغیر جدید می تواند فقط خوش شانسی باشد. یک متغیر اسمی بالقوه با ارزش (یک عضویت در دسته یا کلاس) که برای ورودی یک مدل پیش‌بینی مناسب نیست، انتخاب کنید و به هر دسته یک مقدار عددی معقول اختصاص دهید که می‌تواند به عنوان ورودی مدل استفاده شود.

این کتاب برای چه کسی است 

برنامه نویسان و تحلیلگران علوم داده متوسط ​​تا پیشرفته. تجربه C++ و CUDA C به شدت توصیه می شود. با این حال، این کتاب می تواند به عنوان یک چارچوب با استفاده از زبان های دیگر مانند پایتون استفاده شود.

Discover a variety of data-mining algorithms that are useful for selecting small sets of important features from among unwieldy masses of candidates, or extracting useful features from measured variables.

As a serious data miner you will often be faced with thousands of candidate features for your prediction or classification application, with most of the features being of little or no value. You’ll know that many of these features may be useful only in combination with certain other features while being practically worthless alone or in combination with most others. Some features may have enormous predictive power, but only within a small, specialized area of the feature space. The problems that plague modern data miners are endless. This book helps you solve this problem by presenting modern feature selection techniques and the code to implement them. Some of these techniques are:

• Forward selection component analysis
• Local feature selection
• Linking features and a target with a hidden Markov model
Improvements on traditional stepwise selection
• Nominal-to-ordinal conversion

All algorithms are intuitively justified and supported by the relevant equations and explanatory material. The author also presents and explains complete, highly commented source code. 

The example code is in C++ and CUDA C but Python or other code can be substituted; the algorithm is important, not the code that's used to write it.  

What You Will Learn

• Combine principal component analysis with forward and backward stepwise selection to identify a compact subset of a large collection of variables that captures the maximum possible variation within the entire set.
• Identify features that may have predictive power over only a small subset of the feature domain. Such features can be profitably used by modern predictive models but may be missed by other feature selection methods.
• Find an underlying hidden Markov model that controls the distributions of feature variables and the target simultaneously. The memory inherent in this method is especially valuable in high-noise applications such as prediction of financial markets.
Improve traditional stepwise selection in three ways: examine a collection of 'best-so-far' feature sets; test candidate features for inclusion with cross validation to automatically and effectively limit model complexity; and at each step estimate the probability that our results so far could be just the product of random good luck. We also estimate the probability that the improvement obtained by adding a new variable could have been just good luck. Take a potentially valuable nominal variable (a category or class membership) that is unsuitable for input to a prediction model, and assign to each category a sensible numeric value that can be used as a model input.

Who This Book Is For 

Intermediate to advanced data science programmers and analysts. C++ and CUDA C experience is highly recommended.  However, this book can be used as a framework using other languages such as Python.