Data Mining in Crystallography

انسانها برای قرن‌ها الگوها را به صورت دستی از داده‌ها استخراج می‌کردند، اما افزایش حجم داده‌ها در دوران مدرن نیازمند رویکردهای خودکار بیشتری است. روش‌های اولیه شناسایی الگوها در داده‌ها عبارتند از قضیه بیز (1700) و تحلیل رگرسیون (1800). تکثیر، فراگیر شدن و قدرت فزاینده فناوری رایانه، جمع آوری و ذخیره سازی داده ها را افزایش داده است. با افزایش اندازه و پیچیدگی مجموعه داده ها، تجزیه و تحلیل مستقیم داده ها - به طور فزاینده ای با پردازش غیرمستقیم و خودکار داده ها تقویت شده است. داده کاوی به عنوان ابزاری برای استخراج الگوهای پنهان از داده ها، با استفاده از توان محاسباتی و به کارگیری تکنیک ها و روش های جدید برای کشف دانش توسعه یافته است. اکتشافات دیگری در علوم کامپیوتر مانند شبکه های عصبی، خوشه بندی، الگوریتم های ژنتیک (دهه 1950)، درختان تصمیم (دهه 1960) و ماشین های بردار پشتیبان (دهه 1980) به این امر کمک کرده است. داده کاوی معمولاً شامل چهار دسته از وظایف است: • طبقه بندی: داده ها را در گروه های از پیش تعیین شده مرتب می کند. به عنوان مثال، یک برنامه ایمیل ممکن است سعی کند یک ایمیل را به عنوان قانونی یا هرزنامه طبقه بندی کند. الگوریتم‌های رایج شامل نزدیک‌ترین همسایه، طبقه‌بندی ساده بیز و شبکه عصبی است. • خوشه بندی: مانند طبقه بندی است اما گروه ها از قبل تعیین نشده اند، بنابراین الگوریتم سعی می کند موارد مشابه را با هم گروه بندی کند. • رگرسیون: تلاش برای یافتن تابعی که داده ها را با کمترین خطا مدل می کند. یک روش رایج استفاده از برنامه ریزی ژنتیکی است. • یادگیری قوانین انجمن: روابط بین متغیرها را جستجو می کند. به عنوان مثال، یک سوپرمارکت ممکن است داده‌هایی را از آنچه هر مشتری می‌خرد جمع‌آوری کند.

Humans have been “manually” extracting patterns from data for centuries, but the increasing volume of data in modern times has called for more automatic approaches. Early methods of identifying patterns in data include Bayes’ theorem (1700s) and Regression analysis (1800s). The proliferation, ubiquity and incre- ing power of computer technology has increased data collection and storage. As data sets have grown in size and complexity, direct hands-on data analysis has - creasingly been augmented with indirect, automatic data processing. Data mining has been developed as the tool for extracting hidden patterns from data, by using computing power and applying new techniques and methodologies for knowledge discovery. This has been aided by other discoveries in computer science, such as Neural networks, Clustering, Genetic algorithms (1950s), Decision trees (1960s) and Support vector machines (1980s). Data mining commonlyinvolves four classes of tasks: • Classi cation: Arranges the data into prede ned groups. For example, an e-mail program might attempt to classify an e-mail as legitimate or spam. Common algorithmsinclude Nearest neighbor,Naive Bayes classi er and Neural network. • Clustering: Is like classi cation but the groups are not prede ned, so the algorithm will try to group similar items together. • Regression: Attempts to nd a function which models the data with the least error. A common method is to use Genetic Programming. • Association rule learning: Searches for relationships between variables. For example, a supermarket might gather data of what each customer buys.