Web Crawling and Data Mining with Apache Nutch

خزیدن وب را انجام دهید و داده کاوی را در برنامه خود اعمال کنید

نمای اجمالی

• یاد بگیرید برنامه خود را بر روی یک دستگاه یا چند ماشین اجرا کنید
• جستجو را در برنامه خود مطابق با نیاز خود سفارشی کنید
• خود را با ذخیره صفحات وب خزیده شده در پایگاه داده آشنا کنید و از آنها بر اساس نیاز خود استفاده کنید

در جزئیات

Apache Nutch به شما کمک می کند موتور جستجوی خود را ایجاد کرده و آن را مطابق با نیاز خود سفارشی کنید. شما می توانید Apache Nutch را به راحتی با برنامه موجود خود ادغام کنید و حداکثر بهره را از آن ببرید. می توان آن را به راحتی با اجزای مختلف مانند Apache Hadoop، Eclipse و MySQL ادغام کرد.

\"Web Crawling and Data Mining with Apache Nutch\" تمام مراحل لازم را به شما نشان می دهد تا به شما در خزیدن صفحات وب برای شما کمک کند. برنامه و استفاده از آنها برای کارآمدتر کردن جستجوی برنامه شما. شما موتور جستجوی خود را ایجاد خواهید کرد و می توانید رتبه صفحه برنامه خود را در جستجو بهبود بخشید.

\"خزیدن وب و داده کاوی با Apache Nutch\" با اصول اولیه خزیدن صفحات وب برای برنامه شما شروع می شود. شما یاد خواهید گرفت که Apache Solr را بر روی سرور حاوی داده های خزیده شده توسط Apache Nutch استقرار دهید و Sharding را با Apache Nutch با استفاده از Apache Solr انجام دهید.

شما برنامه خود را با پایگاه های داده مانند MySQL، Hbase، و Accumulo و همچنین ادغام خواهید کرد. با Apache Solr که به عنوان جستجوگر استفاده می شود.

با این کتاب، مهارت های لازم برای ایجاد موتور جستجوی خود را به دست خواهید آورد. همچنین تجزیه و تحلیل پیوند و امتیازدهی را انجام خواهید داد که در بهبود رتبه صفحه برنامه شما مفید است.

آنچه از این کتاب خواهید آموخت

• خزیدن وب را برای برنامه خود انجام دهید
• با ادغام آن با Apache Solr جستجوی برنامه خود را کارآمد کنید
• برنامه خود را با پایگاه های داده مختلف برای اهداف ذخیره سازی داده ادغام کنید
• برنامه خود را با ادغام با Apache Hadoop در یک محیط کلاستر اجرا کنید
• عملیات خزیدن را با Eclipse انجام دهید که به عنوان یک IDE به جای خط فرمان استفاده می شود
• افزونه خود را در Apache ایجاد کنید. Nutch
• Apache Solr را با Apache Nutch ادغام کنید و Apache Solr را در Apache Tomcat استقرار دهید
• برای دریافت نتایج خوب از Apache Solr در حین جستجو، Sharding را در Apache Tomcat اعمال کنید

رویکرد

این کتاب راهنمای کاربرپسندی است که تمام مراحل و مثال‌های لازم مربوط به خزیدن وب و داده‌کاوی با استفاده از Apache Nutch را پوشش می‌دهد.

این کتاب برای چه کسی نوشته شده است

\"Web Crawling and Data Mining with Apache Nutch\" برای تحلیلگران داده، توسعه دهندگان برنامه، مهندسان وب کاوی و داده ها طراحی شده است. دانشمندان این یک شروع خوب برای کسانی است که می خواهند یاد بگیرند که چگونه خزیدن وب و داده کاوی در دنیای تجارت فعلی اعمال می شود. این یک مزیت اضافی برای کسانی است که اطلاعاتی در مورد خزیدن وب و داده کاوی دارند.

Perform web crawling and apply data mining in your application

Overview

• Learn to run your application on single as well as multiple machines
• Customize search in your application as per your requirements
• Acquaint yourself with storing crawled webpages in a database and use them according to your needs

In Detail

Apache Nutch helps you to create your own search engine and customize it according to your needs. You can integrate Apache Nutch very easily with your existing application and get the maximum benefit from it. It can be easily integrated with different components like Apache Hadoop, Eclipse, and MySQL.

"Web Crawling and Data Mining with Apache Nutch" shows you all the necessary steps to help you in crawling webpages for your application and using them to make your application searching more efficient. You will create your own search engine and will be able to improve your application page rank in searching.

"Web Crawling and Data Mining with Apache Nutch" starts with the basics of crawling webpages for your application. You will learn to deploy Apache Solr on server containing data crawled by Apache Nutch and perform Sharding with Apache Nutch using Apache Solr.

You will integrate your application with databases such as MySQL, Hbase, and Accumulo, and also with Apache Solr, which is used as a searcher.

With this book, you will gain the necessary skills to create your own search engine. You will also perform link analysis and scoring that are helpful in improving the rank of your application page.

What you will learn from this book

• Carry out web crawling for your application
• Make your application searching efficient by integrating it with Apache Solr
• Integrate your application with different databases for data storage purposes
• Run your application in a cluster environment by integrating it with Apache Hadoop
• Perform crawling operations with Eclipse, which is used as an IDE instead of the command line
• Create your own plugin in Apache Nutch
• Integrate Apache Solr with Apache Nutch, and deploy Apache Solr on Apache Tomcat
• Apply Sharding on Apache Tomcat for getting good results from Apache Solr while searching

Approach

This book is a user-friendly guide that covers all the necessary steps and examples related to web crawling and data mining using Apache Nutch.

Who this book is written for

"Web Crawling and Data Mining with Apache Nutch" is aimed at data analysts, application developers, web mining engineers, and data scientists. It is a good start for those who want to learn how web crawling and data mining is applied in the current business world. It would be an added benefit for those who have some knowledge of web crawling and data mining.