Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT

ویرایش:  
نویسندگان: Sudharsan Ravichandiran  
سری:  
ISBN (شابک) : 1838821597, 9781838821593 
ناشر: Packt Publishing 
سال نشر: 2021 
تعداد صفحات: 352 
زبان: English 
فرمت فایل : MOBI (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 95 Mb 

قیمت کتاب (تومان) : 35,000



با کاوش در BERT و انواع آن مانند ALBERT، RoBERTa، DistilBERT، VideoBERT و موارد دیگر، سفر NLP خود را با کتابخانه ترانسفورماتور Hugging Face آغاز کنید

ویژگی های کلیدی

• کدگذار و رمزگشای مدل ترانسفورماتور را کاوش کنید
• به همراه ALBERT، RoBERTa و DistilBERT با BERT آشنا شوید
• پیش‌بردن نحوه آموزش و آموزش تنظیم دقیق مدل‌های BERT برای چندین کار NLP

توضیحات کتاب

BERT (نمایش رمزگذار دو جهته از ترانسفورماتور) دنیای پردازش زبان طبیعی (NLP) را با نویدبخش متحول کرده است. نتایج. این کتاب یک راهنمای مقدماتی است که به شما کمک می کند تا با معماری BERT گوگل آشنا شوید. با توضیح دقیق معماری ترانسفورماتور، این کتاب به شما کمک می کند تا درک کنید که رمزگذار و رمزگشای ترانسفورماتور چگونه کار می کند.

شما معماری BERT را با یادگیری اینکه چگونه مدل BERT از قبل آموزش داده شده است و چگونه کار می کند، کشف خواهید کرد. با تنظیم دقیق آن برای وظایف NLP مانند تجزیه و تحلیل احساسات و خلاصه سازی متن با کتابخانه ترانسفورماتور Hugging Face، از BERT از پیش آموزش دیده برای کارهای پایین دستی استفاده کنید. همانطور که پیش می روید، در مورد انواع مختلف BERT مانند ALBERT، RoBERTa و ELECTRA آشنا می شوید و به SpanBERT نگاه می کنید که برای وظایف NLP مانند پاسخگویی به سوال استفاده می شود. همچنین انواع ساده‌تر و سریع‌تر BERT بر اساس تقطیر دانش مانند DistilBERT و TinyBERT را پوشش خواهید داد. این کتاب شما را با جزئیات MBERT، XLM و XLM-R آشنا می کند و سپس شما را با جمله-BERT آشنا می کند که برای به دست آوردن نمایش جمله استفاده می شود. در نهایت، مدل‌های BERT مخصوص دامنه مانند BioBERT و ClinicalBERT را کشف خواهید کرد و نوع جالبی به نام VideoBERT را کشف خواهید کرد.

در پایان این کتاب BERT، با استفاده از BERT به خوبی آشنا خواهید شد. و انواع آن برای انجام وظایف عملی NLP.

آنچه یاد خواهید گرفت

• مدل ترانسفورماتور را از ابتدا درک کنید
• دریابید که BERT چگونه کار می کند و با استفاده از وظایف مدل زبان پوشانده (MLM) و پیش‌بینی جمله بعدی (NSP) آن را از قبل آموزش دهید
• با یادگیری ایجاد جاسازی کلمات و جملات متنی با BERT آشنا شوید
• خوب -برت را برای کارهای پایین دست تنظیم کنید
• با مدل های ALBERT، RoBERTa، ELECTRA، و SpanBERT آشنا شوید
• مدل های BERT را بر اساس تقطیر دانش بدست آورید
• درک مدل های چندزبانی مانند XLM و XLM-R
• Explore Sentence-BERT، VideoBERT، و BART

این کتاب برای چه کسی است

< p> این کتاب برای متخصصان NLP و دانشمندان داده است که به دنبال ساده کردن وظایف NLP برای ایجاد درک کارآمد زبان با استفاده از BERT هستند. برای دریافت بهترین نتیجه از این کتاب به درک اولیه مفاهیم NLP و یادگیری عمیق نیاز است.

فهرست محتوا

1. A Primer on Transformer Model
< li>آشنایی با مدل BERT
2. دسترسی به BERT
3. انواع برت I - ALBERT، RoBERTa، ELECTRA و SpanBERT
4. انواع برت II - بر اساس در مورد تقطیر دانش
5. کاوش در BERTSUM برای خلاصه‌سازی متن
6. استفاده از BERT برای سایر زبان‌ها
7. کاوش در جمله و دامنه خاص BERT
8. کار با VideoBERT ، BART و موارد دیگر

Kickstart your NLP journey by exploring BERT and its variants such as ALBERT, RoBERTa, DistilBERT, VideoBERT, and more with Hugging Face's transformers library

Key Features

• Explore the encoder and decoder of the transformer model
• Become well-versed with BERT along with ALBERT, RoBERTa, and DistilBERT
• Discover how to pre-train and fine-tune BERT models for several NLP tasks

Book Description

BERT (bidirectional encoder representations from transformer) has revolutionized the world of natural language processing (NLP) with promising results. This book is an introductory guide that will help you get to grips with Google's BERT architecture. With a detailed explanation of the transformer architecture, this book will help you understand how the transformer's encoder and decoder work.

You'll explore the BERT architecture by learning how the BERT model is pre-trained and how to use pre-trained BERT for downstream tasks by fine-tuning it for NLP tasks such as sentiment analysis and text summarization with the Hugging Face transformers library. As you advance, you'll learn about different variants of BERT such as ALBERT, RoBERTa, and ELECTRA, and look at SpanBERT, which is used for NLP tasks like question answering. You'll also cover simpler and faster BERT variants based on knowledge distillation such as DistilBERT and TinyBERT. The book takes you through MBERT, XLM, and XLM-R in detail and then introduces you to sentence-BERT, which is used for obtaining sentence representation. Finally, you'll discover domain-specific BERT models such as BioBERT and ClinicalBERT, and discover an interesting variant called VideoBERT.

By the end of this BERT book, you'll be well-versed with using BERT and its variants for performing practical NLP tasks.

What you will learn

• Understand the transformer model from the ground up
• Find out how BERT works and pre-train it using masked language model (MLM) and next sentence prediction (NSP) tasks
• Get hands-on with BERT by learning to generate contextual word and sentence embeddings
• Fine-tune BERT for downstream tasks
• Get to grips with ALBERT, RoBERTa, ELECTRA, and SpanBERT models
• Get the hang of the BERT models based on knowledge distillation
• Understand cross-lingual models such as XLM and XLM-R
• Explore Sentence-BERT, VideoBERT, and BART

Who this book is for

This book is for NLP professionals and data scientists looking to simplify NLP tasks to enable efficient language understanding using BERT. A basic understanding of NLP concepts and deep learning is required to get the best out of this book.

Table of Contents

1. A Primer on Transformer Model
2. Understanding the BERT Model
3. Getting Hands-On with BERT
4. BERT variants I - ALBERT, RoBERTa, ELECTRA, and SpanBERT
5. BERT variants II - Based on knowledge distillation
6. Exploring BERTSUM for Text Summarization
7. Applying BERT for Other Languages
8. Exploring Sentence and Domain Specific BERT
9. Working with VideoBERT, BART, and more