Collaborative Annotation for Reliable Natural Language Processing: Technica

این کتاب فرصتی منحصر به فرد برای ایجاد یک تصویر ثابت از حاشیه نویسی دستی مشترک برای پردازش زبان طبیعی (NLP) ارائه می دهد. NLP در 25 سال گذشته شاهد دو تحول بزرگ بوده است: اول، موفقیت خارق‌العاده یادگیری ماشینی، که اکنون، خوب یا بد، غالباً در این زمینه غالب است، و دوم، افزایش کمپین‌های ارزیابی یا وظایف مشترک. هر دو شامل پیکره‌هایی با حاشیه‌نویسی دستی برای آموزش و ارزیابی سیستم‌ها می‌شوند.

این مجموعه‌ها به تدریج به ستون‌های پنهان دامنه ما تبدیل شده‌اند، و غذا برای الگوریتم‌های یادگیری ماشین گرسنه ما و مرجعی برای ارزیابی فراهم می‌کنند. حاشیه نویسی اکنون مکانی است که زبان شناسی در NLP پنهان می شود. با این حال، حاشیه نویسی دستی تا حد زیادی برای مدتی نادیده گرفته شده است، و حتی مدتی طول کشیده است تا دستورالعمل های حاشیه نویسی ضروری شناخته شوند.

اگرچه اخیراً تلاش هایی برای پرداختن به برخی از مسائل ارائه شده توسط انجام شده است. حاشیه نویسی دستی، هنوز تحقیقات کمی در مورد این موضوع انجام شده است. هدف این کتاب ارائه برخی از بینش های مفید در مورد موضوع است.

حاشیه نویسی دستی پیکره اکنون در قلب NLP قرار دارد و هنوز تا حد زیادی ناشناخته است. نیاز به مهندسی حاشیه نویسی دستی (به معنای یک فرآیند کاملاً رسمی) وجود دارد، و این کتاب با هدف ارائه اولین گام به سمت یک روش شناسی کل نگر با دیدگاهی جهانی در مورد حاشیه نویسی است.

This book presents a unique opportunity for constructing a consistent image of collaborative manual annotation for Natural Language Processing (NLP).  NLP has witnessed two major evolutions in the past 25 years: firstly, the extraordinary success of machine learning, which is now, for better or for worse, overwhelmingly dominant in the field, and secondly, the multiplication of evaluation campaigns or shared tasks. Both involve manually annotated corpora, for the training and evaluation of the systems.

These corpora have progressively become the hidden pillars of our domain, providing food for our hungry machine learning algorithms and reference for evaluation. Annotation is now the place where linguistics hides in NLP. However, manual annotation has largely been ignored for some time, and it has taken a while even for annotation guidelines to be recognized as essential.

Although some efforts have been made lately to address some of the issues presented by manual annotation, there has still been little research done on the subject. This book aims to provide some useful insights into the subject.

Manual corpus annotation is now at the heart of NLP, and is still largely unexplored. There is a need for manual annotation engineering (in the sense of a precisely formalized process), and this book aims to provide a first step towards a holistic methodology, with a global view on annotation.