Validity, Reliability, and Significance: Empirical Methods for Nlp and Data Science

روش های تجربی ابزاری برای پاسخگویی به سوالات روش شناختی علوم تجربی با تکنیک های آماری هستند. سؤالات روش شناختی که در این کتاب به آنها پرداخته می شود، شامل مسائل روایی، پایایی و معناداری است. در مورد یادگیری ماشین، اینها با این سؤالات مطابقت دارند که آیا یک مدل آنچه را که مدعی پیش‌بینی است، پیش‌بینی می‌کند، آیا عملکرد یک مدل در سراسر تکرارها سازگار است، و آیا تفاوت عملکرد بین دو مدل به ترتیب به دلیل شانس است یا خیر. هدف این کتاب پاسخ به این سؤالات توسط آزمون های آماری مشخص است که می تواند برای ارزیابی اعتبار، قابلیت اطمینان و اهمیت حاشیه نویسی داده ها و پیش بینی یادگیری ماشین در زمینه های NLP و علم داده به کار رود.

ما. تمرکز بر روش‌های تجربی مبتنی بر مدل است که در آن حاشیه‌نویسی داده‌ها و پیش‌بینی‌های مدل به عنوان داده‌های آموزشی برای مدل‌های احتمالی قابل تفسیر از خانواده‌های شناخته‌شده مدل‌های افزایشی تعمیم‌یافته (GAMs) و مدل‌های اثرات مختلط خطی (LMEMs) در نظر گرفته می‌شوند. بر اساس پارامترهای قابل تفسیر GAMs یا LMEM های آموزش دیده، این کتاب تست های آماری مبتنی بر مدل مانند یک آزمون اعتبار را ارائه می دهد که امکان تشخیص ویژگی های دایره ای را فراهم می کند که یادگیری را دور می زند. علاوه بر این، این کتاب یک ضریب قابلیت اطمینان را با استفاده از تجزیه واریانس بر اساس پارامترهای اثر تصادفی LMEMs مورد بحث قرار می‌دهد. در آخر، یک آزمون اهمیت مبتنی بر نسبت احتمال LMEM های تودرتو آموزش داده شده بر روی نمرات عملکرد دو مدل یادگیری ماشین نشان داده شده است که به طور طبیعی اجازه گنجاندن تغییرات در تنظیمات فراپارامتر را در آزمایش فرضیه می دهد و مقایسه سیستم تصفیه شده را مشروط به این امر تسهیل می کند. ویژگی‌های داده‌های ورودی.

این کتاب را می‌توان به عنوان مقدمه‌ای بر روش‌های تجربی برای یادگیری ماشین به‌طور کلی، با تمرکز ویژه بر برنامه‌های کاربردی در NLP و علم داده استفاده کرد. این کتاب مستقل است، با ضمیمه‌ای در زمینه پیش‌زمینه ریاضی در GAM و LMEM، و با یک صفحه وب همراه شامل کد R برای تکرار آزمایش‌های ارائه‌شده در کتاب.

Empirical methods are means to answering methodological questions of empirical sciences by statistical techniques. The methodological questions addressed in this book include the problems of validity, reliability, and significance. In the case of machine learning, these correspond to the questions of whether a model predicts what it purports to predict, whether a model's performance is consistent across replications, and whether a performance difference between two models is due to chance, respectively. The goal of this book is to answer these questions by concrete statistical tests that can be applied to assess validity, reliability, and significance of data annotation and machine learning prediction in the fields of NLP and data science.

Our focus is on model-based empirical methods where data annotations and model predictions are treated as training data for interpretable probabilistic models from the well-understood families of generalized additive models (GAMs) and linear mixed effects models (LMEMs). Based on the interpretable parameters of the trained GAMs or LMEMs, the book presents model-based statistical tests such as a validity test that allows detecting circular features that circumvent learning. Furthermore, the book discusses a reliability coefficient using variance decomposition based on random effect parameters of LMEMs. Last, a significance test based on the likelihood ratio of nested LMEMs trained on the performance scores of two machine learning models is shown to naturally allow the inclusion of variations in meta-parameter settings into hypothesis testing, and further facilitates a refined system comparison conditional on properties of input data.

This book can be used as an introduction to empirical methods for machine learning in general, with a special focus on applications in NLP and data science. The book is self-contained, with an appendix on the mathematical background on GAMs and LMEMs, and with an accompanying webpage including R code to replicate experiments presented in the book.