Handbook for Evaluating Knowledge-Based Systems: Conceptual Framework and Compendium of Methods

سیستم‌های مبتنی بر دانش به طور فزاینده‌ای در تنظیمات بسیار متنوعی یافت می‌شوند و این کتاب راهنما برای پاسخگویی به نیاز خاصی در استفاده گسترده از آنها نوشته شده است. در حالی که کاربردهای موفق بسیاری از سیستم های مبتنی بر دانش وجود داشته است، برخی از برنامه ها شکست خورده اند زیرا هرگز بازخورد اصلاحی را که ارزیابی برای متمرکز نگه داشتن توسعه بر روی نیازهای کاربران در محیط کاری واقعی آنها ارائه می دهد، دریافت نکرده اند. این کتاب راهنما چارچوب مفهومی و خلاصه ای از روش ها را برای انجام ارزیابی سیستم های مبتنی بر دانش در طول توسعه آنها ارائه می دهد. تمرکز آن بر ارزیابی کاربران و کارشناسان موضوع از سودمندی سیستم است و نه بر روی آزمایش توسعه دهندگان از کفایت کد برنامه نویسی. این کتابچه به ارزیابان اجازه می دهد تا به طور سیستماتیک به انواع سؤالات زیر پاسخ دهند: آیا سیستم مبتنی بر دانش نیازهای وظایف کاربران را برآورده می کند؟ آیا استفاده از سیستم آسان است؟ آیا پایگاه دانش از نظر منطقی سازگار است؟ آیا سطح تخصص لازم را دارد؟ آیا سیستم عملکرد را بهبود می بخشد؟
نویسندگان کتابی را تهیه کرده‌اند که به دو مخاطب خدمت می‌کند: ابزاری که می‌تواند برای ایجاد سیستم‌های مبتنی بر دانش (متخصصین، توسعه‌دهندگان و ارزیاب‌ها) استفاده شود و چارچوبی که تحقیقات بیشتری را در این زمینه تحریک کند (محققان دانشگاهی). و دانش آموزان). برای انجام این کار، کتاب راهنما حول یک چارچوب مفهومی ساخته شده است که انواع مختلف ارزیابی ها را در سیستم فرآیند توسعه ادغام می کند. انواع سوالاتی که می توان به آنها پاسخ داد و روش های موجود برای پاسخ به آنها در طول چرخه عمر توسعه سیستم تغییر خواهد کرد. و در طول این فرآیند، فرد باید بداند چه کاری را می توان انجام داد و چه چیزی را نمی توان. این دوگانگی است که به نیازهای مخاطبان پژوهشگر و آکادمیک می‌پردازد.

Knowledge-based systems are increasingly found in a wide variety of settings and this handbook has been written to meet a specific need in their widening use. While there have been many successful applications of knowledge-based systems, some applications have failed because they never received the corrective feedback that evaluation provides for keeping development focused on the users' needs in their actual working environment. This handbook provides a conceptual framework and compendium of methods for performing evaluations of knowledge-based systems during their development. Its focus is on the users' and subject matter experts' evaluation of the usefulness of the system, and not on the developers' testing of the adequacy of the programming code. The handbook permits evaluators to systematically answer the following kinds of questions: Does the knowledge-based system meet the users' task requirements? Is the system easy to use? Is the knowledge base logically consistent? Does it meet the required level of expertise? Does the system improve performance?
The authors have produced a handbook that will serve two audiences: a tool that can be used to create knowledge-based systems (practitioners, developers, and evaluators) and a framework that will stimulate more research in the area (academic researchers and students). To accomplish this, the handbook is built around a conceptual framework that integrates the different types of evaluations into the system of development process. The kinds of questions that can be answered, and the methods available for answering them, will change throughout the system development life cycle. And throughout this process, one needs to know what can be done, and what can't. It is this dichotomy that addresses needs in both the practitioner and academic research audiences.