The Psychometrics of Standard Setting: Connecting Policy and Test Scores

این کتاب ساختار یکپارچه‌کننده‌ای برای فعالیت‌هایی ارائه می‌کند که تحت فرآیندی قرار می‌گیرند که معمولاً در آزمون‌های مهارت «تنظیم استاندارد» نامیده می‌شود. تنظیم استاندارد به روش مورد استفاده برای شناسایی استانداردهای عملکرد در آزمون های مهارت اشاره دارد. نتایج حاصل از مطالعات تنظیم استاندارد برای حمایت از استفاده از بسیاری از انواع تست ها حیاتی است. این فرآیند اغلب در مورد سیستم‌های آموزشی، روان‌شناختی، صدور مجوز/گواهینامه و انواع دیگر آزمون‌ها و آزمون‌ها اعمال می‌شود. ادبیات رویه‌ها برای تنظیم استاندارد گسترده است، اما روش‌شناسی برای تنظیم استاندارد به روشی تصادفی طی چندین دهه بدون یک نظریه متحد برای حمایت از ارزیابی روش‌ها و اعتبار استنباط‌های حاصل از استانداردها تکامل یافته است. این کتاب چارچوبی را برای فراتر رفتن از روش‌های تنظیم استاندارد خاص ارائه می‌کند تا درکی از اهداف روش‌ها و چگونگی ارزیابی اینکه آیا اهداف به دست آمده‌اند یا خیر.

ساختار یکپارچه‌کننده ارائه شده در این کتاب خط مشی هایی را در نظر می گیرد که مستلزم وجود استانداردهای عملکرد، رابطه طراحی آزمون مهارت با خط مشی، و وظایف محول شده به متخصصان موضوع برای کمک به تبدیل خط مشی به تخمین مکان ها در مقیاس نمره گزارش برای آزمون است. این کتاب راهنمایی در مورد چگونگی ارتباط جنبه‌های روان‌سنجی فرآیند تنظیم استاندارد با نیات سیاست‌گذاران که در بیانیه‌های خط‌مشی بیان شده است، ارائه می‌کند. علاوه بر این، این ساختار برای پشتیبانی از استدلال های اعتبار برای استنباط های ساخته شده در هنگام استفاده از استانداردها استفاده می شود. مثال‌هایی ارائه شده‌اند تا نشان دهند چگونه می‌توان از ساختار یکپارچه برای ارزیابی و بهبود روش‌شناسی تنظیم استاندارد استفاده کرد.

This book provides a unifying structure for the activities that fall under the process typically called "standard setting" on tests of proficiency. Standard setting refers to the methodology used to identify performance standards on tests of proficiency. The results from standard setting studies are critical for supporting the use of many types of tests. The process is frequently applied to educational, psychological, licensure/certification, and other types of tests and examination systems. The literature on procedures for standard setting is extensive, but the methodology for standard setting has evolved in a haphazard way over many decades without a unifying theory to support the evaluation of the methods and the validation of inferences made from the standards. This book provides a framework for going beyond specific standard setting methods to gain an understanding of the goals for the methods and how to evaluate whether the goals have been achieved.

The unifying structure provided in this book considers policy that calls for the existence of performance standards, the relationship of proficiency test design to the policy, and tasks assigned to subject matter experts to help them convert the policy to estimates of locations on the reporting score scale for the test.The book provides guidance on how to connect the psychometric aspects of the standard setting process to the intentions of policy makers as expressed in policy statements. Furthermore, the structure is used to support validity arguments for inferences made when using standards. Examples are provided to show how the unifying structure can be used to evaluate and improve standard setting methodology.