Automated Essay Scoring: A Cross-disciplinary Perspective

ویرایش: 1 
نویسندگان: Mark D. Shermis,  Jill C. Burstein  
سری:  
ISBN (شابک) : 9780805839739, 2002072221 
ناشر: Routledge 
سال نشر: 2002 
تعداد صفحات: 255 
زبان: English 
فرمت فایل : DJVU (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 2 مگابایت 

قیمت کتاب (تومان) : 50,000

این کتاب افزودنی خوشایند به مجموعه رو به رشد ادبیات در مورد امتیاز دهی خودکار مقاله است که به عنوان فناوری ارزیابی خودکار مقاله (AEET) نیز شناخته می شود. من در حال نوشتن پایان نامه خود در این موضوع هستم (از دیدگاه مدرس آهنگسازی) و کتاب کمک زیادی به من کرده است.

نمره‌دهی خودکار مقاله در پنج بخش اصلی سازمان‌دهی شده است: (I) آموزش نوشتن، (II) مسائل روان‌سنجی در ارزیابی عملکرد، (III) نمره‌گذاران مقاله خودکار، (IV) مسائل روان‌سنجی در نمره‌دهی خودکار مقاله، و (V) نوآوری فعلی در ارزیابی خودکار مقاله. بخش سوم شامل بحث مفصلی درباره امتیازدهندگان مقاله پیشرو در بازار است: درجه مقاله، هوشمندی، ارزیاب الکترونیکی و ارزیاب مقاله هوشمند. همچنین یک فصل در مورد طبقه بندی متن بیزی وجود دارد. با این حال، عجیب است که هیچ اشاره‌ای به BETSY - سیستم نمره‌دهی آزمون بیزی، که طبق اطلاعات من، پیشرفته‌ترین نمره‌دهنده مقاله با استفاده از قضیه بیز است، نشده است.

نویسندگان و ویراستاران کار بسیار خوبی در ارائه موتورهای درجه بندی مربوطه خود به شیوه ای منصفانه و متعادل بدون ضربه زدن به فناوری های رقیب انجام داده اند. با این حال، در مواقعی مشخص است که نویسندگان وفاداری خود را در کجا قرار داده اند. به عنوان مثال، جیل برستاین، یکی از ویراستاران کتاب، توسط ETS استخدام شده و چندین فصل نوشته است که در آنها مزایای ارزیابی الکترونیکی را به نمایش می گذارد. با این حال، مشکلی در این کار وجود ندارد، زیرا او این کار را بدون از بین بردن رقبای خود انجام می دهد.

من فقط چند انتقاد نزدیک به این کتاب دارم. اولین مورد این است که زیرنویس تا حدودی اشتباه است. به نظر می‌رسد که اکثریت قریب به اتفاق کتاب توسط روان‌سنج‌ها، برای و برای افرادی نوشته شده است که آموزش‌های روان‌سنجی قابل توجهی دارند. بنابراین به سختی می‌توان آن را «متقابل انضباطی» نامید. با این حال، وقتی متوجه شدم که تنها دو فصل از سیزده فصل کتاب (فصل 1 و 3) برای رفع نگرانی‌هایی که مدرسان نویسندگی در مورد این فناوری‌ها دارند، تلاش کرده‌اند، ناامید شدم. این امر طعنه آمیز به نظر می رسد زیرا معلمان نوشتن جمعیتی را تشکیل می دهند که به احتمال زیاد تحت تأثیر گسترش AEET قرار می گیرند.

در مجموع، معلمان نویسندگی و محققان در زمینه بلاغت و انشاء به این ایده که رایانه ها برای تدریس و ارزیابی نوشتن پاسخ مثبتی نداده اند. برخی آن را بازگشتی به پوزیتیویسم فلسفی یا کنار گذاشتن ارزش‌های پست مدرنی می‌دانند که «انگلیسی جدید» بر اساس آن بنا شده است. صرف نظر از موضع شخص در مورد این موضوع، چنین نگرانی هایی مستحق توجه هستند، و من از این که ندیدم به آنها در یک جلد متمایز و جامع پرداخته شود، ناامید شدم.

به هر حال، لارنس ارلبام به دلیل انتشار مطالب آکادمیک با کیفیت بالا، شهرت شایسته ای دارد، و این جلد مطمئناً با این شهرت مناسب است. علیرغم کاستی‌هایی که دارد، نمره‌دهی خودکار مقاله: دیدگاه متقابل رشته‌ای یک کار پژوهشی است که هیچ‌کس به دنبال تحقیق در این زمینه نباید بدون آن کار کند.

This book is a welcome addition to the growing body of literature on automated essay scoring, also known as automated essay evaluation technology (AEET). I am writing my dissertation on this subject (from a composition instructor's perspective), and the book has helped me tremendously.

Automated Essay Scoring is organized into five major sections: (I) Teaching of Writing, (II) Psychometric Issues in Performance Assessment, (III) Automated Essay Scorers, (IV) Psychometric Issues in Automated Essay Scoring, and (V) Current Innovation in Automated Essay Evaluation. Section III contains a detailed discussion of the leading essay scorers on the market: Project Essay Grade, Intellimetric, e-rater, and the Intelligent Essay Assessor. There is also a chapter on Bayesian text classification. Curiously, though, no mention is made of BETSY-the Bayesian Essay Test Scoring sYstem, which, to my knowledge, is the most fully developed essay scorer using Bayes Theorem.

The authors and editors have done a remarkably good job of presenting their respective grading engines in a fair and balanced manner without bashing competing technologies. That said, it is clear at times where the authors have placed their allegiance. For example, Jill Burstein, one of the editors of the book, is employed by ETS and penned several chapters in which she touts the benefits of e-rater. Nothing wrong with that, though, as she does it without tearing down her competitors.

I have only a few closely related criticisms of this book. The first is that the subtitle is somewhat of a misnomer. The vast majority of the book appears to be written by, for, and to psychometricians or people with substantial psychometric training. It therefore can hardly be called "cross disciplinary." As a writing instructor, I had hoped to find much more discussion written from a composition teacher's point of view. I was disappointed, however, to find that only two of the book's thirteen chapters (chapters 1 and 3) made any attempts to address the concerns that writing instructors have regarding these technologies. This seems ironic since writing teachers comprise the population most likely to be affected by the proliferation of AEETs.

As a whole, teachers of writing and researchers in the field of rhetoric and composition have not responded favorably to the idea of having computers teach and assess writing. Some see it as a return to philosophical positivism or an abandonment of the postmodern values on which the "New English" was built. Regardless of one's position on the issue, such concerns deserve attention, and I was disappointed not to see them addressed in a volume as distinctive and comprehensive as this.

Be that as it may, Lawrence Erlbaum has a deserved reputation for publishing high quality academic material, and this volume is certainly fitting to that reputation. Despite its shortcomings, Automated Essay Scoring: A Cross-Disciplinary Perspective is a work of scholarship no one pursuing research in this field should do without.