ผลการปรับเทียบคะแนนด้วยวิธีเคอเนลและวิธี IRT ภายใต้เงื่อนไขที่แตกต่างกัน

Abstract

การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อ 1) เพื่อศึกษาคุณภาพของวิธีการปรับเทียบคะแนนภายใต้เงื่อนไขรูปแบบข้อสอบร่วม ขนาดตัวอย่างและรูปแบบของข้อมูลที่จะนำมาวิเคราะห์ที่แตกต่างกัน 2) เพื่อเปรียบเทียบความสอดคล้องของผลการตัดเกรดจากการใช้คะแนนก่อนการปรับเทียบคะแนนกับคะแนนที่ได้หลังจากการปรับเทียบคะแนนตามเงื่อนไขที่กำหนด ข้อมูลที่ใช้ในการวิจัย เป็นผลการตอบข้อสอบปลายภาคของนักศึกษาระดับปริญญาตรี ของชุดวิชาหนึ่งที่สอบในภาคการศึกษา 1/ 2556 ภาค 1/ 2557 และภาค 1/ 2558 แบบสอบเป็นแบบเลือกตอบ 5 ตัวเลือก จำนวน 120 ข้อ ที่มีข้อสอบร่วมภายใน จำนวน 15 ข้อ แบบสอบทุกฉบับ จะถูกปรับให้อยู่บนสเกลเดียวกันกับแบบสอบของภาคการศึกษา 1/ 2556 ผลการวิจัยพบว่า 1. การปรับเทียบคะแนนโดยวิธีเคอเนล ภายใต้ตัวอย่างขนาด 500 คน และ 700 คน ให้ค่า SEE ต่ำใกล้เคียงกันทุกเงื่อนไข ยกเว้นขนาดตัวอย่าง 100 คน ที่ให้ค่า SEE ค่อนข้างสูง โดยเงื่อนไขข้อสอบร่วมมีความยากอยู่ในช่วง .4 -.6 และตัดข้อสอบที่ไม่มีคุณภาพทิ้ง เมื่อวิเคราะห์กับขนาดตัวอย่าง 700 คน มีคุณภาพมากที่สุด การตัดข้อสอบที่ไม่มีคุณภาพทิ้งก่อนปรับเทียบคะแนนจะมีคุณภาพของการปรับเทียบคะแนนมากกว่าไม่ตัดข้อสอบที่ไม่มีคุณภาพทิ้ง และการเพิ่มขนาดตัวอย่างมีแนวโน้มทำให้ค่า SEE ลดลง 2. การเปรียบเทียบความคลาดเคลื่อนมาตรฐานของการปรับเทียบคะแนนระหว่างวิธี เคอเนล และวิธี IRT 2 พารามิเตอร์ วิธีเคอเนลให้ค่าความคลาดเคลื่อนมาตรฐานของการปรับเทียบคะแนนต่ำสุด เมื่อใช้เงื่อนไขข้อสอบร่วมมีความยากอย่างสุ่มกับกลุ่มตัวอย่างขนาด 700 คน และเงื่อนไขข้อสอบร่วมมีความยากอย่างสุ่มและตัดข้อสอบที่ไม่มีคุณภาพทิ้ง 3. การตัดเกรดจากคะแนนก่อนการปรับเทียบคะแนนและคะแนนหลังการปรับเทียบคะแนนด้วยวิธีเคอเนลและวิธี IRT 2 พารามิเตอร์ ตามเงื่อนไขต่าง ๆ ภายใต้การตัดเกรด 3 ระดับ และ 8 ระดับ ส่วนใหญ่พบว่า ไม่สอดคล้องกัน จำเป็นจะต้องทำการปรับเทียบคะแนนก่อนที่จะตัดเกรด การขยายระดับการตัดเกรดเป็น 8 ระดับ การใช้ตัวอย่างขนาดใหญ่ขึ้น จะเห็นความไม่สอดคล้องของการตัดเกรดชัดเจนมากขึ้น ส่วนการตัดข้อสอบที่ไม่มีคุณภาพทิ้งก่อนการปรับเทียบคะแนนด้วยวิธีเคอเนล จะเห็นความไม่สอดคล้องของการตัดเกรดชัดเจนกว่าวิธีวิธี IRT 2 พารามิเตอร์ ขณะที่การใช้ข้อสอบร่วมที่มีความยากอยู่ในช่วง .4 -.6 ทั้งสองวิธีจะเห็นความไม่สอดคล้องของการตัดเกรดชัดเจนมากกว่าการใช้ข้อสอบร่วมที่มีความยากอย่างสุ่ม 4. การใช้ตัวอย่างขนาด 500 คน 700 คน ในการปรับเทียบคะแนน จะเห็นความไม่สอดคล้องของการตัดเกรดได้อย่างชัดเจนไม่ว่าจะวิเคราะห์ด้วยวิธีเคอเนลหรือวิธี IRT 2 พารามิเตอร์ไม่ว่าจะใช้เงื่อนไขใดก็ตาม ส่วนตัวอย่างขนาด 100 คน ส่วนใหญ่แล้วการปรับเทียบคะแนน จะมีความสอดคล้องกัน 5. การตัดเกรดหลังการปรับเทียบคะแนนด้วยวิธีเคอเนลและวิธี IRT 2 พารามิเตอร์ ของทุกเงื่อนไขมีความสัมพันธ์กันอย่างมีนัยสำคัญที่ระดับ .05 โดยที่การตัดเกรด 3 ระดับ หลังการปรับเทียบคะแนนด้วยวิธีเคอเนลและวิธี IRT 2 พารามิเตอร์ด้วยเงื่อนไขข้อสอบร่วม มีความยากอย่างสุ่ม กับทุกขนาดตัวอย่างมีความสัมพันธ์กันในระดับดีมาก