Assessment Tools part 2 (MEQ)

ภาค 2 มาต่อกันที่เครื่องมือข้อเขียน MEQ

MEQ

The Essay

เมื่อเปรียบเทียบกับ MCQ ข้อสอบเขียนสามารถประเมิน Higher level ได้มากกว่าตาม Bloom’s taxonomy ข้างต้น

ในอดีตรูปแบบการออกข้อสอบ Essay จะเป็นการออกข้อสอบที่ให้เขียนแบบเปิดกว้าง เช่น จงอธิบาย Peritoneum แล้วให้บริเวณเขียนคำตอบเป็นหน้ากระดาษ ทำให้เกิดปัญหาตามมามากมาย เช่น

แนวโน้มการวัดความรู้ที่จะเป็น recall มากกว่า higher cognitive level
Content coverage จะต่ำเพราะออกเยอะ ตรวจเยอะไม่ไหว
Time consuming for scoring ใช้เวลาในการตรวจนาน โดยเฉพาะถ้าเป็นลายมือเขียน
Standardized of scoring ขึ้นอยู่กับอาจารย์ผู้ออกข้อสอบ assessor-dependent
Low reliability ผลจาก standardized

จากปัญหาดังที่กล่าวมาจึงมีการพัฒนารูปแบบข้อสอบที่เป็นการเขียนตอบเป็น MEQ (Modified essay question) วัตถุประสงค์คือต้องการประเมิน Clinical skills, Problem solving MEQ จะวัดความสามารถต่างๆ ของผู้ทำข้อสบ ดังนี้

Data gathering ซักประวัติ ตรวจร่างกาย
Hypothesis generation จากข้อมูลที่รวบรวมได้
Hypothesis refinement นำข้อมูลมาประกอบ เพื่อ ddx. โรค
Making decision and planning management

ลักษณะข้อสอบ MEQ

Factual case history presented in stages แบ่งข้อมูลเป็นระยะๆ ค่อยๆ เติมข้อมูล เมื่อเปิดหน้าถัดไป ประเมิน Clinical reasoning and problem solving skills Multiple questions (7-8 questions, 90 mins) ทำให้ เนื้อหาครอบคลุมมากขึ้น Predetermined check list of correct answer กำหนด check list เพื่อให้ตรวจได้ชัดเจน ถ้าทำได้ดีจริง อาจารย์ท่านใดมาตรวจต้องได้เหมือนกัน Increased reliability

Structure of MEQ

ส่วนต่างๆ ของการออกแบบข้อสอบ MEQ มักจะมีโครงสร้างต่างๆ ดังนี้

Brief scenario ส่วนแรกๆ ของข้อสอบ จะให้ข้อมูลที่จำเป็นมาสั้นๆ แต่ต้องบอกรายละเอียดที่ชัดเจน
Hypothesis generation นำข้อมูลเบื้องต้นมาลองตั้งสมมุติฐาน เช่น Differential diagnosis
Data gathering ให้ซักประวัติ หรือตรวจร่างกายเพิ่มเติม
Feedback ข้อมูลเติมเข้ามา
Hypothesis refinement นำข้อมูลที่ได้มาประกอบกับสมมุติฐานที่เกิดขึ้น
Management แนวทางการดูแลผู้ป่วย
Pathophysiology or mechanism of disease อธิบายรายละเอียดที่เกี่ยวกับโรค

Brief scenario

อาจะให้ข้อมูล เบื้องต้น แค่ประวัติอย่างย่อ หรือ Lab บางอย่าง ข้อมูลที่ให้นั้นขึ้นอยู่กับว่าเพียงพอในการตั้งสมมติฐาน หรือดูแลเบื้องต้น (ตอบคำถาม) ในช่วงแรกได้หรือไม่

Scenario construction

ให้ข้อมูลสำคัญ
กำหนดบทบาทผู้สอบ
ระบุสถานที่ที่เกิดเหตุการณ์

ตัวอย่าง Brief scenario

ผู้ป่วยเด็กอายุ 7 ปี
อาการสำคัญ: ไข้ ไอ หายใจเร็ว 5 วันก่อนมาโรงพยาบาล
ประวัติปัจจุบัน: 5 วันก่อนเริ่มมีไข้ต่ำๆ ไอมีเสมหะ เจ็บคอเล็กน้อย น้ำมูกใส มารดาซื้อยาให้กิน อาการไม่ดีขึ้น 1 วันก่อนมายังมีไข้สูง ไอมากขึ้น สังเกตว่าหายใจแรง จึงพามาโรงพยาบาล
ประวัติอดีต: สุขภาพแข็งแรง ไม่มีโรคประจำตัว ขับถ่ายปกติ

ตรวจร่างกาย
Vital signs: BT 39 c RR 40/min PR 100/min BP 100/60 mmHg
GA: Consciousness, not pale, no jaundice
HEENT: No injected pharynx and tonsils, intact tympanic membrane, no nasal discharge, no palpable lymph node
CVS: Regular S1,S2, no murmur
Chest: Tachypnea, fine crepitations at RLL with occasional rhonchi
Abdomen: Soft, not tender, no organomegaly

คำถาม
จงให้การวินิจฉัยแยกโรคเบื้องต้น (Hypothesis generation)
ถามประวัติและตรวจร่างกายเพิ่มเติมอะไรบ้าง (Data gathering)
จงให้การรักษาเบื้องต้น (Management)

Data gathering

วัดความสามารถในการหาข้อมูลสำคัญ ตัวอย่างคำถาม

ท่านต้องการข้อมูลจากประวัติและการตรวจร่างกาย หรือส่งตรวจทางห้องปฏิบัติการที่สำคัญอะไรบ้าง เพื่อ… (ควรจะมีการระบุจำนวนข้อ เพื่อให้ผู้ตอบพยายามเลือกที่จำเป็น)
- ช่วยในการวินิจฉัย
- ช่วยในการรักษา
- ช่วยประเมินความรุนแรง

Feedback

ให้ข้อมูลเพื่อช่วยตัดสินใจ ในขั้นตอนต่อไป (พลิกหน้า)

นำข้อมูลที่ได้มาประกอบกับสมมุติฐานเบื้องต้น

ให้การวินิจฉัยแยกโรคที่แคบลง
วินิจฉัยเบื้องต้น
วางแผนการดูแลหรือส่งตรวจเพิ่มเติม
ประเมินความรู้ ความเข้าใจ

Management

คำถามกลุ่มการดูแลผู้ป่วย

มักจะเป็นคำถามท้ายๆ เมื่อผู้สอบได้ข้อมูลเกือบครบถ้วนสมบูรณ์แล้ว
- การให้คำแนะนำ
- ให้คำปรึกษา
- ส่งต่อผู้เชี่ยวชาญ
- ถามอุบัติการณ์
- กลไกลการเกิดโรค
- ภาวะแทรกซ้อน หรือข้อควรระวัง
กลุ่มคำถาม recall ไม่ควรเกิน 5-10%

ขั้นตอนการสร้าง MEQ

Table of Specification

เพื่อให้การสร้างคำถาม และการให้น้ำหนักแต่ละหัวข้อการประเมินมีแนวทางชัดเจนแต่แรก จึงควรกำหนด Table of spec ก่อน ดังตัวอย่าง

คำถามที่	เวลา(นาที)	คะแนน	Competency
1……			hypotesis generation
2……			emergency management
3……			data gathering
4……			clinical reasoning

อภิปรายคำตอบที่อาจเป็นไปได้ (Possible Answer)

เนื่องจากเป็นข้อเขียน คำตอบจึงไม่ตายตัว สามารถตอบได้หลากหลายแนวทาง การร่วมกันอภิปรายคำตอบกับอาจารย์กันเองหรือแม้กระทั่งการให้กลุ่ม แพทย์ประจำบ้าน หรือแพทย์ใช้ทุนทดลองทำก่อน อาจจะเป็นตัวช่วยในการพิจารณาสร้างแนวทางคำตอบของแต่ละข้อได้

กำหนดคะแนนและเวลาสอบ

พิจารณาจากคำถาม และความยากง่ายในแต่ละคำถาม-คำตอบ ให้ลองกำหนดเวลา และคะแนนในแต่ละคำตอบว่าได้เท่าไร เพื่อใช้ประเมินเบื้องต้น

ทดลองสอบเพื่อจับเวลา

ทดลองโดยให้กลุ่มที่มีความรู้ใกล้เคียงกันมาทดลอง เช่น แพทย์ใช้ทุน แล้วลองจับเวลาทำข้อสอบ ถ้าจะต้องนำไปใช้ในกลุ่ม นักศึกษาแพทย์จะต้องเพิ่มเวลาให้อีกประมาณ 30-50% ตามความสามารถในแต่ละชั้นปี

แนวทางการให้น้ำหนักแต่ละส่วนของข้อสอบ

เป็นการให้น้ำหนักคะแนนในแต่ละส่วนที่ไม่เท่ากัน โดยพิจารณาจากความรู้ของนักเรียนในแต่ละชั้นปี ดังตัวอย่าง

Clinical competency	4th year	5th year	6 th year	Resident
Hypothesis generation	10	20	20	20
Data gathering	40	30	20	20
Hypothesis refinement	30	25	25	15
Investigation	10	10	10	10
Management	10	15	15	20
Counseling	-	-	10	15

Predetermined Answer

เป็นประเด็นสำคัญของการสร้างข้อสอบ MEQ เนื่องจาก เป็นการสร้างคำตอบไว้ล่วงหน้า เช่น

คำถามที่ 1 จงตอบมา 5 ข้อ (คะแนนเต็ม 15 คะแนน) คำตอบที่คาดหวัง จะต้องมากกว่า 5 ข้อ เช่น 6-10 ข้อ และไป weight คะแนนแต่ละข้อ

Answer checklist

Correct answer could be more than one เป็นประเด็นที่เกิดขึ้นได้ในข้อสอบข้อเขียน
List possible correct answers as much as possible
- Pilot ทดลองให้ทำข้อสอบแล้วนำผลการทำข้อสอบมาพิจารณาหาคำตอบที่เหมาะสม
- Peer review ให้อาจารย์ด้วยกันช่วยกันดูแล้วหาคำตอบที่เหมาะสม
- Brainstorm ใช้อาจารย์ หรือแพทย์แผนกต่างๆ ช่วยกันดูจะได้ครอบคลุมคำตอบที่นักศึกษาแพทย์จะตอบมากขึ้น

MEQ