Workplace Assessment

การประเมินผลในขณะปฏิบัติงาน เป็นสิ่งที่สามารถสะท้อนถึงการทำงานจริง ในสิ่งแวดล้อมที่เป็นจริง แตกต่างจากการประเมินผลโดยการจัดห้องสอบ ส่งผลให้การประเมินผลชนิดนี้มีสะท้อนทักษะการแก้ปัญหา ที่เกิดขึ้นจริงๆ

Goals of assessment

โดยทั่วไป เป้าหมายของการประเมิน โดยเฉพาะในการเรียนแพทย์ จะมีเป้าหมายหลักๆ คือ

1. ปรับความสามารถผู้เรียนให้เหมาะสม ใช้ผลการประเมินเป็นตัวกระตุ้น และสร้างแนวทางการเรียนรู้
2. ผู้ป่วยเกิดปลอดภัย ผลการประเมินเป็นตัวตัดสินว่ามีความสามารถดูแลผู้ป่วยให้มีความปลอดภัยได้หรือไม่
3. การศึกษาต่อในอนาคต ใช้ผลการประเมินเพื่อคัดเลือกผู้สมัครเข้าสู่ระบบการศึกษาต่อไป

Methods of assessment

จากภาพ Miller’s pyramid¹ ที่แบ่งเป็น 4 ระดับ การประเมินระดับ Workplace-based assessment (WPBA) จัดอยู่ในระดับชั้นสูงสุดของ Pyramid

ลักษณะแตกต่างที่สำคัญของการประเมินผลด้วยวิธี WPBA แตกต่างจากการประเมินแบบอื่นเนื่องจาก ประเมินขณะปฏิบัติงาน มีสภาพแวดล้อม หรือผู้ร่วมงานอื่นๆ ด้วย

Workplace Based Assessment (WBPA)

จากผลการศึกษาในภายหลังที่ค้นพบว่าการประเมินผลด้วยเครื่องมือการประเมินเช่น MCQ, OSCE นั้นอาจจะไม่สามารถนำไปใช้ในการปฏิบัติงานได้ เนื่องจากสาเหตุ หลักๆ เช่น

• Context สภาพแวดล้อมต่างๆ ไม่ว่าจะเป็นอุปกรณ์การทำงาน, ระบบการให้บริการ, ทีมสหวิชาชีพ
• Patient ลักษณะผู้ป่วยที่ไม่ตรงไปตรงมาตามตำรา, อาการที่ไม่เหมือนกัน รวมไปถึงการสื่อสาร
• Pressure ความกดดันต่างๆ จากสถานที่ทำงาน เช่น ปริมาณผู้ป่วย, ภาระงาน เป็นต้น

นำมาซึ่งข้อดีของการประเมิน WPBA

1. ผลการประเมินมีความน่าเชื่อถือมากกว่า (แต่ต้องออกแบบให้ดี)
2. สามารถช่วยพัฒนาการเรียนรู้ได้ดีกว่า (โดยเฉพาะ Formative assessment)
3. ให้คำแนะนำในการพัฒนาตนเองที่เฉพาะเจาะจงมากกว่า
4. เกิดปฏิสัมพันธ์ระหว่างผู้ประเมิน และผู้ถูกประเมิน

Framework (WBPA) based on observation

1. Grounds for judgement
   1. Single encounter การประเมินครั้งเดียว เช่นการสังเกตการตรวจผู้ป่วยหนึ่งคนที่ห้องตรวจ มีข้อดีคือ ผู้ประเมินจะสามารถตั้งใจประเมินในสิ่งที่ต้องการได้ แต่มีข้อเสียคือการใช้เหตุการณ์ในการประเมินเพียงแค่ครั้งเดียวจะไม่มีความแม่นยำในผลลัพธ์การประเมิน
   2. Routine performance สังเกตระยะเวลาหนึ่ง เช่นสังเกตระหว่างที่ปฏิบัติงานที่ ward ข้อดีคือช่วบลดปัญหาการประเมินจากสถานการณ์เดียว แต่จะสร้างปัญหาคือผู้ประเมินบางครั้งให้การประเมินในด้านของความสามารถที่พวกเขาไม่ได้สังเกตเห็น
2. Nature of the judgment ผู้ประเมินมักจะถูกขอให้ประเมินสิ่งเหล่านี้
   1. Occurrence ได้ปฏิบัติหรือไม่, มีหรือไม่มี จะเป็นรูปแบบ checklist
   2. Quality ทำได้ดีเพียงใด จะเป็นรูปแบบ rating scale
   3. Fitness or suitability เหมาะสม/ผ่าน หรือไม่ รูปแบบการประเมินคือ ผ่านหรือตก
3. Dimension of assessment ด้านต่างๆ ที่สามารถประเมินได้
   1. Clinical knowledge and skills ความรู้ทางคลินิก
   2. Practical skills การปฏิบัติ หรือทักษะที่จะประเมิน
   3. Professional behavior พฤติกรรมต่างๆ ระหว่างการถูกประเมิน
   4. Interpersonal skill and judgement ทักษะการทำงานร่วมกับวิชาชีพอื่นๆ

Common WPBA Tools

เครื่องมือที่ใช้ในการประเมินในรูปแบบ WPBA มีหลากหลายสามารถแบ่งได้ตามรูปแบบการประเมิน เช่น

• Direct observation of practice Mini-CEX, DOPS, OCAT
• Multi-source feedback (MSF) Mini-PAT, PSQ
• Chart-stimulated recall CbD

Mini-CEX

เป็นคำที่ย่อมาจาก Mini-clinical evaluation exercise ซึ่งเป็นการประเมินโดยที่ผู้ถูกประเมินจะต้องอยู่ภายใต้สถานการณ์ที่ปฏิบัติงานจริง ในสถานที่ปฏิบัติงาน โดยมีวัตถุประสงค์เพื่อให้ Feedback จากสิ่งที่ผู้ประเมินสังเกตได้ ส่วนใหญ่มักใช้ในการประเมิน Formative เพื่อให้ผู้เรียนได้เกิดการพัฒนาเรื่องการเรียน และไม่สามารถนำผลการประเมินมาเปรียบเทียบกับผู้เรียนที่อยู่คนละหลักสูตรได้

ขั้นตอนการประเมิน

มักจะไม่เกิน 20 นาที มีขั้นตอนหลักๆ 3 ขั้นตอน

1. Observe ขั้นตอนนี้จะรวมกับขั้นตอนที่ 2 คือผู้ประเมินเป็นผู้สังเกตการณ์โดยจะต้องไม่เข้าไปยุ่งเกี่ยวใดๆ ทั้งสิ้น
2. Perform เช่นเดียวกับขั้นตอนแรก ผู้ประเมินจะต้องไม่เข้าไปยุ่งเกี่ยวในการกระทำของผู้ถูกประเมิน โดยรวมทั้งสองขั้นตอนจะประมาณ 15 นาที (ยกเว้นกรณีดูแล้วจะเกิดอันตรายกับผู้ป่วย)
3. Feedback ผู้ประเมินให้คะแนน และให้ Feedback เกี่ยวกับสิ่งที่เกิดขึ้นกับผู้ถูกประเมิน (5 นาที)

ข้อดี

• ประเมิน outcome ที่เกิดขึ้นจริง
• มีการให้ Feedback แก่ผู้รับการประเมิน
• สามารถวางแผนการเรียนรู้เพิ่มเติมเพื่อให้เกิด outcome ที่ต้องการ

ข้อจำกัด

• จัดการประเมินได้ยาก เพราะต้องหาผู้ป่วย 1 : 1 (ใช้จำนวนมาก)
• การใช้เฉพาะ Mini-CEX อาจจะทำให้ผู้รับการประเมินไม่สามารถแสดงการทำ Complete History & Physical examination

DOPS

Directly observed practical skills คล้ายกับ Mini-CEX แต่จะเน้นดูเฉพาะการทำหัตถการต่างๆ

ข้อดี

• ได้ประเมินจากผู้ปฏิบัติงานจริง
• เห็น Interaction ระหว่างผู้ป่วย และผู้เกี่ยวข้องต่างๆ เช่น พยาบาล ผู้ช่วย เป็นต้น
• สามารถสังเกตได้ทุกหัตถการตั้งแต่หัตถการอย่างง่าย ไปจนหัตถการที่มีความซับซ้อน
• สามารถให้ Feedback สิ่งที่เกิดขึ้นได้ทันที เพื่อให้ผู้ถูกประเมินไปปรับปรุงแล้ว มาสอบอีกครั้ง

ข้อจำกัด

• การหาทรัพยากรที่เหมาะสมคือ ผู้ป่วย และหัตถการที่ต้องการประเมิน อาจจะต้องใช้โอกาส และเวลามาก
• ต้องการเวลาที่เหมาะสม บางหัตถการจะต้องใช้เวลานาน

OCAT

The Ottawa Clinic Assessment Tool เกิดการพัฒนาขึ้นมาจากการประเมินแพทย์ประจำบ้านศัลยกรรมที่ออกตรวจผู้ป่วยทั่วไป ใช้เป็นระดับค่าความเชื่อมั่น (Entrustment scale)

ตัวอย่าง Entrustment scale

1. I had to do.
2. I had to talk them through.
3. I had to direct them from time to time.
4. I needed to be available just in case.
5. I did not need to be there.

CbD

Chart-stimulated recall ถูกใช้ประเมินในการสอบแพทย์ประจำบ้านสาขาเวชศาสตร์ฉุกเฉินในอเมริกา ส่วนในฝั่ง UK จะเรียกว่า Case-based discussion สามารถประเมินได้ดีโดยเฉพาะ Clinical reasoning ผ่านการแสดงออกของทักษะ Decision making, Clinical assessment เป็นต้น

ขั้นตอน

ให้ผู้ถูกประเมินเลือก case ผู้ป่วย 2 รายแล้ว ผู้ประเมิน เลือกมา 1 ราย เพื่อประเมินเฉพาะด้านใดด้านหนึ่งที่เกิดขึ้นแล้ว โดยใช้เวลาไม่เกิน 20 นาที (รวมระยะเวลา Feedback 5 นาที)

ข้อดี

• ประเมินทักษะ Decision making ได้
• ประเมินทักษะระดับสูงได้ (Application)
• สามารถอภิปรายเพิ่มเติมเรื่องอื่นๆ เช่น Ethic เป็นต้น
• ผู้ประเมินสามารถประเมินทักษะการบันทึกเวชระเบียน และการรายงานผู้ป่วย

ข้อจำกัด

• ขาดการสอนผู้ประเมินในวิธีการประเมินนี้
• ขาดการประเมิน Process

MSF

Multi-sources feedback เป็นการประเมินโดยผู้ประเมินที่เกี่ยวข้องหลากหลาย เช่น พยาบาล เพื่อนร่วมงาน ผู้ป่วย รุ่นพี่ รุ่นน้อง การประเมินไม่ควรจะเปิดเผยตัวตนและมักจะทำผ่านแบบสอบถาม ในที่สุดนักศึกษาแพทย์จะได้ข้อมูลสะท้อนกลับระหว่างการทำงาน เพื่อให้พัฒนาได้ดีขึ้น

ชื่ออื่นๆ ของการประเมินประเภทนี้ เช่น peer-rating tool (mini-PAT), Patient satisfaction questionnaires (PSQs)

ขั้นตอน

• สร้างแบบสอบถาม (Structured question)
• ให้ผู้มีส่วนเกี่ยวข้องประเมินผ่านแบบสอบถาม
• รวบรวมแบบสอบถาม รวมทั้งให้นักศึกษาผู้ถูกประเมิน ได้ประเมินตนเอง
• ให้ Feedback

ข้อดี

• ได้ข้อมูลจากผู้ที่มีส่วนเกี่ยวข้อง
• Feedback ที่ได้รับจะได้มุมมองที่แตกต่างออกไปในผู้ประเมินแต่ละคน
• สร้างความตระหนักในความสามารถของผู้ถูกประเมิน
• Feedback จะมี Validity สูงกว่าเพราะถูกเก็บมาจากหลายตัวอย่าง

ข้อจำกัด

• อาจจะไม่ได้รับความเห็นที่แท้จริง
• ผู้ประเมินแต่ละคนอาจเกิดความเครียดจากการต้องประเมิน
• ผู้ถูกประเมินอาจจะไม่ได้สนใจผลการ Feedback

WPBA Portfolio

การใช้ Portfolio เพื่อเป็นแหล่งรวบรวมข้อมูลว่าทำอะไรไปแล้วบ้าง WPBA จึงเป็นส่วนหนึ่งของ portfolio ซึ่งการประเมิน portfolio จะต้องมีผู้ประเมินหลายคน

ตัวอย่าง Components

Section 1 : Educational experiences of the trainee
• procedure and patient logs
• participation in didactic sessions
• clinical rotations
• research papers
• critical incidents
Section 2 : Results of workplace‐based assessments plus scores on written knowledge examinations
Section 3 : Trainee’s reflections on their educational experiences and ongoing self‐appraisal
Section 4 : might contain all of the sign offs necessary to support a decision about the trainee’s promotion

Challenges in WPBA

ความท้าทายสำคัญคือ ผู้ได้รับการประเมินต้องมีประสบการณ์การทำมาก่อน เพื่อป้องกันอันตรายกับผู้ป่วย

Reliability

สามารถเพิ่มความน่าเชื่อถือได้ด้วย จำนวนครั้ง, จำนวนผู้ประเมิน, และสิ่งที่ประเมิน

Equivalence

ผู้ถูกประเมินจะต้องได้รับการประเมินเหมือนๆ กัน หรือผุ้ประเมินจะต้องประเมินด้วยมุมมองเหมือนกัน

Bias

การใช้ WPBA ทำให้เกิดอคติส่วนตัวหลายๆ อย่างเช่นความสัมพันธ์ระหว่างผู้ประเมิน หรือระยะเวลา เป็นต้น สามารถหลีกเลี่ยงโดยการต้องรู้ทันอคติที่เกิดขึ้น หรือเลี่ยงไปใช้ผู้ประเมินภายนอก

Entrustable Professional Activity (EPA)

เป็นความเชื่อมั่นว่าจะทำกิจกรรมใดๆ ได้ มีการใช้ในหลายสาขา โดยในทางการแพทย์จะเป็นการประเมินเรื่องของ Competency หลายๆ ด้าน มีการใช้งานเช่น การประเมินทักษะทางคลินิกโดยแพทยสภา การใช้ EPA จะต้องประเมินขึ้นอยู่กับชั้นปี บริบท สาขา

Level of EPA

Level 1 : Not allowed to practice Level 2: Practice with full supervision Level 3: Practice with supervision on demand Level 4: Unsepervision practice allowed Level 5: Supervision task may be given

Footnotes

1. MILLER’S PYRAMID OF CLINICAL COMPETENCE ↩