Clinical Reasoning

ความผิดพลาดในการวินิจฉัยโรค เป็นปัญหาที่สำคัญซึ่งมักถูกมองข้าม หรือไม่ได้รับการพูดถึง ทำให้เกิดปัญหาต่างๆ ต่อเนื่องตามมามากมาย

Diagnostic Error

the failure to establish an accurate and timely explanation of the patient’s health problem(s) or communicate that explanation to the patient.

จากการนิยามดังกล่าวโดย National Academy of Medicine ในปี ค.ศ. 2015¹ Diagnostic error จะหมายถึง ความล้มเหลวที่จะสร้างความแม่นยำ รวดเร็วในการอธิบายปัญหาของผู้ป่วย หรือสื่อสารสิ่งที่จะอธิบายกับผู้ป่วย

ปัญหาการให้การวินิจฉัยผิดพลาดนี้ เป็นสาเหตุที่ทำให้เกิดการรักษา หรือให้การรักษาล่าช้า จนอาจจะสร้างปัญหาไปถึงการเสียชีวิตของผู้ป่วยได้ จากการประมาณการในประเทศสหรัฐอเมริกาถึงสาเหตุของการเสียชีวิตพบว่า การเสียชีวิตที่มีสาเหตุมาจาก Medical Error จัดเป็นสาเหตุอันดับที่ 3 ของสาเหตุการเสียชีวิตทั้งหมด²

Causes of death, US, 2013 รูปภาพจาก²

Factors to Diagnostic error

จากข้อมูลที่ตีพิมพ์ในวารสารเมื่อปี 2005 เรื่อง Diagnostic Error in Internal Medicine³ พบว่าสามารถแบ่งปัจจัยที่ก่อให้เกิดการวินิจฉัยที่ผิดพลาดได้ 4 กลุ่มตามภาพ

The categories of factors contributing to diagnostic error in 100 patients.

No-Fault error ทำดีแค่ไหนก็ผิดพลาดแน่ๆ ไม่ว่าใครมาทำก็จะเกิดความผิดพลาด
System-related error เกิดจากปัญหาเชิงระบบ สามารถนำมาวิเคราะห์ และแก้ไขได้ง่าย เนื่องจากไม่กระทบความผิดของตัวบุคคลมากนัก
Cognitive error ความเข้าใจที่ผิดพลาด หมายถึงทั้งส่วนที่เป็นความรู้และไม่ใช่ความรู้
Both system-related and cognitive factors เกิดจากปัญหาทั้งสองอย่างข้างต้น

ตัวอย่างปัจจัยที่เกี่ยวข้องกับเชิงระบบ

Inefficient process ปัญหาของขั้นตอนต่างๆ ในการวินิจฉัยในเชิงบริหารจัดการ ยกตัวอย่างเช่นการจะวินิจฉัยโรคที่ยากซับซ้อน จะต้องมีการตรวจเพิ่มเติมบางอย่างที่ไม่สามารถกระทำได้โดยทั่วไป ต้องมีการส่งห้องปฏิบัติการที่มีศักยภาพส่งผลให้เกิดความล่าช้าในการวินิจฉัย หรือแม้กระทั่งการที่ไม่สามารถวินิจฉัยได้
High workload ภาระงานที่มากเกินไปย่อมทำให้เกิดปัจจัยที่ส่งผลต่อการวินิจฉัยที่ผิดพลาดได้
Inadequate handoff ธรรมชาติของการดูแลผู้ป่วยต่อเนื่องจะต้องมีการส่งต่อข้อมูลผู้ป่วยไปยังผู้ดูแล เช่นการส่งเวร ปัญหานี้จึงเกิดจากการส่งเวรที่ไม่ดี ข้อมูลไม่เพียงพอหรือแม้กระทั่ง ไม่มีการส่งเวร
Insufficient resources อุปกรณ์ในการทำงานไม่พอ เช่น แพทย์ต้องการดูภาพรังสีประกอบการวินิจฉัยในหอผู้ป่วย แต่หอผู้ป่วยมีคอมพิวเตอร์ไว้ให้ใช้งานไม่เพียงพอ ส่งผลทำให้แพทย์อาจจะเลือกที่ไม่ดูภาพรังสีนั้นแล้วทึกทักเอาเองว่าปกติ จนนำไปสู่การวินิจฉัยที่ผิดพลาด หรือล่าช้าได้
Non-handoff communication error การสื่อสารผิดพลาด

Cognitive factors

ปัจจัยด้าน ความรู้ความเข้าใจนี้ ส่วนใหญ่มักจะเกิดจากการใช้ข้อมูล ไม่ว่าจะเป็นการได้รับข้อมูลไม่เพียงพอ ผิดพลาด หรือการตรวจสอบข้อมูลไม่ครบถ้วน เช่น

Inadequate information verification การตรวจสอบข้อมูลไม่ครบถ้วน เช่น ญาติให้ประวัติมา แพทย์ก็เชื่อไปตามนั้น ทั้งๆ ที่ญาติอาจจะให้ข้อมูลไม่ถูกต้อง
Flawed information processing มีข้อบกพร่องในกระบวนการรวบรวมข้อมูล เช่นข้อมูลไม่ครบ สูญหาย หรือผิด
Insufficient data gathering ขอข้อมูลมาไม่เพียงพอ เช่น ซักประวัติไม่ครบ หรือตรวจร่างกายไม่ครบถ้วน
Faulty knowledge ขาดความรู้ (ปัจจัยนี้พบเจอได้น้อย)

Goals for improving diagnosis/ Reducing diagnostic error

จากหนังสือ Improving Diagnosis in Health care⁴ สรุปสิ่งที่จะทำให้บรรลุเป้าหมายในการพัฒนาการวินิจฉัย หรือลดการวินิจฉัยผิดพลาดได้ดังนี้

Facilitate more effective teamwork in the diagnostic process among health care professionals, patients, and their families
Enhance health care professional education and training in the diagnostic process
Ensure that health information technologies support patients and health care professionals in the diagnostic process
Develop and deploy approaches to identify, learn from, and reduce diagnostic errors and near misses in clinical practice
Establish a work system and culture that supports the diagnostic process and improvements in diagnostic performance
Develop a reporting environment and medical liability system that facilitates improved diagnosis by learning from diagnostic errors and near misses
Design a payment and care delivery environment that supports the diagnostic process
Provide dedicated funding for research on the diagnostic process and diagnostic errors

โดยสรุปคือจะต้องมีการสร้างวัฒนธรรมที่มุ่งเป้าหมายเพื่อลดการวินิจฉัยผิดพลาดและพัฒนาการวินิจฉัย โดยต้องอาศัยทั้ง ความร่วมมือระหว่างสหวิชาชีพ การใช้เทคโนโลยีสารสนเทศ การฝึกสอนและอบรม การให้ทุนสนับสนุนงานวิจัยที่เกี่ยวข้อง และเมื่อเกิดความผิดพลาดขึ้น ควรจะมีระบบรายงาน และนำความผิดพลาดที่เกิดขึ้นมาเรียนรู้ร่วมกันเพื่อการพัฒนา

Diagnosis and Clinical reasoning

การให้การวินิจฉัยจำเป็นต้องมีการให้เหตุผลประกอบการวินิจฉัย หรือก็คือการทำ Clinical reasoning รูปแบบหนึ่ง เพราะฉะนั้นจึงมีความสัมพันธ์กันอย่างยิ่งระหว่างการวินิจฉัย และการให้เหตุผลทางคลินิก

What is Clinical Reasoning

The thought process that guides practice - (Rogers, 1982)

อาจจะใช้ Term ใกล้เคียงแทนกันเช่น clinical judgment, problem solving, decision making and critical thinking

จากงานวิจัยที่ผ่านมาจะพบว่า Clinical reasoning ไม่ได้ถูกนำมาสอนอย่างเป็นรูปแบบ หรือเป็นรูปธรรม ส่วนใหญ่ผู้เรียนจะต้องพัฒนาทักษะนี้ขึ้นมาเอง ซึ่งส่งผลให้ผู้เรียนบางคนอาจจะพัฒนาทักษะนี้มาได้ไม่ดีนัก⁵ จึงควรจะมีการสอนทักษะนี้อย่างเป็นรูปธรรม ให้เกิดการพัฒนาและนำมาใช้ได้อย่างถูกต้อง

Clinical reasoning เมื่อลงในรายละเอียดจะสามารถแบ่งออกได้เป็น Diagnostic reasoning และ Management reasoning โดยส่วนใหญ่จะมีการพูดถึง Management reasoning เพราะมีความชัดเจนมากกว่าในการเรียนการสอน เช่นการให้เหตุผลในการวินิจฉัย และการให้การรักษา ซึ่งส่วนใหญ่จะเป็นการ Prioritization เพื่อจัดสรรทรัพยากรในการเลือกการส่งตรวจ หรือให้การรักษา เช่นการเลือกที่จะส่งตรวจเพิ่มเติมแต่ต้องใช้ระยะเวลานาน และค่าใช้จ่ายเพิ่มขึ้น หรือให้การรักษาไปเลย แต่ยาจะใช้ได้จำกัดเป็นต้น แตกต่างอย่างชัดเจนกับ Diagnostic reasoning เพราะเป็นการ Classification เพื่อค้นหาการวินิจฉัยจาก อาการ อาการแสดง หรือผลการตรวจอื่นๆ

Diagnostic reasoning process

จากภาพ Key Elements of the Clinical Diagnostic Reasoning Process. ข้างต้น จะเห็นว่านอกจากกระบวนการการให้เหตุผลประกอบการวินิจฉัยที่มีขั้นตอนแล้ว ยังมีส่วนประกอบภายนอกอีก 3 ส่วนหลักๆ ที่แต่ละคนจะแตกต่างกันคือ ความรู้ (Knowledge), บริบท (Context), ประสบการณ์ (Experience) ซึ่งส่งผลให้กระบวนการที่เกิดขึ้นภายในวงกลมแตกต่างกัน เช่น นักศึกษาแพทย์ อาจจะมีองค์ประกอบทั้ง 3 ส่วนเพียงเล็กน้อย การทำตามกระบวนการเช่นเดียวกับอาจารย์แพทย์ที่มีทั้ง 3 องค์ประกอบมากกว่า จะเกิดความแตกต่างอย่างชัดเจน ในทุกขั้นตอนจนถึงขั้นตอนการวินิจฉัย⁶

Problem list

ในช่วงแรกที่มีการเสนอใช้ Problem list เป็นลักษณะการนำมาใช้เพื่อวัตถุประสงค์ทางด้านการรักษา (Management purpose) เพราะฉะนั้นเมื่อนำไปใช้ในด้านการวินิจฉัย (Diagnostic purpose) ย่อมมีวิธีการเขียนที่แตกต่างกัน ในรายละเอียดเพราะมีวัตถุประสงค์ที่ต่างกัน

	Management purpose	Diagnostic purpose
Medical terms	Concise	Concise, Informative
Duration	No	Yes
Aggregated	Yes	Yes
Order by	Importance	Chronology

Semantic Qualifier สิ่งจำเป็นอีกสิ่งหนึ่งที่จะต้องมีการระบุใน Problem list เพื่อการวินิจฉัย เพราะจะระบุลักษณะเฉพาะเจาะจงกับโรคต่างๆ ได้ดี ตัวอย่าง semantic qualifier

Acute/Subacute - Chronic
Localized - Diffuse
Single - Multiple
Static - Progressive
Constant - Intermittent
Single Episode - Recurrent
Abrupt - Gradual
Severe - Mild
Painful - Nonpainful
Bilious - Nonbilious
Sharp/Stabbing - Dull/Vague
Ill-appearing/Toxic - Well-appearing/Non-toxic
Localized problem - Systemic problem
Acquired - Congenital
New problem - Recurrence of old problem

ตัวอย่างการเขียน Problem List แบบมีระยะเวลา และเรียงตามลำดับเวลา เปรียบเทียบกับเรียงตามความสำคัญ

	By Importance	By Chronology
1	Respirator failure	Productive cough 1 week
2	Dyspnea 2 days	High grade fever 3 days
3	High grade fever 3 days	Dyspnea 2 days
4	Productive cough 1 week	Respiratory failure

การเขียน Problem list เพื่อการวินิจฉัยจะต้องอาศัยการเรียงตามลำดับเวลา ส่วน การเขียนเพื่อการวางแผนการรักษาจะต้องเรียงตามความสำคัญ

Dual Thinking Theory

จากหนังสือ Thinking fast and slow ของ Daniel Kahneman กล่าวถึงระบบการคิดของสมองมนุษย์ที่แบ่งเป็น 2 ระบบคือ Fast และ Slow ซึ่งมนุษย์จะใช้ทั้งสองระบบนี้ในการใช้ชีวิตอยู่เป็นประจำ เช่นการขับรถเราสามารถที่จะขับรถไปได้เลยถ้าเราขับได้คล่องแล้วโดยแทบไม่ต้องคิดว่าจะทำอะไร แต่สำหรับคนที่ฝึกขับรถใหม่ๆ อาจจะต้องทบทวนค่อยๆ คิดพิจารณาก่อนที่จะออกรถ เป็นลักษณะที่แตกต่างกัน ส่งผลให้เกิดภาวะ Cognitive Load ตามมา เพราะฉะนั้นไม่มีทางที่มนุษย์จะสามารถคิดแบบ Slow ได้ทั้งหมด

เมื่อลองนำทฤษฏีนี้มาใช้กับการให้เหตุผลทางการแพทย์ จะพบว่าแยกเป็นสองระบบคือ Non-analytic (Fast) และ Analytic (Slow)

Fast Thinking (System I)

Non-analytic

Pattern recognition
First impression
Procedural memory

ตัวอย่างวิธีคิดแบบ Fast Thinking โดยใช้ Patter recognition

ไข้ ไอ หอบ = Pneumonia

Slow Thinking (System II)

Analytic

Framework
Basic Science
- Anatomy
- Organ
- Pathophysiology
- Etiology (infection, trauma, tumor, metabolic, congenital)
Mnemonics
- BIGSCALP
- HEARTPMI

ตัวอย่างวิธีคิดแบบ Slow Thinking โดยใช้ Algorithm

รูปภาพจาก Diagnosing Acute Monoarthritis in Adults: A Practical Approach for the Family Physician⁷

Slow vs Fast Thinking

เมื่อนำมาเปรียบเทียบกันจะพบว่ามีประโยชน์กันคนละด้านการใช้ Slow Thinking ที่มากเกินไป อาจจะทำให้เกิดภาวะ Cognitive Load สมองอ่อนล้า ตรวจผู้ป่วยไม่ทัน แต่หากใช้แต่ Fast Thinking จะทำให้ไม่สามารถวินิจฉัยโรคที่ไม่เคยพบ มีความซับซ้อน หรือพลาดในบางประเด็นไปได้

จากภาพจะเห็นว่ามีการใช้ทั้งสองกระบวนการในการคิดเพื่อให้เหตุผลสู่การวินิจฉัยโรค เริ่มจากเมื่อได้ข้อมูลผู้ป่วยมาแล้ว หากพบ Pattern ที่ชัดเจนหรือเคยตรวจทำความเข้าใจมาก่อน (สร้าง Illness script) สามารถใช้ System I ในการวินิจฉัยได้รวดเร็วมากขึ้น แต่ต้องอยู่บนพื้นฐานที่ผู้ให้การวินิจฉัยรู้ตัวทัน กรณีไม่แน่ใจจะต้องปรับไปใช้ระบบการคิดแบบ System II ทันทีเพื่อลดความอคติจากการวินิจฉัยทีเกิดขึ้นจาก System I เมื่อคิดรวมกันทั้งสองวิธีนี้แล้วนั้นจะทำให้การวินิจฉัยสมบูรณ์มากยิ่งขึ้น ⁸

Good Fast คือจะต้อง ไม่มีอคติ แต่จะมี “เอ๊ะ” เพื่อเปลี่ยนไปเป็น slow thinking ห้ามปล่อยผ่าน

สิ่งที่จะทำให้เกิดความผิดพลาดจากการใช้ วิธีการคิดแบบ Fast คือ Heuristic ซึ่งจะมีลักษณะคล้าย Bias (อคติ) ที่เกิดจากรูปแบบ (Pattern) ที่เราใช้ประจำในการทำอะไรสักอย่างเช่น ขับรถออกจากบ้าน เป็นตัวช่วยให้สมองทำงานได้อย่างมีประสิทธิภาพ เพราะสมองไม่สามารถทำ Analytical thinking ได้ทุกอย่าง แต่ต้องระวังเพราะ Expert เมื่อใช้ Heuristic มากๆ จะมีโอกาสพลาดได้

6 Reasoning bias

Anchoring bias ใช้ข้อมูลแรกเท่านั้น อาจจะเป็นข้อมูลที่ไม่ถูกต้อง ไปใช้
Confirmation bias หาแต่สิ่งที่จะมาสนับสนุนการวินิจฉัย ไม่หาข้อมูลมาหักล้าง
Availability bias เช่น ช่วงนี้มีแต่ COVID-19 ก็จะวินิจฉัยเคสอาการคล้ายๆ กันเป็นแบบนั้น
Search satisfying หยุดหาข้อมูลอื่น เพราะได้สิ่งที่ต้องการวินิจฉัยแล้ว
Diagnosis momentum มีวินิจฉัยจาก staff คนอื่นมาก่อน เพราะ lead มาก่อน
Ambiguity effect แนวโน้มจะวินิจฉัยตามโรคที่รู้ความน่าจะเป็น มากกว่าโรคที่ไม่รู้ความน่าจะเป็น

จากวิธีการคิดดังกล่าวข้างต้น จึงไม่สามารถหลีกเลี่ยงได้เลยที่จะห้ามนักศึกษาแพทย์คิดแบบวิธีที่ 1 ในช่วงแรกนักศึกษาแพทย์อาจจะยังไม่สามารถใช้วิธีคิดแบบวิธีที่ 1 ได้ดีนักเพราะขาดลักษณะที่เรียกว่า Pattern แต่เมื่อมีประสบการณ์มากขึ้นจะมีการสร้างสิ่งที่เรียกว่า Illness script ขึ้นมาเองในแต่ละคน เพื่อมาจับ Pattern ที่เกิดจากผู้ป่วยนำไปสู่การวินิจฉัยโดยใช้วิธีที่ 1 (Fast Thinking) เพราะฉะนั้นจึงควรจะมีการสอนนักศึกษาแพทย์ถึงวิธีการสร้าง Illness script และการรู้เท่าทันตนเองเกี่ยวกับวิธีการคิด System I และ System II

Illness script

An illness script is an organized mental summary of your knowledge of a disease. It can be called up from memory almost instantaneously when you recognize a familiar pattern of signs and symptoms.⁹

หรืออีกตัวอย่างความหมายคือ “A Clinician’s collection of knowledge and experiences of a particular disease or syndrome the mind’s file, or “Wikipedia Page” for any given illness.

ความหมายคล้ายคลึงกัน คือจะต้องมีการสร้างไว้ก่อนเป็นลักษณะรูปแบบที่ชัดเจน และเมื่อเจอผู้ป่วยที่มีรูปแบบที่คล้ายคลึงกันจะสามารถนำมาใช้ได้ทันที

ส่วนประกอบของ Illness script

จะต้องมี 4 องค์ประกอบหลักๆ คือ

Epidemiology
Temporal (Time course)
Syndrome
Pathophysiology

ตัวอย่างการสร้าง Illness script เรื่องอาการปวดข้อ

Illness script	Gout	Pseudo-gout	Septic arthritis
Epidemiology
Temporal
Syndrome
Pathophysiology

Problem representation

“A one-sentence summary of the most relevant clinical data” จะต้องเขียนออกมาเป็น Paragraph เดียวกันทั้งหมด เป็นสิ่งสำคัญที่ไป Activate illness script

จะต้องสามารถตอบคำถามเหล่านี้

Who is this patient (Pertinent demographics and past medical history)
What is the syndrome (Key signs/symptoms)
What is the time course (Duration and tempo)

เมื่อสังเกตจากองค์ประกอบของ Problem representation จะพบว่ามี 3 ส่วนหลักๆ คือ Epidemiology, Syndrome statement และ Time course ซึ่งมีลักษณะใกล้เคียงกับองค์ประกอบของ illness script เป็นอย่างมากที่มีส่วนประกอบเพิ่มเติมมาอีกอย่างหนึ่งคือ Pathophysiology เพราะฉะนั้นสิ่งสำคัญที่จะต้องทำเพื่อให้เกิดการ Activate illness script ข้างต้นคือ ต้องพยายามให้เกิดลักษณะของ Problem representation ไม่ใช่ problem list

ตัวอย่าง Problem representation

A 65-year-old male with underlying uncontrolled hypertension presents with right hemiparesis for 3 hours.

A 10-year girl, previous healthy presented with acute febrile illness for 4 days with seen pethichiae both legs.

Making a diagnosis

เมื่อนำทฤษฏีต่างๆ ข้างต้นมาประกอบกันจะเกิดกระบวนการการวินิจฉัยขึ้นตามขั้นตอนคือ

Case Presentation
Problem Representation
Activation of Illness Scripts
Comparison of Scripts
Additional Testing/Special Procedures

เมื่อมาถีงขั้นที่ 5 หากยังไม่ได้การวินิจฉัยหรือยังไม่แน่ใจจะมีการย้อนกลับไปยังขึ้นตอนที่ 2 ใหม่อีกครั้ง

ในขั้นตอนที่ 3 Activation of Illness Scripts จะเกิดกระบวนการที่เรียกว่า “Compare-Contrast and Prioritization” โดยนำปัญหา (Problem Representation) มาจับกับ Illness Script ต่างๆ ที่ได้สร้างไว้ล่วงหน้า เพื่อค้นหา Illness script ที่ดีที่สุดในการนำไปใช้ หากไม่สามารถหาได้จะต้องเปลี่ยนเป็นวิธีการคิดแบบ Slow Thinking (System II) เพื่อวิเคราะห์ใหม่ตั้งแต่ต้น

How to Develop and Improve illness script

จากข้อมูลข้างต้นการสร้าง Illness scipt หากมีปริมาณมากจะยิ่งเป็นผลดี เมื่อนำมาประกอบการทำงานจะสามารถทำงานได้รวดเร็วและแม่นยำมากขึ้น โดยวิธีการสร้าง Illness script สำหรับนักศึกษาแพทย์จะประกอบด้วยสิ่งต่างๆ ดังนี้

See patients as many as possible ได้เห็นผู้ป่วยหลากหลายรูปแบบ สำคัญสำหรับการนำมาจับกับ Illness script
Read textbooks, attend lectures, join case discussion สิ่งสำคัญเพราะคือพื้นฐานความรู้ที่จำเป็นสำหรับนำไปสร้าง Illness script
Reflection เป็นการตรวจสอบสิ่งที่ตัวเองสร้างขึ้นมา
Reason aloud ในขั้นตอนนี้อาจารย์จะช่วยนักศึกษาแพทย์ได้ดี โดยอาจารย์จะต้องให้เหตุผลที่ชัดเจนประกอบการวินิจฉัย
Get feedback ตรวจสอบข้อมูลของนักศึกษาแพทย์หลังจากการเรียนการสอนเพื่อความถูกต้อง

How to assess clinical reasoning

ในแรกเริ่มเดิมทีช่วงยุค 60s ถึง 70s จะถือว่าเรื่อง Clinical reasoning เป็นบุคลิกส่วนตัว จึงยังไม่ได้รับการประเมินอย่างเป็นรูปธรรม ในระยะหลังเมื่อเริ่มเกิดความตระหนักถึงความสำคัญของการใช้ Clinical reasnoning เริ่มมีการใช้ MEQ มาร่วมประเมินในส่วนนี้ แต่ปัญหาใหญ่ของการใช้ MEQ คือเรื่อง Validity

เมื่อการสอบ MEQ เกิดปัญหาเรื่อง Validity จึงเกิดการพัฒนาการประเมินมาเป็นลักษณะการทำ Clinical reasoning เป็นรูปแบบ ward round หรือการสอบ Oral Examination

เราสามารถประเมินทักษะด้าน Clinical reasoning ได้หลากหลายระดับ ตาม Miller’s pyramid of clinical competency แต่อาจจะประเมินระดับล่างสุด Knows ไม่ได้ จะต้องเริ่มจากระดับ Knows How ขึ้นไปจนถึง Does ตามระดับและเครื่องมือการประเมินแต่ละระดับ

การประเมินเรื่องของ Clinical reasoning ควรประเมินเพื่อการพัฒนา (Assessment for Learning) ส่งเสริมให้นักศึกษาแพทย์สามารถมีทักษะในการทำ Clinical reasoning ได้ดียิ่งขึ้น

Challenges in clinical reasoning assessment

Difficult scoring วิธีการให้คะแนนยาก ไม่ว่าจะใช้เครื่องมืออะไรในการประเมิน
Poor correlation from one problem to the other ปัญหา 1 เชื่อมไปอีกปัญหาหนึ่งไม่ได้เลย
Content specificity เนื้อหาที่จะประเมินจะมีความจำเพาะ
High correlation between reasoning score and knowledge score มีความสัมพันธ์ระหว่างคะแนนการให้เหตุผลทางคลินิกและความรู้
Hardly differentiate novice from expert ประเมินแยกยากระหว่าง Novice และ Expert

How can we assess

การประเมินการให้เหตุผลทางคลินิกจะต้องใช้เครื่องมือในการประเมินหลายเครื่องมือ ไม่ว่าจะเป็น MCQ,MEQ,CRQ หรือ Script concordance หรืออีกวิธีจะเป็นการประเมินขณะที่มีการปฏิบัติงานเช่น Ward round ซึ่งสามารถประเมินได้ทุกขั้นตอน ไม่จำเป็นต้องเป็นแบบ Factual knowledge การสอบ Oral Examination ถือเป็นอีกหนึ่งทางเลือกที่สามารถประเมินได้ดีเพราะสามารถสอบถามเหตุผลได้

จากข้อจำกัดต่างๆ และวิธีการประเมินที่หลากหลาย จึงมีการเสนอวิธีการทำการทดสอบ Clinical Reasoning ด้วยการใช้ Script concordance test เนื่องจากเหมาะกับการทำใน Case ที่มีความกำกวม ไม่แน่ใจใน สถานการณ์ต่างๆ การต้องให้เหตุผลที่เหมาะสม อีกทั้งมีความน่าเชื่อถือเนื่องจากต้องใช้ผู้ประเมิน (Assessor) ในการทำแบบทดสอบหลายท่าน¹⁰

Script Concordance Test

หลักการคือ เป็นลักษณะของ Case-based หรือ Scenarios สั้น ๆ และโจทย์หรือคำถามจะเกี่ยวกับเรื่องที่ไม่แน่ใจ มีความกำกวมทั้งในการ Investigation และ Management

จากภาพจะเห็นว่า SCT มีการใช้ Clinical reasoning ในกระบวนการต่างๆ ตั้งแต่ Hypothesis generation, Data collection และ Hypothesis evaluation ¹¹

ตัวอย่างของ Script Concordance Test

Example of case from the investigation section of an SCT.

จากตัวอย่าง SCT (Script Concordance Test) จะมี 4 องค์ประกอบหลักๆ คือ

Case Description ต้องมี บริบท สถานการณ์ หรือเหตุการณ์สั้นๆ มีรายละเอียดประกอบการตัดสินใจในขั้นตอนต่อไป
Investigative Action ในกรณีเป็นการเลือกส่งตรวจ จะมีรายการส่งตรวจที่ไม่แน่ใจหรือกำกวมว่าจะส่งดีหรือไม่
New information เหตุผลประกอบ หรือผลลัพธ์ที่จะตามมา เพื่อประกอบการตัดสินใจ
5-Anchor Likert-type scale ตัวเลือกลักษณะ เป็นคะแนน (Likert Scale) เพื่อให้ตอบว่าเห็นด้วยหรือไม่เห็นด้วย

หลักการออกแบบข้อสอบ SCT

Multiple scenario-based questions with uncertainty situation scenario ต้องไม่ตรงไปตรงมา และมี uncertainty
Decision made in range of answers (~Likert scale) คล้าย Likert แต่ใช้ เป็น tendency แทน
Compare answer with those of experts panel เทียบ ข้อต่อข้อ กับ staff หลายๆ คน

ขั้นตอนแรก เลือก Script ให้ชัดเจนว่าจะเป็นเรื่องใด

Diagnosis script
Investigation script
Treatment script

ขั้นตอนที่สอง เลือก Scenario ที่มีความกำกวมหรือความไม่ชัดเจนในการตัดสินใจ เช่น การเลือกการส่ง investigation เพื่อการวินิจฉัย ที่อาจารย์บางคนอาจจะไม่จำเป็นต้องส่งหรือไม่ส่งก็สามารถวินิจฉัยได้ เป็นต้น

ขั้นตอนที่สาม วางคำถามตามแนวทาง SCT 3 Column¹¹

Judgment type	Column 1	Column 2	Column 3
Diagnosis	“If you were thinking of:”	“And then you find:”	“This diagnosis becomes:”
Investigation	“If you were thinking of:”	“And then you find:”	“This investigation becomes:”
Treatment	“If you were thinking of:”	“And then you find:”	“This treatment becomes:”

Likert-scale anchor descriptors

	-2	-1	0	+1	+2
Diagnosis	“Ruled out or almost ruled out”	“Less likely”	“Neither more nor less likely”	“More likely”	“Certain or almost certain”
Investigation (utility consideration)	“Completely or almost completely unnecessary”	“Less useful”	“Neither more nor less useful”	“More useful”	“Completely or almost completely necessary”
Investigation (risk-benefit consideration)	“Completely or almost contraindicated”	“Less indicated”	“Neither more nor less indicated”	“More indicated”	“Completely or almost completely indicated”
Treatment (utility consideration)	“Completely or almost completely unnecessary”	“Less useful”	“Neither more nor less useful”	“More useful”	“Completely or almost completely necessary”
Treatment (risk-benefit consideration)	“Completely or almost contraindicated”	“Less indicated”	“Neither more nor less indicated”	“More indicated”	“Completely or almost completely indicated”

ขั้นตอนที่สี่ นำข้อสอบที่สร้างเสร็จไปให้อาจารย์ที่มีความเชี่ยวชาญทำข้อสอบหลายๆ คน (ยิ่งเยอะยิ่งดี) เมื่อได้ผลการทำข้อสอบกลับมาแล้วจะต้องมาตรวจสอบคะแนนหากข้อคำถามใดมีความขัดแย้งกันค่อนข้างเยอะ เช่น คำถามว่าควรส่งตรวจดีไหม อาจารย์แบ่งเป็น 2 ฝ่ายชัดเจนคือฝ่ายหนึ่ง -2 อีกฝ่าย +1,+2 อาจจะต้องตัดคำถามข้อนี้ออกไป แต่หากมีแนวโน้มไปในทิศทางเดียวกันสามารถที่จะนำข้อนี้ไปใช้ได้ เช่น อาจารย์อาจจะให้คะแนน +2 2 คน +1 5 คน 0 1 คน เป็นต้น

ขั้นตอนที่ห้า การคำนวณคะแนน (Scoring system) เขียนอธิบายค่อนข้างยาก คือให้นำข้อที่อาจารย์เลือกตอบมากที่สุด เป็นคะแนนเท่ากับ 1 และให้ข้ออื่นๆ เป็นสัดส่วนตามจำนวนอาจารย์ที่ตอบเป็นตัวตั้ง และตัวหารเป็นจำนวนอาจารย์ทั้งหมดที่เลือกตอบข้อที่มากที่สุด ยกตัวอย่างเช่น

สมมติว่ามีอาจารย์ให้คะแนนข้อคำถามที่ 1 ทั้งหมด 15 คน 8 คน เลือกตอบ +1, 5 คนเลือกตอบ +2 และ อีก 2 คนเลือกตอบ 0 คะแนนที่ได้จากการเลือกตอบแต่ละช่องจะเป็นดังนี้ ตอบ 0, 0.25 คะแนน (2/8), ตอบ +1, 1 คะแนน (8/8); ตอบ +2, 0.625 คะแนน (5/8), ตอบ -1 และ -2 ได้ 0 คะแนน

	-2	-1	0	+1	+2
Number of panel members who choose this answer	0	0	2	8	5
Number of panel members who choose this answer divided by answer provided by the greatest number of panel members	0/8	0/8	2/8	8/8	5/8
Score for this question	0	0	0.25	1	0.625

วิธีคำนวณคะแนนสำหรับผู้เข้าสอบ เมื่อได้ค่าคะแนนดังกล่าวข้างต้น จะนำมาใช้ประกอบกับการเลือกของผู้เข้าสอบ โดย นำคะแนนแต่ละข้อที่ผู้เข้าสอบได้มารวมกัน แล้วหารด้วยจำนวนคะแนนสูงสุดที่สามารถจะทำได้ คูณด้วย 100 รายงานผลเป็นร้อยละ

Designing effective script concordance test

มีหลักการดังต่อไปนี้เพื่อให้เกิดประสิทธิภาพในการประเมินผลด้วย SCT¹¹

2-5 questions per case คำถามประกอบ scenario หรือ case จะต้องมี 2-5 ข้อ
20-60 questions can reach Cronbach alpha > 0.75 จำนวนข้อต้องมากพอ เพื่อสร้างความน่าเชื่อถือในการทดสอบ
Number of experts panel 10-15 อาจารย์ผู้ร่วมประเมินข้อสอบควรมีจำนวนมาก เพื่อให้ได้ความเห็นและแนวทางการตัดสินใจที่เป็นแนวโน้มชัดเจน
Answer shouldn’t be too consensus or too much variable คำตอบควรจะมีความหลากหลายเล็กน้อย ไม่ควรเป็นข้อยุติ และไม่แตกต่างกันมากจนเกินไป
5 anchor Likert scale is suitable แนะนำให้ใช้ระดับการให้คะแนนแค่ 5 ระดับเหมาะสมที่สุด
Students should have enough basic knowledge นักเรียนจะต้องผ่านการเรียนมาก่อนที่จะได้รับการประเมิน

Pros & Cons

Pros

Good construct validity in clerks, residents and faculties
Good face validity, test are relevant with real world situation
Test can be used in test-retest situations
Good co-operation among staff
Motivate students’ learning to problem solving and professional reality
SCT can also be used in ethic or professionalism issues
Can be implemented online or computerize

Cons

Should students be assessed with such difficult or complicated questions? ใช้ได้ในนักเรียนที่มีความรู้มาก่อน
What if panel is composed of “expires” not “experts”? อาจารย์บางท่านอาจจะไม่ได้อัพเดทความรู้ ทำให้แนวโน้มการตัดสินใจไม่เหมือนอาจารย์ท่านอื่น
Should SCT be the assessment of MS 4, MS 5, Extern, Intern or Residents”? เนื่องจากต้องอาศัยความรู้ และการตัดสินใจในเรื่องที่มีความไม่ชัดเจนการให้นักศึกษาแพทย์ใหม่ๆ เช่น ปีที่ 4,5 อาจจะไม่สามารถทำข้อสอบได้ดีเท่า Intern หรือ Resident
Who should be the final judge: doctor or patient? คำถามสำคัญ คือการเลือกตัดสินใจบางอย่างจากโจทย์ คนที่ควรจะเป็นผู้ตัดสินผลลัพธ์คืออาจารย์หรือผู้ป่วย