118
Vol. 30 No.1
Mar. 31 2014
中華民國一○三年三月三十一日出版

OSCE 應用於臨床技能學習成效評估


高雄長庚紀念醫院藥劑部藥師 王嘉珍、王郁青、李炳鈺、許育涵
中國醫藥大學附設醫院藥劑部藥師 鄭奕帝

摘要

傳統的學習評估方法如多選題或論述題無法充分評估臨床技能,因此臨床操作能力評核方法如客觀結構式臨床技能測驗 (objective structured clinical examination,OSCE) 於藥學教育中具其必要性。世界各地醫療專業教育廣泛地使用 OSCE 評估臨床能力。

本文主要探討 OSCE 應用於新進藥師和藥學實習學生臨床能力評估。考場共設置10個考站,30名考生參與測驗。OSCE 考題所測試的臨床能力包括:病人諮詢和溝通、治療藥物監測、識別和解決藥物相關問題與提供藥物資訊。採用臨界組法 (Borderline-group method) 定義各考站及格分數。考試結果顯示第7和第10考站的平均成績低於其他考站。雖然舉辦 OSCE 花費大量人力、時間和金錢,但是考生一致認為 OSCE 有助於提升臨床技能。

關鍵字: OSCE、標準病人、學習成效評估

壹、前言

藥師對於醫療體系之重要性隨著病人用藥意識增加與醫療團隊以病人為中心的照護概念提出後,今日藥師工作範疇已不再只局限於藥局調配藥物,為培養全方位藥師,藥學教育也必須隨之改變。2009年 Jungnickel 等人提出了為使藥師具備競爭力而設計的課程應具下列條件:一、課程設計必須培養藥學實習學生具有專業、自我導向學習、領導能力、專業間合作等能力以達到藥師能夠勝任病人為中心照護 (patient-centered care)、民眾基礎照護 (population-based care) 和系統管理 (systems management) 中所應扮演的角色。二、設計的課程能夠銜接藥學實習學生下一階段學習。三、在系統性及實證基礎原則下發展新課程。四、課程設計讓藥學實習學生有更多互動學習經驗1。為使藥學實習學生符合所要求的能力,學生學習與評量已不僅只限於知道 (knows)、了解 (knows how),還需要能做 (shows how) 和執行 (does),因此除了傳統筆試,還須進一步以其它評量工具來評估學習成效。1990年 Miller 提出學習與評量金字塔模式,指出以OSCE來評量學習者“ 能做”的程度2

OSCE 最早於1975年由 Dundee University 醫學院 Harden 教授等人所提出,希望透過 OSCE 能夠更貼切評估醫學生面對病人時是否具備應有的態度與技能,受測學生以跑台方式完成交付任務,例如病史詢問、執行身體檢查、從實驗數據找出病人潛在問題並加以解釋等3。此後,許多國家陸續將 OSCE 應用於醫學教育4-6。在藥學教育方面,2001年加拿大將 OSCE 列入藥師執照考試第二試中7。本院自2009年開始於藥學實習生執行 OSCE 評核,共設置5站,由本院資深藥師擔任標準病人和考官;2012年起將考站擴增至10站,並且邀請通過本院標準病人培訓課程之民眾擔任標準病人。本研究目地希望探討 OSCE 應用於藥學實習生與新進藥師之臨床技能學習評估。

貳、研究方法與步驟

本文係以102年1月15日-102年5月14日在本院實習之藥學實習學生與年資未滿二年新進藥師為參與研究對象,OSCE 評核準備工作與流程如下:

一、擬訂考試藍圖

由臨床藥師與藥學實習學生課程設計負責人共同擬定此次 OSCE 執行教案考試藍圖,藥學實習學生和新進藥師訓練課程主要有下列幾個面向:門/急診交付處方、住院/臨床藥事服務、特殊製劑、藥品管理和藥物諮詢等,由不同面向評估學員所應具備各項藥學專業能力如審核處方能力、溝通技巧、用藥指導、資訊系統操作、異常事件處理能力和治療藥物監測等而設計不同教案,初步討論規劃18個主題,最後選定10個主題作為此次考試的教案,有3個主題延用舊有教案,其餘則由臨床藥師或助理臨床藥師依據選定主題,編修舊有教案或撰寫新教案。

二、教案撰寫與編修

教案採統一格式,內容包括(1) 考生指引:背景資料、測驗主題、測驗時間和相關用藥與檢驗數值。(2) 評分表。(3) 考官指引:測驗目的、評分重點提示、測驗場景、標準化病人基本資料、病情摘要、道具及器材和評分說明。(4) 標準病人指引 (劇本):標準病人指引摘要、考題說明 (測驗主題、演出任務、情境、情緒、人力和道具、演出時間)、回應考生原則、劇情摘要、劇本對白例句等。評分表包括檢查表 (checklist) 和整體表現評估 (global rating),檢查表評分項次有10-12項不等,評分標準為「全部做到」2分、「部份做到」1分、「未做到」0分,考官指引「評分說明」中明確定義給分標準。此外,整體表現評估分為:「優」5分、「良」4分、「可」3分、「差」2分、「劣」1分。初步完成的教案經由臨床藥師開會討論及進行專家效度分析 (≥ 3位專家)。採用臨界組法 (Borderline-group method)8,取中位數定出每站及格分數,考生應同時符合下列條件得通過該次評核:(1) 總分高於各站及格分數總和;(2) 及格站數 ≥ 6站。

三、考官與標準病人共識會議

考官共識會議中播放教案影片,由10位考官共同進行評核,並將評核結果進行考官評分一致性分析,建立評核原則共識。在標準病人方面則由本院教學部提供已完成本院標準病人培訓課程之人員,依據教案需求選定適當者擔任標準病人,並召開標準病人共識會議。

四、OSCE 評核

OSCE 執行場地為本院臨床技能中心,每位考生依序完成10站考試,每站考試時間為13分鐘,包括閱讀試題2分鐘、考試8分鐘、考官回饋2分鐘及輪轉站1分鐘,考生於考前填寫自我學習能力評估 (前測),以李克特十點量表 (Likert scale) 計分,「優」10分、「良」9-8分、「可」7-6分、「差」5-4分、「待改善」3-1分。考試結束填寫學員滿意度問卷表 (以李特克五點量表計分;「非常滿意」5分、「滿意」4分、「普通」3分、「不滿意」2分、「非常不滿意」1分),並完成心得回饋與自我學習能力評估 (後測)。考試結束後,所有考官與考生進行綜合回饋討論會,交換意見與分享心得,並提供改善意見。此外,標準病人填寫滿意度問卷及回饋意見表,以供未來活動安排之參考。

五、資料收集與統計分析

本研究利用 Microsoft Office Excel 2007和 SPSS 17.0進行描述性統計分析。

參、結果

一、信效度分析

編修後的教案評分表,經專家效度分析結果顯示每個評核項目皆獲得80%以上專家同意其重要性與可測驗性 (圖一)。考官評分一致性分析結果顯示 Kendall 和諧係數為0.612 (p=.000,小於0.05),表示10位考官評分間有顯著的相關存在,亦即考官間具有良好的同意度與評分者一致性 (表一)。OSCE 測驗10站考題內部之間一致性整體信度以 Cronbach's α係數表示,其值為0.713,表示考題間有相當高的一致性,各考站試題整體統計量與試題刪除時之信度指標值如表二所示。

117-18.tif

圖一 評分表專家效度分析結果

 

表一 考官評分一致性分析結果

個數

10

Kendall's W檢定a

0.612

卡方

55.084

自由度

9

漸近顯著性

.000

a:Kendall和諧係數

 

表二 各考站試題整體統計量與試題刪除時之 Cronbach's α值

考站

項目刪除時的尺度平均數

項目刪除時的尺度變異數

修正的項目總相關

項目刪除時的 Cronbach's α 值

第一站

719.0000

2017.931

0.701

0.630

第二站

716.0000

2041.379

0.557

0.654

第三站

706.8333

2420.213

0.407

0.689

第四站

721.1667

2064.626

0.558

0.654

第五站

712.3667

2582.240

0.232

0.710

第六站

713.3333

2731.609

0.056

0.723

第七站

741.9333

2584.271

0.050

0.750

第八站

711.1667

2559.799

0.286

0.705

第九站

709.7000

2450.769

0.478

0.685

第十站

730.5000

1771.638

0.510

0.673

 

二、OSCE 評核成績結果

本次參與 OSCE 評核學員計有藥學實習學生16人和新進藥師14人共30人,標準病人9位、考官10位、主考官1位和工作人員4位。選定教案主題為:(1) 藥物諮詢用藥指導:心臟血管處方用藥、糖尿病處方用藥、精神科處方用藥、小兒科處方用藥;(2) 特別劑型衛教:吸入劑、止痛貼片、NTG 舌下錠;(3) 門診交付處方用藥指導:眼科用藥;(4) 治療藥物監測等。經共識會議決議整體表現評估及格邊緣分數定義為3分,以臨界組法計算第一站~第十站及格分數分別為50分、55分、70分、75分、65分、75分、42分、70分、84分和60分。通過此次測驗之及格標準為:(1) 總分 ≥ 646分;(2) 至少有六個考站達到及格分數。由統計分析結果顯示本次考試學員均達及格標準,學員平均總分為791分。各考站平均分數為第一站79 ± 10分、第二站82 ± 12分、第三站88 ± 8分、第四站77 ± 11分、第五站81 ± 7分、第六站85 ± 5分、第七站56 ± 12分、第八站87 ± 6分、第九站89 ± 6分、第十站68 ± 17分 (表三)。

 

表三 各站 OSCE 評核成績 (平均值 ± 標準差、最大值和最小值)

 

考站一

考站二

考站三

考站四

考站五

考站六

考站七

考站八

考站九

考站十

平均值±標準差

79 ± 10

82 ± 12

88 ± 8

77 ± 11

81 ± 7

85 ± 5

56 ± 12

87 ± 6

89 ± 6

68 ± 17

最大值

90

100

100

95

90

90

79

100

100

90

最小值

50

55

70

40

65

75

33

70

73

15

 

三、自我學習能力評估

學員自我學習能力評估結果指出學員一致認為參與 OSCE 評核無論對於臨床知識 (藥物適應症、副作用、注意事項和藥物血中濃度監測)、態度 (專業態度、應對禮儀) 或技能 (溝通技巧、特殊藥物劑型使用技巧) 均有顯著提升,具統計學上之差異 (P < 0.001)(表四)。

 

表四 學員自我學習能力評估

自我學習評估項次

前測 (平均值±標準差)

後測 (平均值±標準差)

P值

禮貌與專業態度

7.03 ± 1.16

9.00 ± 0.79

< 0.001

掌握病人問題

6.47 ± 1.20

8.23 ± 0.97

< 0.001

運用各種溝通技巧

6.30 ± 1293

8.03 ± 0.96

< 0.001

特殊劑型用藥指導

6.27 ± 1.31

8.00 ± 1.05

< 0.001

用藥注意事項

6.17 ± 1.26

8.20 ± 0.71

< 0.001

藥物適應症

6.43 ± 0.97

8.17 ± 0.95

< 0.001

藥物副作用

6.20 ± 1.10

7.87 ± 0.90

< 0.001

藥物血中濃度監測

5.43 ± 1.41

7.33 ± 1.52

< 0.001

註:SPSS 17.0成對樣本 t-test 分析

 

四、滿意度問卷調查

學員課後滿意度分析顯示學員各項滿意度均達4分以上 (五分法),學員對於考試場地、設施和提升藥學專業臨床能力有較高滿意度 (圖二)。此外標準病人對於會前共識會時間、場地與設施、工作人員盡責度和考試動線之滿意度均為5分 (圖三)。

 

117-19.tif

註: 問題一:此次 OSCE 感到滿意;問題二:設立的站數感到滿意;問題三:OSCE 考題難易度;問題四:對標準病人表現滿意;問題五:對評分員表現滿意;問題六:對工作人員滿意;問題七:對場地與設施滿意;問題八:OSCE 有助於提升藥學臨床能力;問題九:對 OSCE 動線滿意;問題十:整體滿意度

圖二 學員課後滿意度分析

 

117-20.tif

註:問題一:教案劇本演出流暢度滿意;問題二:考前共識會演練時間滿意;問題三:劇本提供之訊息足夠應付演出需要;問題四:演出次數 (或時間) 尚可負擔;問題五:場地與設施滿意;問題六:工作人員滿意;問題七:動線滿意;問題八:整體滿意度

圖三 標準病人滿意度分析

 

肆、討論

由學員成績分析顯示部份學員因為檢查表得分偏高,但是整體表現分數不佳,導致部份考站有較高的及格分數。評核表平均分數低於70分者有第七、十站,第七站平均分數為56 ± 12分,較其他考站得分低,分析學員得分偏低原因主要是學員對於不同種類口服降血糖藥是否導致低血糖之作用機轉,及導致體重增加的藥物不熟悉,因此面對標準病人詢問時無法提供正確藥物資訊。此外,學員在第十站 vancomycin 血中濃度監測,得分較低者為“vancomycin 波谷濃度值低於建議值應如何處理?”,多數學員評估藥物濃度是否適當時未先確定採血時間是否正確,雖然學員於核心課程與實務課程中均已安排相關藥物血中濃度監測課程學習,但是學員面對臨床實際執行時,可能因為緊張或熟悉度不足,仍舊無法提供完整的藥物資訊。

學員自我能力評估顯示學員對於「禮貌與專業態度」、「掌握病人問題」與「藥物適應症」等較具信心。此外,「藥物血中濃度監測」和「藥物副作用」是學員認為表現較差的部分,雖然學員認為此部分能力經 OSCE 評核後已提升,但是後測得分仍未達「良」,顯示學員認為在此部分仍有改善的空間。在滿意度方面,學員對於問卷中問題2、3、5達滿意的比率分別為90%、93.3%和96.7%,其他均為100%。標準病人問卷結果顯示100%達滿意。

OSCE 考試可以客觀地評估學員臨床技能與態度,未來也將納入國家考試,本院執行 OSCE 考試主要以教學為目的,在考試藍圖中規劃學員應具備的基本臨床能力,即時回饋幫助學員了解應加強學習的部份,考試結果亦可作為教學課程修訂之參考。OSCE 考試是一個很好的教學評估工具,多樣性的考題與具信效度的評估表將增加 OSCE 考試的公平性與客觀性,更能有效的評估學習成效。若能整合國內執行藥學 OSCE 經驗,將更有利於藥學 OSCE 發展。

誌謝:感謝本院臨床組同仁共同參與教案撰寫與協助 OSCE 評核順利完成。

參考資料:

1. Jungnickel PW, Kelley KW, Hammer DP, et al: Addressing competencies for the future in the professional curriculum. Am J Pharm Educ 2009; 73 (8):156.

2. Miller G. The assessment o clinical skills/competence/ performance. Acad Med 1990; 65(Suppl.9):S63-S67.

3. Harden RM, Stevenson M, Downie WW, et al: Assessment of clinical competence using objective structurewd examination. Br Med J 1975; 1:447-451.

4. Reznick R, Smee S, Rothman A, et al: An objective structured clinical examination for the licentiate: report of the pilot project of the Medical Council of Canada. Acad Med 1992; 67(8):487-494.

5. Kozu T. Medical education in Japan. Acad Med 2006; 81(12):1069-1075.

6. De Champlain A, Swygert K, Swanson DB, et al: Assessing the underlying structure of the United States Medical Licensing Examination Step 2 test of clinical skills using confirmatory factor analysis. Acad Med 2006; 81 (10 Suppl):S17-20.

7. Austin Z, O'Byrne C, Pugsley J, et al: Development and Validation Processes for an Objective Structured Clinical Examination (OSCE) for Entry-to-Practice Certification in Pharmacy: The Canadian Experience. Am J Pharm Educ 2003; 67 (3):76.

8. 李石增:客觀結構式臨床測驗,初版。臺北,台灣愛思唯爾有限公司,2010:145-168.

 

 

Application of OSCE in Evaluation of Learning Outcomes for Clinical Competence

Chia-Chen Wang1, Yu-Chin Wang1, Yih-Dih Cheng2, Ping-Yu Lee1, Yu-Han Hsu1
Department of Pharmacy, Kaohsiung Chang Gung Memorial Hospital1
Department of Pharmacy, China Medical University Hospital2

Abstract

The traditional assessment methods (ex. multiple-choice or essay questions) may not adequately evaluate mastery of essential skills and measure cognitive learning in clinical settings. Therefore, the use of performance-based assessment methods, such as the objective structured clinical examination (OSCE), in undergraduate pharmacy education is of fundamental importance. OSCE has been used in evaluating clinical competence in health professions education around the world.

The purpose of this paper, would like to assess clinical competence of new pharmacists and pharmacy interns by using an OSCE. An OSCE with 10 test-stations was arranged to assess the performance of 30 candidates. The broad competencies tested in the OSCE included: patient counseling and communication, therapeutic drug monitoring (TDM), identification and resolution of drug-related problems (DRPs), and drug information provision. The Borderline-group method , that wants to establish the pass/fail standard per station. Examination results in the station 7 and 10 were worse than the others stations. Although OSCE spent a lot of manpower, time and money, these candidates agreed that OSCE really help them to improve the clinical skills.