Dilemmas in the Assessment of Moral Development in Medicine 

Montreal 17.4.08Shmuel REIS MD, MHPE

Montreal 17.4.08Shmuel REIS MD, MHPE

Misgav Health & Social Services Center, Clalit Health Services

Departments of Medical Education and Family Medicine. The R& B Rappaport Faculty of Medicine .The Technion- Israel Institute of Technology

Why?

• Medical education‐ Assessment‐ Performance assessment

• Holocaust & Medicine

• A grant

The human dimensions of medical education‐Weston

• Gaining a technical competence in dealing with disease

• Developing a professional identity

• Learning to heal

Insights:Journals of the journey through medical school, developmental theory, mentoring and the nature of the professional task

Perry‐Forms of ethical and intellectual development in the college years – a 

scheme 1990• Dualistic: Good/Bad; Right/Wrong; We/Them

• Multiplicity: Pluarility

• Relativism: evaluation in multiplicity

• Commitment :Choice in relativism, affirmation of personal values

Theories of moral development

• Piaget

• Kholberg

• Rest: Moral sensitivity, moral reasoning, moral motivation/commitment and moral action

• Feminist

Professionalism (behavior patterns reflecting, inter alia, altruism, moral development, social responsibility and humanistic values) ‐ relatively recent construct informing medical school curricular reforms addressing patient‐physician communication, 

ethics and humanities 

Moral action closely related to professionalism

Assessment in medical education

• Written

• Supervisor rating

• Observation : direct /Video

• Simulations

• Multisource

• Portfolios

Educational assessment

• We should research on‐ use of various information sources‐ Sufficiency of sampling‐ Combining quantitative an qualitative info in a meaningful way

Trustworthiness, defensibility and fairness

Schuwirth ,van der Vleuten 2006

• Paradoxically, students have been known to experience a corruption of values and humanism during medical school .

• Neither medical school curriculum nor residency training influence postconventional moral thinking ( bebeau 2002)

Hidden Curriculum

• Social processes and messages that marginalize the learning and practice of patient‐centered care

• Hafferty HC comprises “ the commonly held understandings, customs, rituals, and taken‐for granted aspects of what goes on in the life –space we call medical education

• Real learning on the  night shift.

Multiple  instruments are proposed to gauge the various levels and stages of moral and ethical 

development. Nevertheless, it is currently accepted in the medical education literature that such 

behaviors are context‐dependent rather than reflections of stable 

personality traits

Therefore, these aforementioned instruments may need to be supplemented by a 

qualitative approach (such as a portfolio whereby students' narratives , critical 

incidents reporting and analysis , reflective accounts ,interviews and other evidence of reflection, self‐awareness and professional development serve as data and enable 

assessment too)  as well as competence and performance evaluation

Instruments

• Defining issues test=DIT (Rest)six vignettes : choice of action, reasons, significance=score, DIT 2, checks reasoning only

• Problem identification test= PIT ( Hebert)Four vignettes‐ list ethical issues

• Moral Judgment Interview =MJI• Sociomoral reflective Objective Measure (SROM)• Machiavellianism, social desirability, Career –related values, 

biosocial orientation, values, attitudes towards communication etc…

• Ethics OSCE• Ethics  in health care survey instrument =EHCQ‐2• Merjit

PIT Questionnaire

• Instructions

• Below are three vignettes pertaining to healthcare ethics. Upon reading each vignette, please list as many points of ethical relevance as possible. Please do not explain, however, how to deal with each case. 

• A 23‐year‐old man has just had a car accident and is brought to your hospital.  His level of consciousness is minimal and he is incapable of communicating. Due to severe blood loss, a blood transfusion is needed. According to his parents, the patient is a devoted Jehovah’s Witness (a religion in which blood transfusion is prohibited). His parents, who are not Jehovah’s Witnesses, request a blood transfusion. 

PIT domain’s respective scoring standard 

• Domain A (autonomy and patient’s right): 3 points• Decision‐making capacity, advance directives, patient’s rights, 

patient’s preference, etc.  • Domain B (beneficence and nonmaleficence): 3 points• Physician’s duty to provide treatment, quality of life (QOL), 

patient’s best interests, risks and benefits of treatment, etc.• Domain C (justice and contextual features): 4 points• Resource allocation, family, economic 

considerations, legal matters, etc.

DIT vignettes

• Mr. A’s wife is dying of cancer. According to her physician, “She has a slight chance with medicine X; anything else is hopeless.” A local pharmacist has recently developed Medicine X and is selling it for \1,000,000 despite production costs being only \100,000.  Although Mr. A has saved up and borrowed as much as possible, he has only been able to gather \500,000.  Mr. A has asked the pharmacist to sell him the medicine at a discount rate or on the premise that he will pay the remaining \500,000 at a later date.  Nonetheless, the pharmacist has denied Mr. A’s request by saying, “I am who developed this medication.  It is my right to sell it and make aprofit.” That evening, Mr. A breaks into the pharmacist’s storehouse and steals medicine X.

• Do you feel it is all right that Mr. A steals medicine X?  

Please circle one in the below.

1. Better to steal  (  )

2. Unsure (  )

3. Better to not steal (  )

• In regards to the above question, please indicate the importance of each of the following. 

• 5: Great 4: Much 3: Some 2: Little  1: No

• 1. Whether or not this type of action is legal (4).**  [     ]    

• 2. Whether or not stealing is out of love (3).[     ]

• 3. Whether or not Mr. A goes to prison in order to save his wife (2). [ ]

• 4. Whether or not Mr. A’s stealing was for himself or for his wife (3). [ ]

• 5. Whether or not to respect the pharmacist’s rights (4). [ ]

• Please list below the most important considerations (1‐11).

1. Most important  (   )

2. Second most important (   )

3. Third most important (   )

4. Fourth most important (   )

EHCQ

• 12 vignettes;9 consensus, 3 “knife‐edge”

• Options ( 2‐3)

• Reasons: short answers.

• Analysis by 5 categories: consensus; personal values; other value systems; not consistent; indeterminate

• Hierarchy of action justification

• Hierarchy of Values recognition 

Qualitative assessment• Essays and portfolios. Maastricht & Dundee

• Credibility & dependability instead of reliability & validity

• Credibility: triangulation, prolonged engagement, member checking

• Formative & summative

• Moss hermeneutics of assessment

Ayelet Kuper acad med oct 2006

• not at all events committed by isolated and potentially perverse Nazi fanatics and ‘pseudoscientists’, but many physicians and scientists of international reputation were involved, and/ or at least indirectly legitimized and supported these activities.

• rather the radical expression of problematic features inherent in modern medicine in general: e.g. the adaptation and subordination of physicians and scientists to temptations offered by the state, or other institutions of power; the idea to systematically use biomedical knowledge to enhance the genetic pool, and through it the health condition and performance of social groups and individuals; the pre‐natal identification and prevention of ‘life without value’, and the desire to be able to carry out biomedical research, even on human beings, without legal regulations

• This debate is acutely related to the subject at hand, as one can argue that immoral medical acts committed during the Holocaust were supported by persons who were aware of the ethical imperative, yet ‐ through a combination of Nazi ideology and context –slid down the "slippery slope" of moral degradation. In other words, we may be looking for an educational intervention that explores how to  "immunize" against the destructive potential of each of us

• The systematic confrontation with, and discussion of these issues not only in an abstract mode, but 

through the historical events is – we argue – a powerful method to 

initiate a systematic self‐reflection of (future) physicians with basic moral and professional questions. 

• The evaluation package will consist of :questionnaires, students' assignments and evaluations and students' 

portfolios where the student (and selected faculty members) is the unit ofanalysis. 

These will be evaluated using both quantitative and qualitative methods. Additional evaluations will be administered on the medical school –at‐large level in the form of mostly qualitative methods (focus groups, in depth interviews). 

• Questionnaires will include:  ‐Holocaust and Medicine Knowledge and Attitudes questionnaire (HMKAQ, 

existing, unpublished)‐Moral Reasoning and Development tool (MRD, to be selected and adapted)‐ Educational climate tool ‐ a Professionalism Instrument ‐to be selected and adapted) ‐ a general Intervention Evaluation Questionnaire (IEQ, existing, 

unpublished).  Further elaborations of the evaluation package will be conducted as needed 

while the final intervention package is developed. 

• Moral Reasoning Development (MRD) there are at least 2 reported in the literature .   Preliminary investigations indicate the ECHQ‐2  to be more suitable for our purpose. A link has been established with the tool's development team and a collaboration plan agreed upon. The tool is in need of further adaptation, translation and piloting. 

Ideas

• EHCQ team & Kuper as consultants

• Portfolio and qualitative expertise

• Adapting instruments

• Piloting methods & instruments