Issues of quality and practicability in task analysis : preliminary

Issues of quality and practicability in Issues of quality and practicability in task analysis : preliminarytask analysis : preliminary

The practice of competency modelingThe practice of competency modeling

Presented by 윤지영 , 이민영 , 박혜선

June 1, 2006

2Issues in Job Analysis 직무 분석법

III. Issues of quality and practicability in task analysis : preliminary results from two surveys


연구의 목적 : 서로 다른 두 산업 분야에서의 TA 연구들을 조사하여 , 각 연구들의 목적과 연구 방법 , 자료 수집 등에 대해 알아봄 ( 어떠한 TA 들이 실시되었나 ?) 이 연구는 분석가들이 TA 방법의 사용과 선택에 있어서 좋은 가이드를 제공하기 위함

연구 분야 : Defence industry, nuclear power industry in UK

TA 연구의 단점 : data source 와 방법의 불충분한 설명 , 증거의 부족 정보 사용자는 비용이 많이 드는 design recommendation 을 사용할 수 밖에 없는 상황 ) : incumbents and supervisors ( 현직 업무 종사자와 감독자 자


I. IntroductionTable of ContentsAbstractsAbstracts

1. Introduction1. Introduction

복잡한 시스템이 안전하고 효과적인 방법으로 설계되고 조작되기 위해서 user 들에게 제공되는 interface(hardware,

software, procedures, training, organization, etc) 들에 중점을 둔 task-based ( 과업 기반 ) 분석적 접근이 필수적임 .

TA 는 사람에 의해서 조작되는 복잡한 시스템의 interface 의 타당성을 설계하고 평가하기 위해서 중요함 .



I. IntroductionTable of Contents2. 2. Defence Industry SurveyDefence Industry Survey



I. IntroductionTable of Contents2.2. 2.2. Data SourcesData Sources

많은 연구들에서 data source 와 관련한 심각한 단점은 : data source 가 명확하게 정의되어 있지 않다 .

따라서 많은 연구들과 recommendation 을 얼마나 신뢰할 수 있을지를 결정하기 어렵다는 것을 의미함 .

문제점 1) 자료의 출처에 관련한 참조부분을 완전히 생략하거나 , 그것을 잘못 정의하고 있다 . 2) 기술과 조작적인 정보를 제공하는 직원의 경력 수준이나 배경을 정의하지 않았다 . 3) trial 이 조작적인 시스템이라기보다는 simulator 였다는 것과 같은 주요 세부사항을 생략하고 있다 .

simulator : 분석가들이 일반적으로 교육 부분에 사용하기 위해 자료 수집 계획을 할 때 효과적으로 사용됨

훈련개발을 위한 연구는 없었음 .(manual 과 같은 훈련 자료의 사용은 저조함 .)

그럼에도 , 많은 연구에서 훈련 정보는 유용한 것으로 간주됨 .



I. IntroductionTable of Contents2.3. 2.3. Data collection and AnalysisData collection and Analysis

HTA 는 일반적인 TA 기술에 가장 가까운 것임 .

보고서의 절반은 HTA 를 사용하지 않았음 . -> 단지 순서대로 일어나는 task list 만을 개발했을 뿐임 . -> 이것은 scenario-based task 에 적당할 수 있음 .

HTA 의 단점 : 복합적인 과업 요소가 어떻게 순서가 정해지는지를 보여주기 위한 계획의 부족

많은 연구들이 decomposition table 의 형태를 만들어내고 있음 .

임무할당의 평가는 walk-through 중 , 또는 실제 과업을 시행하는 중에 이루어짐 . 참가자들에게 과업 기술서를 주고 일의 할당에 대한 평가를 하도록 함 (5 점 척도 , 정확성과 일관성이 부족 )

Workload 분석은 실용적인 할당을 위해 유용한 자료를 공급할 수 있음 .

graphical technique(link analysis, operational sequence diagram, flow charts, timeline) 는 항상 효과적으로 사용되는 것은 아님 .

- 일반적으로 과업의 복잡성을 나타내기 때문에 , diagram 이 복잡할 수 있다 . - 잘못 사용될 수 있다 .( 예를 들어 , link analysis 와 spatial operational sequence diagram 사이의 혼란때문에 ..)



I. IntroductionTable of Contents2.4. 2.4. Data PresentationData Presentation

많은 연구들은 사용된 data source 와 방법들에 대해 언급을 하지만 , 대략의 Outline 만을 제공하는 경향이 있음 .

문제점

1) 보고서 안에 분석가에 대해 정확히 명시되어 있지 않다 . 제시된 recommendation 이 심리학적 이해를 기본으로

한 것인지 , 또는 주관적인 의견이 개입된 것인지를 확인할 수 없다 .

2) Walk-through 나 현장에서 자료 수집이 진행 될 때 , 이것이 얼마나 철저한 절차를 거쳤는지가 명확하지 않을 때

가 있다 . 예를 들어 , reader 가 이 보고서를 읽으면서 , 몇 번이나 현장을 방문했으며 , 몇 명이 이 보고서에 개입되

었으며 , 또는 단 한 번의 방문으로 자료를 수집한 것이 아닐까 하는 의문이 생길 수 있다는 것이다 .

3) SME의 배경이나 경험을 명시하지 않은 채 종종 사용되어진다 .

4) Task Timing 에 대한 보고가 없다 .



I. IntroductionTable of Contents3. Nuclear 3. Nuclear Industry SurveyIndustry Survey



I. IntroductionTable of Contents3.1. Scope of the studies3.1. Scope of the studies

이 조사의 응답자들에게 각 연구들을 시스템의 life cycle 의 6 개 key phases 중 하나로 분류하도록 함 .

Key phases : 1) concept 2) feasibility 3) project-definition 4) detailed design 5) acceptance/commissioning 6) in service

이 연구들은 설계 과정의 거의 모든 단계 (6 단계 ) 에 드러나고 있지만 ,

초기의 디자인 결정 단계에서 TA 는 거의 사용되어지지 않았음 .

(6 단계 중 concept 의 단계에는 TA 가 보고되고 있지 않음 .)

Defence Industry 와의 차이점

: TA 는 일반적으로 설계 과정 초기에 소개되어지는 경향이 있음 .

: 논리적인 문제점들이 더욱 더 중요시됨 .



I. IntroductionTable of Contents3.2. 3.2. Data CollectionData Collection

주요 자료수집 방법 1) Talk-through 2) Walk-through 3) Informal discussion

Walk-through : 과업 기술서의 기본적인 set 를 개발하기 위해서 사용 Informal discussion : 자세한 정보를 얻기 위해 사용

Comprehensive decomposition table 의 작성 task 요소들 사이의 관계를 확인하고 주요한 문제점을 해결하기 위해 제한된 discussion 을 사용

top-table discussion (특정한 scenario 나 procedure 에 초점 ) -> 효과적인 형태로 드러남 설문지와 구조화된 인터뷰

-> 하지만 , 이 모든 방법들이 자료 수집에 있어서 효과적인 방법임을 증명해주지는 못함 .



I. IntroductionTable of Contents3.3. The3.3. The use of HTA use of HTA

HTA 는 광범위하게 사용됨에도 불구하고 , 상당한 TA 가 대안적인 기술로서 사용되고 있음 .

task 가 일반적으로 직선의 순서로 진행되지 않을 때 HTA 는 task plan 을 보여줌 .

-> 대부분의 HTA 는 4-5 개의 단계의 묘사로 나타난다 .

보고서에서의 HTA 정보의 presentation 은 굉장히 다양함 .

- 1/3 의 보고서는 HTA diagram 을 나타내지 않았음 .

Diagram 의 주 가지 중요한 기능

1) diagram 은 task 의 구조화된 overview 를 제공한다 .

2) diagram 은 분석가가 task 구성 요소들을 조직하기 위해 사용한 model 을 나타내준다 .

HTA Diagram 은 명확히 이해할 수 있는 것이어야 함 .

TA 에 친숙하지 않은 사용자들은 HTA 를 잘못 이해할 수 있음 .

다양한 convention 의 설명에 도움을 줄 수 있음 .

그러나 소수의 보고서에서만 포함되고 있음 .



I. IntroductionTable of Contents3.5. Other methods of data analysis and presentat3.5. Other methods of data analysis and presentatiionon

3.7. Resourcing requirements for task analysis3.7. Resourcing requirements for task analysis

TA 수행 시 요구되는 자원의 양을 언급한 보고서는 없음

대부분의 자원들은 off-site 에서 수집될 때 ,

이 보고서들의 reader 들로 하여금 실제 task 수행과 거의 관련이 없는 무의미한 정보들로 인해 당황해 하는 경우가 발생함

자료 분석 방법 : timeline( 시간표 ) – task 가 실현 가능한 것인지를 보여주는 효과적인 방법



I. IntroductionTable of Contents4. Conclusion4. Conclusion

거의 100개의 연구들이 이 두 조사에서 다뤄짐

Nuclear 보다 defence industry 의 연구들에서 TA 가 상당한 가변성 (Variability) 이 있는 것으로 나타남 .

TA 의 목적 1) Defence industry 에서의 TA 의 목적은 시작단계에 분석가들에게 항상 명확하게 드러나지는 않는다 . 반면 Nuclear industry 에서 TA 의 분석가들은 TA 의 목적을 project 시작 단계에 명확하고 포괄적으로 제시하는 경향이 있다 . 2) 지식의 수준은 일반적으로 Nuclear industry 에서 TA 를 수행하는 분석가들이 더 높다 .

일반적으로 통찰력이 있는 TA 는 경험이 풍부한 분석가들에 의해 수행되어 졌다 .

방법론 , 자료 수집 , 자료 분석 , TA 정보의 presentation 등을 포함한 TA 를 수행하기 위한 여러 단계를 위한 발전 지침이 마련되어야 함은 중요하다 .

이러한 지침은 유연성이 결여되고 틀에 박힌 규칙보다는 좀 더 체계적인 충고를 제공해야 한다 .


IV. The Practice of Competency Modeling


연구의 목적 : HR researchers, practitioners, HR 관련 서비스의 사용자 사이에 혼란을 일으키는 trend인 Competency Modeling 를 정의하고 설명하기 위함

연구문제 : 1) What is a competency? 2) What is the difference between competency modeling and job analysis? 3) Why are competencies so appealing to consumers in business and industry? 4) What is the future of competency modeling?

Table of Contents1. 1. 연구의 목적연구의 목적



Table of Contents


자료 수집 - computer –based : American Psychological Association UMI Proquest Direct Harvard Business Review American Management Association

위의 database 를 통해 competencies 의 개념이 다뤄진 article 과 학술 논문을 중심으로 문헌 고찰을 함 .

- manual review : competencies 와 competency modeling 과 관련된 회의 정부의 기술적인 보고서 conference presentations, books, consulting publications, materials

Literature Searches

2. 2. 연구방법연구방법문헌 고찰인터뷰 - Competency Modeling 의 사용과 개발에 있어서 다양한 배경을 가진 37 명의 SME JACMTF 멤버들간 토의Rating task 11 members of the JACMTF



SME Interviews

Structured interviewTelephoneOver a 1-month period6 개의 segment, 37 개의 interview (37 명 )

1) HR consultants or professionals who either develop competency model systems, or who knowledgeable consumers, yet have no I-O background or link to SIOP (n=9).2) Visible thought leaders in the area of competency modeling from either a pro or con perspective (n=6).3) Former presidents of SIOP (n=5).4) Industrial and organizational psychology(I-O) types who represent a traditional job analysis perspective (n=5).5) I-O psychologists who have delivered both traditional job analysis and competency modeling projects (n=6).6) International consultants who operate outside the United States and work with non-U.S-based companies (n=6).



SME Interviews

질문• How do you define a competency?• What types of human resource applications can competencies and competency modeling support?• What types pf human resource applications should competencies and competency modeling not be used to support?• How is competency modeling different from job analysis?• Should competency models be validated?• Why competencies? What is the attraction/value beyond other ways individual differences might be described and characterized?• Where do you see the future of the competency modeling field headed?



•SME

- 평범한 performer 와 high performer 을 구별할 수 있는 knowledge, skill, attribute

- 전통적으로 정의된 KSAO(knowledge, skills, attributes, 다른 특성들 ) 와 근본적으로 다르지 않다 .

- skill 과 knowledge 의 수준을 정의

- observable, behavioral capabilities 는 역할이나 직무를 수행하는데 있어서 중요하다 .

- knowledge, skills, abilities 와 job performance requirement 와의 혼합이다 .

- “I can’t.”

• 문헌 정의

- knowledge, skills, abilities, motivation, beliefs, values, interests 의 혼합 (Fleishment, Wetrogen, Uhlman,

& Marshall-Mies, 1995).

- 직무에서의 높은 성과와 관련이 있는 knowledge, skill, ability, or characteristic (Mirabile, 1997).

- motives, traits, self-concepts, attitudes or values, content knowledge or cognitive behavior skills 의 혼합 즉 , 측정되고

평균 performers 와 구별되는 individual characteristic

- 일의 목적을 달성하기 위해 측정될 수 있는 work habit 과 개인적인 skills 의 기술서 (Green, 1999).

정의 내리기 어려움 .

3-1. What is A Competency?3-1. What is A Competency?



•법 , 심리 , 직업 , 교육 , 산업심리의 모든 영역에서 ,

“competency”는 어떤 task 나 activity 의 “성공적인” 수행 , 혹은 지식이나 기술의 어떤

영역에 대한 “알맞은” 지식으로 정의된다 .

•Competency Modeling 의 실행의 발전과 함께한 영역 ( 유사영역 )

• Individual differences and educational psychology.( 행동 , 특성 )

• Leadership research and the history of assessment centers.

• Job analysis research (critical incident)

• The concept of multiple intelligences.( 지능이란 여러 역량과 이러한 역량을 발달시키기 위한

기회들을 포함하는 역동적인 개념이다 .)

• Prahalad and Hamel’s(1990) concept of “core competency.”

3-1. What is A Competency?3-1. What is A Competency?



Job Analysis : work , task 에 초점을 둠 “ What” 이 수행되는가 ?

competency Modeling : Worker 에 초점을 둠 “ How”( 어떻게 ) 목적이 달성되는가 ?

Comparison 는 Job analysis 와 Competency Modeling 의 결과에 영향을 줄 수 있는 variable 과 관련이 있음 .

10 개의 variable 을 JACMTF 가 정의함 .1. Method of investigation2. Type of descriptor content collected3. Procedures for developing descriptor content4. Detail of descriptor content5. Link to business goals and strategies6. Content review7. Ranking descriptor content8. Assessment of reliability9. Item/category retention criteria10. Documentation

3-2. What is The Difference Between Competency Modeling And Job 3-2. What is The Difference Between Competency Modeling And Job Analysis?Analysis?



<p.716, Table 1> Level Of Rigor Scale










VariablesCompetency

modelingJob analysis

M SD M SD

1. Method of Investigation 2.00 .89 3.73 .90

2. Type of descriptor 1.73 1.10 3.82 .87

3. Procedures for developing 2.64 1.21 4.09 .54

4. Detail of descriptor 2.09 .54 4.00 .63

5. Link to business 4.45 .52 2.27 .65

6. Content review 2.90 .99 3.70 .82

7. Ranking descriptor 2.27 .79 3.55 .82

8. Assessment of reliability 1.73 .90 3.55 .93

9. Retention criteria 2.40 .97 4.10 .74

10. Documentation 3.36 1.36 4.64 .50

<p.722, Table 2> Evaluative Criteria: Descriptive Statistics

1 2 3 4 5

Low Rigor Low/Medium Rigor Medium Rigor Medium/High Rigor High Rigor

1.00-1.75 1.76-2.50 2.51-3.50 3.51-4.25 4.26-5.00




<p.724, figure 1> Comparison of “Typical” CM Rigor Profiled vs. “Typical” JA Approach

CM

JA



결과

- Job analysis 가 대체로 좀 더 엄격함1. CM : 매번 같은 타입 ( 역량 , 활동 , KSAO, 수행 기준 등 ) 의 content 를 사용

JA : 둘 또는 세 가지 타입의 혼합

2. CM : 결과의 consistency, reproducibility 부족

- CM 이 더 엄격한 부분- 변인 5 : link to business goals and strategies

- rater 간 큰 의견차이 :

- 변인 10 : documentation (SD=1.36)

- 변인 3 : Procedures for developing descriptor content

- 추측되는 원인 : 변화

3-2. What is The Difference Between Competency Modeling And Job 3-2. What is The Difference Between Competency Modeling And Job Analysis?Analysis?


VariablesCompetency modeling Job analysis

M SD M SD

1. Core competencies 4.00 .89 2.45 1.13

2. Technical skills 2.00 1.00 4.55 .52

3. Fit versus job match 3.82 1.08 2.55 1.13

4. Value & personality orientation 3.91 1.14 2.45 1.44

5. Face validity of content 4.64 .50 3.18 1.17

6. Training & dev. applications 4.55 .52 3.55 1.04

7. Selection & decision applications

3.09 1.04 4.36 1.12

<p.728, Table 3> “Other” Variables: Descriptive Statistics

1 2 3 4 5

Hardly Any or None A Limited Extent Some Quote A Bit Significant Extent

1.00-1.75 1.76-2.50 2.51-3.50 3.51-4.25 4.26-5.00


Expressions of Amount

3-3. Why Are Competencies So Appealing To 3-3. Why Are Competencies So Appealing To Consumers?Consumers?



CM

JA

<p.729, figure 2> Comparison of “Typical” CM & “Typical” JA on 7 “Other” Variables



3-3. Why Are Competencies So Appealing To Consumers?3-3. Why Are Competencies So Appealing To Consumers?

결과

– CM 은 Core competency 를 강조

– JA 는 technical skill 을 강조

– CM 이 long-term organizational fit vs. short-term job match 를 강조 ( 앞 변인 5 = link to business goals 와 관련 )

– CM 은 안면타당도 강조 various review sessions

– CM 은 T&D 강조

– JA 은 선발 , 성과평가 , other HR decision making applications 를 강조



3-4. What Is The Future of Competency Modeling?(3-4. What Is The Future of Competency Modeling?( 제언제언 ))

• 조직에서의 CM 사용 증가 – Improved software applications

(e.g., 모델 개발을 돕는 전문가 system)

– 평가기준의 엄격성 수준에 영향을 미치는 변인들

• Purpose or target applications of the research(e.g., job evaluation, selection, job classification)

• Extent to which the target application is expected to be free from legal or union review

• No. of specific job titles (and incumbents) included in the scope of the proposed application

• Extent to which there are planned changes in the organization that will likely affect the work process or performance requirements of targeted jobs

• Extent to which the results of work in the targeted jobs are observable and/or dynamic

• No value, die quickly

- 평가 기준

• Appropriate method of investigation• Type of descriptor content collected• Procedures for developing descriptor

content• Detail of descriptor content• Linkage to business goals and

strategies

• 요구되는 엄격성 수준이 상황에 따라 달라야 함



3-4. What Is The Future of Competency Modeling?(3-4. What Is The Future of Competency Modeling?( 직무분석에 대한 직무분석에 대한 제언제언 ))

• 직무분석에 대한 생각을 업데이트 하고 이 접근을 좀 더 계속적인 OD intervention 으로 간주

• JA 는 조직의 전략과 미래 지향적인 요구에 좀 더 주의 조직의 전략과 방향에 대한 결정은 work roles 와 worker requirements 에 영향

• JA 는 jobs, job groups, occupational groups, business segments 에 걸쳐 공통되는 것을 찾아내는 것을 간과 – 어떤 활동 혹은 worker characteristics 가 전사적으로 core 혹은 중요한가 ?

• 핵심역량을 정의하는데 좀 더 엄격한 직무분석 기술의 사용

• 직무분석의 긍정적인 변화로써 Personality and value orientations 의 포함



3-4. What Is The Future of Competency Modeling?(CM3-4. What Is The Future of Competency Modeling?(CM에 대한 제언에 대한 제언 ))

• CM은 overgeneralize 됨– 모든 역량 아이템이나 행동이 전 조직의 모든 jobs, job levels, business segments, 혹은 regions 에 똑같이 유용한 것은 아님

• CM 은 결과의 일관성 혹은 reproduceability 필요– 정확이 매치되는 행동 , 평균 intercorrelations , SME raters 간의 동의 , 선발과

성과평가 , documentation

• Competency movement 는 technical 혹은 functional competencies 들을 결과 모델에 통합하는 노력 필요– 일반적인 역량과 기술적인 역량을 mix and match

• Level of detail 를 실사용을 위한 요구와 매치

• 어떠한 한 가지 타입의 descriptor content 가 모든 목적에 가장 잘 맞지는 않음 . 즉 , 자세한 work activity descriptors 의 혼합과 적당히 자세한 KSAO 또는 competency descriptors 가 요구됨 – (cf. JA – multidomain approaches available)



3-4. What Is The Future of Competency Modeling?3-4. What Is The Future of Competency Modeling?

결론적으로 ,

• Blurring of borders • Blending of best practices

Documents

Issues of quality and practicability in task analysis : preliminary