2006. 4. 미래경영연구원

2006. 4.

미래경영연구원

교육평가 및 효과 측정 사례교육평가 및 효과 측정 사례

2

교육평가 및 효과 측정이 왜 중요할까 ?

ORGANIZATIONAL

LEARNING

ORGANIZATIONAL

CHANGE

ORGANIZATIONAL

PERFORMANCE

SHRD DomainSHRD Domain

HRD as a Shaper of

Strategy

HRD to support Biz Strategy

3

교육평가 및 효과 측정이 왜 중요할까 ?

SHRD CharacteristicsSHRD Characteristics

※Source: Garavan, 1991

① Integration with organizational missions and goals

② Top management support

③ Environmental scanning

④ HRD plans and policies

⑤ Line manager commitment and involvement

⑥ Existence of complementary HRM activities

⑦ Expanded trainer role

⑧ Recognition of culture

⑨ Emphasis on evaluation

4

교육평가 및 효과 측정의 영역

미래경영연구원 KPI미래경영연구원 KPI

상사

평가

상사

평가

T-DNA 전사확산및 내재화

Global Biz 인력육성 체계 수립 / 실행

전구성원 변화 Mind set 제고를 위해 T-DNA 교육실시 가 . 전 실 / 본부 단위 T-DNA Camp 실시 나 . 팀 단위 Customized Program 실시

Global Expansion 에 따른 Global 인력육성 가 . Global Biz 전문가 육성 체계 수립 / 운영 나 . Customized Global HRD 체계 수립 / 운영

15

20

부문 SUPEX

추구 환경조성부문 SUPEX

추구 환경조성

Global HR Infra 구축

Global HR Infra 구축

KPIKPI TargetTarget Target Setting 근거Target Setting 근거가중치가중치

정량

평가

정량

평가

Leader

육성체계 구축 Leader

육성체계 구축

Biz. 전문가 육성Biz. 전문가 육성

리더십 P/G Quality

인당 직무교육시간

4.2

25• ’05 년 기준 (11 시간 ) 및 가용자원을 고려하여 설정

20

15

6 시그마 활용성과 BB 및 GB

인력육성• BB 1 명 , GB 2 명10

6 시그마 활동 내재화

6 시그마 활동 내재화

Learning

Account50 • ’06 년 전사 Learning Account 목표20

• PG 종료 3 개월 후 360 도 평가

5

교육평가 및 효과 측정의 영역

AssessmentAssessment EvaluationEvaluation

Team Assessment

- Team Effectiveness

Diagnosis

Organizational Assessment

- Employee Opinion Survey

Individual Assessment

- Leadership, Job

Competency etc.

Reaction

Learning

Behavior

Results

6

교육평가 및 효과 측정 사례 1. Reaction

3. 향후 TLP 에서 다루었으면 하는 주제가 있으시면 의견을 기술해 주시기 바랍니다 .

4. 기타 의견 및 제안 ( 본 과정의 유익한 점 , 개선해야 할 사항 등 )

- 감사합니다 .-

1. 본 프로그램에 대해 전반적으로 만족하십니까 ?

매우 그렇지 않다 그렇지 않다 보통이다 그렇다 매우 그렇다

의견 :

2. 세부 과목에 대한 의견을 기술하여 주시기 바랍니다 .

Team Effectiveness

제고 방안

매우 그렇지 않다 그렇지 않다 보통이다 그렇다 매우 그렇다

의견 :

7

교육평가 및 효과 측정 사례 2. Behavioral Change

■ 개요 - 대상 : LIP 연구원에 대해 360 도 다면 평가 ⇒ 본인 , 상사 , 동료 / 부하 (3 명 ) 등 총 5 명이 연구원의 역량 향상도 평가

- 방법 : LIP 참가 연구원의 리더십 역량 향상도를 평가하기 위해 LIP 과정 중 학습 내용을 중심으로 현장에서 행동의 변화 정도를 진단

- 기간 : 1 주 ( 과정 종료 3 개월 이후 )

진단 항목

• 업무 추진 과정에서 회사의 환경 변화를 이해하기 위하여 지속적으로 학습을 한다 .

• 업무 추진 과정에서 의사결정에 필요한 Key Factor 를 파악하여 분명하게 제시한다 .

• 업무 추진 과정에서 상대방을 설득하기 위해 구체적인 Evidence 나 논리를 제시한다 .

• 의사결정 과정에서 해당 팀의 Resource 를 감안하여 합리적인 선택을 한다 .

• 전사적이고 중장기적인 관점에서 항상 업무를 바라보려고 노력한다 .

영 역

Biz

Perspective

■ 진단 항목 (5 점 척도 ): 총 10 개 문항으로 구성 나는 ( 그는 ) LIP 를 받은 후에 아래 행동에 대해 업무 현장에서 변화된 모습을 보이고 있다 .

1: 매우 부정 , 2: 부정 , 3: 변화가 없다 , 4: 긍정 , 5: 매우 긍정 .

• 프리젠테이션 또는 회의에서 본인의 의견을 명확하고 설득력 있게 전달한다 .

• 구성원과 대화 시 상대방의 의견을 수용하고 존중한다 .

• 구성원의 성장을 촉진하기 위해 주기적으로 피드백을 한다 .

• 업무관련 미팅 시 논리적이고 실행력 있는 토론을 전개한다 .

• 회사의 변화 방향에 대해 구성원에게 알기 쉽게 설명해 준다 .

Leading

People

8

Assessment 1. 기업 내 Assessment 의 종류와 활용

•Assessment tool 로는 ACP, Multi-source feedback, interview, achievement records 등이 있음

Tools Advantage Limitations

AssessmentCenter

Program

•높은 신뢰도 및 타당도•객관적임•실제 상황과 유사한 시뮬레이션 potential 평가

Multi-source

Feedback

Competency based

Interview

•상대적으로 많은 시간 소요•비싼 개발 및 운영 비용•표준화의 어려움•훈련된 평가자 필요

•다양한 소스를 통해 보다 높은 정확도

•피평가자들의 결과에 대한 수용도가 상대적으로 높음

•자료수집 프로세스에 시간 및 집중적인 노력 필요

•Confidentiality 이슈•소스에 따른 결과의 편차로

의사결정시 어려움•상대적으로 방법 사용 및 적용의

제약이 없음•과거 경력이나 관심 정보 확인에

효과적•개인적 대면을 통한 실제 반응

관찰 가능

•면접자 - 피면접자 개인차에 따른 반응이 매우 다양하고 통제 불가능

•고비용•노동 집약적임•훈련된 interviewer 필요

Achievement

Records( 고과 )

•높은 신뢰도 및 타당도•객관적임•직무 중심

•기록 format 이나 관리시스템 다를 수 있음

•평가에 적합한 format 으로 전환하거나 통일해야 함

•직접자료가 아닌 간접 자료임

Possible Applications

•Corporate talent 선발•Corporate talent / CEO

육성•Middle / top management

승진 시

•Manager 성과 및 역량 평가 및 개발

•Corporate talent 역량 평가 및 개발

•Corporate talent 선발•Corporate talent/CEO 개발

계획 수립 기

•Corporate talent 선발 시 Developmental Council에서 리뷰

•Interview 나 개발 계획 인터뷰 시 기초자료로 활용

9

Assessment 2. ACP 의 역사와 정의

•다양한 평가방식을 조합하여 역할 특성에 맞도록 다양한 모의과제 (simulation exercise) 를 제시하고 , 그 수행 과정에서 Assessor 가 리더로서의 역량과 적응 준비도를 구체적인 반응 행동으로 확인하여 향후의 성과수준을 예측하는 방법이다 .

•경험적 연구에 기반•초점이 직무관련 행동 ( 행동기술 )

•직무요건 분석과 측정도구 방법의 특징이 타 방법에 비해 차별적

•Henry Murray(1943) : 복합적인 ( 중다 ) 소스의 정보가 복합적인 판단과정을 거쳐 복합적인 상을 구성함 . 제 2 차 세계 대전 중 미국 전략 사무국 (OSS) 을 위해 AC 를 개발 , 형식화

•Bray 와 Grant(1966) : AT&T 연구 , 다양한 측정 기법이 managerial potency 를 측정하는데 있어서 유용한 정보를 제공한다고 제안

•산업 장면에 사용된 이후 AC 의 사용은 급격히 증가 (1958. AT&T 에서 처음 관리자 선발에 사용 )

ACP 의 정의

ACP 의 역사

ACP 의 발전배경

10

Assessment 2. ACP 의 역사와 정의

ACP 의 목적• 21C 의 급변하는 변화에 능동적으로 대처하고 , 도전적인 경영성과를 달성하기 위해서는

리더의 확보와 육성이 필연적이다 . 리더의 역량을 분석하고 , 가장 효과적인 ACP 설계하며 , 효율적 운영 프로세스를 구축함으로써 장기적인 성과 향상과 이익창출의 기반을 굳건히 하는 것이 ACP 의 주 목적이다 .

• 초기 30 년간 AC 의 주된 용도 : 앞으로 부여할 직무나 역할에 필요한 요구를 가진

후보자를 확인

ACP 의 활용 영역• HR 관련 의사결정 직무나 역할의 역량 프로파일을 과학적으로 평가할 수 있는 다양한 형태의 과제와 척도를 활용함으로써 객관적 근거를 제시한다 .

• 개인의 잠재력을 경험적으로 확인 지필검사나 일방적 제안이 아닌 다양한 활동 , 집단역동 , 실무적 이슈와 자료 등으로 구성된 모의과제를 통해 역량의 실 보유 여부를 확인한다 .

• 리더로서의 역량 육성 포인트 설정 현 강점 뿐 아니라 취약점이 명료하게 표출됨으로써 향후 육성을 위한 구체적 훈련 요구점과 자기재발 포커스를 공유하고 , 자발적이고 효율적인 육성 노력과 투자가 가능하다 .

• 인력 계획 및 조직 재설계의 기준 제시 개인뿐 아니라 조직의 다양한 개성과 장단점에 관한 정교한 자료를 바탕으로 중장기 인력 운용 및 조직재설계 전략을 수립할 수 있다 .

11

Assessment 3. ACP 의 구성

ACsACs DACsDACsPurposePurpose -assessment

-HR decision making-assessment & development -transfer of training

ExperienceExperience -diagnostic -experiential learning, self-reflection, performance improvement

Assessee’s RoleAssessee’s Role -assessee -active learner

FocusFocus -overall performance -dimension performance -improvement

DimensionsDimensions -not always transparent-stable abilities

-extremely transparent-developable knowledge & skills

FeedbackFeedback -pass/fail, given upon completion

-extensive, given at multiple time points; detailed, behavior-based, high quality action plans

12


1. Job analysis (behaviors)

2. Behavioral classification (dimensions)

3. Links:behaviordimensionexercise

4. Multiple assessments

5. Simulations

6. Multiple assessors

7. Assessor training

8. Recording behavior

9. Reports

10. Data integration

by Deborah Rubb

10 Ingredient ofACP

13


• 실제 업무 상황을 모사한 exercise 에 참가

• ACP assessor training 을 이수한 평가 전문가가 행동을 관찰 및 기록

• Assessor 는 assessee 를 가능한 한번 이상 관찰

• Assessor 는 개인별 관찰결과를 기록하고 , evaluation 리포트 작성

• ACP 진행자는 assessor 를 모아 “ Consensus meeting” 을 통해 자료를 통합하고 , 평정 결과와 최종 의사결정을 보고함

• ACP 진행자나 assessor 는 각 참가자에게 평가 결과에 대해 객관적인 자료를 근거로 개별적인 feedback

1 단계

2 단계

3 단계

4 단계

5 단계

• ACP 의 진행 단계 ( 예시 )

14


–In-basket

–Analysis

–Fact-finding

–Interaction

–Oral presentation

–Leaderless group discussion

(assigned role; competitive)

측정역량

과제종류

• ACP 의 측정 역량 및 Simulation 과제 종류

–전략적 사고

– 의사결정

–고객중심

–동기유발

–변화지향… .

15


Observe Record (behavioral observation notes) Classify Rate (behavioral checklists or behaviorally anchored rating scales) Share (integration discussion) Examples…

Assessor 는 누가 되는가 ? 해당 역량의 전문가 HR/ 심리 전문가

• Assessor 의 역할

16


Multi-source feedback– Self

– Supervisor

– Peers

– DAC Assessors

Consistency Explanation

Narrative report Action steps Suggested readings

• Follow up & Feedback

17

Assessment 4. ACP 활용 사례

진단영역

Leadership Style

Core Personality Trait

내용 특성 진단방법

모의상황에서 나타나는 가상적 리더십 행동Leadership Potential 과 관련

실제 업무상황에서 나타나는 리더십 행동현재의 Leadership 역량 및 성과와

직접적 관련

리더십 요구환경에서 나타나는 행동적 스타일

환경과의 상호작용에 따라서 가변적

핵심 인성특성근본적 / 내재적 특성쉽게 변화하지 않음

ADP(Simulation)

인사고과

다면평가

SJT (Situational Judgment Test)

인성검사

Simulated Leadership Behaviors

Real Leadership Behaviors

• 진단 영역

18


행동 및 성과

인식

내면 성격유형 등 근본적이고 내재적인 특성 진단 진단자 : 본인 장 점 : 진단용이 , 생각이나 행동의 원인 파악 단 점 : 진단결과 해석에 전문가의 도움이 필요

직무관련 모의상황에서 선택하는 행동경향성 진단 진단자 : 다면진단 ( 본인 , 상사 , 동료 , 부하 ) 장 점 : 진단용이 , 저비용 단 점 : 상황에 따라 모범적 행동의 순위가 가변적

직무관련 모의상황에서 대처하는 행동 진단 진단자 : 외부 전문 Assessor 장 점 : 상황적 요소 때문에 나타나지 않은 잠재적 역량을 진단 가능 단 점 : 고비용 , 시간투여가 과다함

업무수행상 실제 발현되는 행동 진단 진단자 : 다면진단 ( 본인 , 상사 , 동료 , 부하 ) 장 점 : 실제 수행결과에 근거한 평가 단 점 : 관대화 경향

자가진단 타인진단

인성검사

ADP**

인사고과

SJT*

다면평가

• 다양한 영역별로 적합한 진단 Tool 을 활용하여 자가진단과 타인진단을 실시

19


Types of Talent

Team

Manager

Leadership Program

CEO Academy

AMP

LEP

LIP

JMF

국내외MBA

Executive

Manager &

Assistance

Manager

Competency Breadth

Professional

Manager

Expert

Talent

Leader

Talent

General Talent

Biz Impact

Low High

ACP

• Talent 유형

20


참가자 Orientation

과제 배포

참가자 과제 분석 (RP, Data Analysis, Reporting, )

Role-Play/Presentation

결과 통합 및 역량 판정

Exercise & Situation Action

Assessee

Assessor

Assessee

Assessor Observer

Leader Competency : 7 개 핵심역량 Simulation : 5 개 Simulation 과제 수행 ● Role-Play ● Presentation ● Interview

• ACP 구조

21


• 핵심 인재의 역량 진단 및 Pooling 시 • 주요 Position 이동 시• 핵심 인재의 역량강화를 위한 강 / 약점 도출 및 육성 계획 제시

실제 활용

• 용도 : 평가용 or 개발용

• 과제 : 구체적 / 실질적으로 측정하고자 하는 역량이 무엇인가 , 과제의 목적 분명히

• Assessor : Frame Of Reference 가 매우 중요

• 결과통합 : 결과의 판정 못지 않게 Assessee 의 반응 이면의 심리적 동기도 함께

분석할 수 있어야 함 .

• Follow up : ACP 이후 역량의 향상과정 , 실질적 행동의 변화과정을 반드시 F/U 해야 함 .

꼭 챙길 사항

• 전략과 연계된 과제 설계자 • 학습자에 대한 Learning Coach

- 역량의 강 / 약점에 대한 피드백 - 역량향상을 위한 가이드 • 실질적인 학습의 전이관리자

교육담당의역할 확대

22

구분Leadership

임원

부장

차장

과장

대리

사원

Value Biz-specific Talent

JMF

LAPLAP

LIP

LEPLEP

SK Academy FMI프로그램 주관 부 문기존 P/G 신규 P/G신규 P/G프로그램

일반 구성원 Leader Pool

CEO Academy

AMP

T-DNA 확산 신입 / 승진자

임원 W/S임원 W/S

팀장 W/S팀장 W/S

T-DNACamp

T-DNACamp

신입사원 입문교육 P/G

신임 팀장 교육 P/G

신임 임원 교육 P/G

신임 차장교육 P/G

신임 과장교육 P/G

Core Global

신입사원 OJT

직무 전문

( 초급 )

직무 전문

( 초급 )

직무 전문

( 고급 )

직무 전문

( 고급 )

직무 전문

( 중급 )

직무 전문

( 중급 )

IDP

주재원 P/G

Global리더십

P/G

주재원 P/G

Global리더십

P/G

해외파견인력

지역전문가

P/G

GlobalBiz 역량

P/G

어학교육P/G

지역전문가

P/G

GlobalBiz 역량

P/G

어학교육P/G

GlobalBiz 상비군

BIF

직무

공통

직무

공통

Leadership 향상 P/GLeadership 향상 P/G

부장후보자과정

부장후보자과정

TLP

<’06 년 인력육성 P/G 체계 >

Documents

2006. 4. 미래경영연구원