.

Profa. Dra. Gardênia AbbadGrupo Pronex-CNPq

Efetividade de Ações de Efetividade de Ações de Treinamento, Treinamento,

Desenvolvimento e Desenvolvimento e Educação Educação

Estrutura da Apresentação

1. Treinamento, Desenvolvimento e Educação – TD&E

2. Efetividade de ações de TD&E3. Mensuração e Avaliação4. Modelos de Avaliação de Resultados5. Modelos integrados de avaliação de

TD&E6. Medidas e avaliações na prática7. Resultados, desafios e tendências

TD&E

Desenvolvimento

Educação

Treinamento

Instrução

Informação econhecimento

Textos, artigos, teses, links...(conteúdos)

Aulas, manuais, orientações job aids, (conteúdos + como)

Cursos, oficinas, palestras, laboratórios, fóruns, estágios

(muda o desempenho na atividade)

Combinações de ações educacionais e outras, como QVT

Cursos de média e longa duração, MBAs, mestrados,

doutorados(análise, síntese, avaliação)

Processos mais gerais de aprendizagem que propiciam o amadurecimento e o crescimento individuais de forma ampla, sem visar diretamente o preparo do indivíduo para uma atividade ou trabalho.

Desenvolvimento

Educação

• Eventos de aprendizagem que capacitam o indivíduo a atuar em postos de trabalho específicos em um futuro próximo. (Nadler, 1984).

• Geralmente envolvem a participação de pessoas em programas de longa duração.

Treinamento

– esforço da organização para facilitar a aprendizagem de comportamentos relacionados ao trabalho. (Borges-Andrade e Abbad, 1996, Wexley, 1984)

– ações que garantem a “aquisição sistemática de de atitudes, conceitos, conhecimentos, regras ou habilidades que resultam na melhoria de desempenho no trabalho.”

Instrução

• Processo sistemático de formulação de objetivos e escolha de métodos de ensino.

• Indicado para o desenvolvimento de competências de baixa complexidade.

Informação - Conhecimento

Tecnologias (objetos de aprendizagem) que armazenam e facilitam o acesso e a organização de informações e conhecimentos relacionados ao trabalho.

TD&E

Desenvolvimento

Educação

Treinamento

Instrução

Informação econhecimento

Hierarquia dos objetos de

aprendizagem

Modelo de TD&E

TD&E – Visão SistêmicaTD&E – Visão Sistêmica

Desenho e Execução

Avaliação de Necessidades

Avaliação de Treinamento

Contexto

Organizacional

Efetividade em TD&E

• Efetividade– Alcance de metas– Fazer o que é preciso fazer.– Desempenho de qualidade.

• Eficiência:– Fazer mais com menos recursos– Qualidade dos processos

Avaliar

Mensurar Julgar

Avaliação: processo que inclui coleta de dados e emissão de juízo de valor sobre a efetividade de um dado sistema instrucional.

Mensuração e Avaliação

AVALIAR TREINAMENTO PARA QUE?

• Obter controle sobre o treinamento• Fazer retroalimentação para

treinamento• Tomar decisões sobre treinamentos• Fazer o treinamento funcionar• Tornar treinamento externamente

válido

Mensuração e Avaliação

AVALIAÇÃO DE TREINAMENTO

Pressupostos: existem objetivos e efeitos de T&D em cada nível, bem como uma cadeia de determinação entre eles

Papel da avaliação: utilizar esses objetivos como parâmetros e coletar dados sobre os efeitos nos diferentes níveis e compará-los com os esperados

LÓGICA DO PLANEJAMENTO

DE TREINAMENTO

CADEIA DOSRESULTADOS

DE TREINAMENTO

Ações não vinculadas a treinamento(ñ. “T”)

Variáveis interferentes(V. intf.)

OBJETIVOS DEREAÇÕES

OBJETIVOS DEAPRENDIZADO

OBJETIVOS DECOMPORTAMENTO

NO CARGO

OBJETIVOS DAORGANIZAÇÃO

OBJETIVOS DEVALOR FINAL

EFEITOS DEREAÇÕES

EFEITOS DEAPRENDIZADO

EFEITOS NOCOMPORTAMENTO

NO CARGO

EFEITOS NAORGANIZAÇÃO

EFEITOS DEVALOR FINAL

TREINAMENTOTREINAMENTO

AVALIAÇÃO DE

TREINAMENTO

V. intf.

V. intf.

V. intf.

V. intf.

ñ. “T”

ñ. “T”

ñ. “T”

ñ. “T”

COMPARAR

COMPARAR

COMPARAR

COMPARAR

COMPARAR

Modelo de Avaliação – Hamblin Modelo de Avaliação – Hamblin

NÍVEIS DE AVALIAÇÃO DE TREINAMENTO

- HAMBLIN 1978 -

Reação

Aprendizagem

Comportamento

Mudança

Valor Final

Satisfação c/ o treinamento

Alcance Objetivos Instrucionais

Impacto no Desempenho

Eficiência da Organização

Eficácia da Organização

NÍVEIS DE AVALIAÇÃO DE TREINAMENTO

Reação

Aprendizagem

Comportamento

Mudança

Valor Final

AVALIAÇÃO FORMATIVA E SOMAVIVA

Avaliação formativa

Coleta de dados realizada durante o processo de desenvolvimento do evento instrucional.

Objetiva a obtenção de informações que validem e/ou indiquem as correções necessárias no desenho instrucional (materiais, estratégias, meios, modalidade etc).

Avaliação somativa

•É realizada após o evento educacional.

•Possibilita julgar um programa já concluído e aprimorar os subseqüentes. •Pode continuar após o evento até que todos os níveis de resultados sejam avaliados ou até que o sistema instrucional inteiro atinja os níveis de eficiência, eficácia e efetividade esperados.

MODELO DE AVALIAÇÃO INTEGRADO E SOMATIVO (MAIS)

PRESSUPOSTOS1 AVALIAÇÃO É JULGAMENTO DO VALOR DO TREINAMENTO.

2 AVALIAÇÃO EXIGE PLANEJAMENTO COMO PRÉ-REQUISITO.

3 CARACTERÍSTICAS A SEREM AVALIADAS SÃO DETERMINADAS PELOS PRINCÍPIOS TEÓRICOS ADOTADOS NO PLANEJAMENTO.

4 AVALIAÇÃO TAMBÉM É OPORTUNIDADE PARA CONSTRUIR CONHECIMENTO (APRENDER SOBRE TREINAMENTO).

5 RESULTADOS DA AVALIAÇÃO PODEM ALTERAR PLANEJAMENTOS FUTUROS.

Modelos Somativos de Investigação

ReaçãoReação

Aprendizagem

Comportamento

Resultados

Valor FinalValor Final

TreinamentTreinamentoo

ClientelaClientela

SuporteSuporte

Preditores Critérios

5 COMPONENTES

AMBIENTEINSUMOS INSUMOS PROCEDIMENTOS PROCESSOS RESULTADOS

PROCEDIMENTOS

AMBIENTE: APOIO

AMBIENTE:NECESSIDADES

AMBIENTE:RESULTADOS

A LONGOPRAZO

AMBIENTE: DISSEMINAÇÃO

PROCESSO

PROCESSO

INSUMOS RESULTADOSINSUMOS

INSUMOSINSUMOS

INSUMOSINSUMOS

DESCRIÇÃO: FATORES FÍSICOS E SOCIAIS

ESTADOS COMPORTAMENTAIS

ANTERIORES À INSTRUÇÃO

PODEM AFETAR INSTRUÇÃO

EXEMPLOS: - NÍVEL SÓCIO-ECONÔMICO;

- HABILIDADES;

- PRÉ-REQUISITOS;

- ATITUDES SOBRE O CONTEÚDO;

- ATITUDES SOBRE EQUIPE (PESSOAS)

- EXPERIÊNCIA NA ÁREA (PRÁTICA)

PROCEDIMENTOS

DESCRIÇÃO: A. OPERAÇÕES QUE PRODUZEM RESULTADOS INSTRUCIONAIS

B. INCLUEM OCORRÊNCIAS DELIBERADAS E ACIDENTAIS

EXEMPLOS: - SEQUÊNCIA DE OBJETIVOS;- TEMPO PARA PRÁTICA;- RETROALIMENTAÇÃO;- APRESENTAÇÃO DE OBJETIVOS;- LEMBRANÇA DE PRÉ-REQUISITOS;- DEMONSTRAÇÕES;- INSTRUÇÕES VERBAIS;- APRESENTAÇÕES DE EXEMPLOS/ EXPLICAÇÕES;- AULAS EXPOSITIVAS.

PROCECIMENTOS

PROCESSOS

PROCESSOS

PROCESSOS

PROCESSOS

DESCRIÇÃO: A. OCORRÊNCIAS RESULTANTES DO PROGRAMA DE TREINAMENTO, DURANTE SUA IMPLEMENTAÇÃO.

B. DESEMPENHOS INTERMEDIÁRIOS DO APRENDIZ.

EXEMPLOS: - RESULTADOS DE EXERCÍCIOS PRÁTICOS;

- TEMPO DE ESTUDO INDIVIDUAL;- NÚMERO DE REPETIÇÕES DE ATI- VIDADES;- NÚMERO DE DESISTENTES.

RESULTADOS

RESULTADOS

DESCRIÇÃO: A. ALCANCE DOS OBJETIVOS

DEFINIDOS

B. EFEITOS INESPERADOS DESEJÁVEIS

E

INDESEJÁVEIS

C. DETERMINADOS AO FINAL DO

TREINAMENTO

EXEMPLOS: QUALQUER HABILIDADE, ATITUDE,

CONHECIMENTO RESULTANTE DO

TREINAMENTO

AMBIENTE:

•LACUNAS ENTRE SITUAÇÕES REAIS E IDEAIS•LACUNAS NAS COMPETÊNCIAS•DESVIOS NOS RESULTADOS•FALHAS EM PROCESSOS ORGANIZACIONAIS

Necessid

ad

e

Necessid

ad

e

AMBIENTE:

VARIÁVEIS NO LAR, NA ORGANIZAÇÃO, NA COMUNIDADE

TÊM INFLUÊNCIA POTENCIAL SOBRE OUTROS COMPONENTES

PODEM FACILITAR PROCESSO DE ENSINO-APRENDIZAGEM

INVESTIMENTOS; INSTALAÇÕES PARA TREINAMENTO;

MATERIAIS; ATITUDES DA ORGANIZAÇÃO SOBRE O

TREINAMENTO; PROPORÇÃO APRENDIZ/INSTRUTOR;

FORMAÇÃO ACADÊMICA E PEDAGÓGICA DOS INSTRUTORES,

SUPORTE À TRANSFERÊNCIA DE TREINAMENTO..

EXEMPLOS:

APOIO

APOIO

AMBIENTE:

DISSEMINAÇÃO

DISSEMINAÇÃO -

VARIÁVEIS QUE CONTRIBUEM PARA

ADOÇÃO OU PROCURA DO

TREINAMENTO

EXEMPLOS: MEIOS DE DIVULGAÇÃO DO

TREINAMENTO; ESTRATÉGIAS DE

DIVULGAÇÃO

DISSEMINAÇÃO

RESULTADOSA LONGOPRAZO

AMBIENTE:

CONSEQUÊNCIAS AMBIENTAIS DO TREINAMENTO

ESPERADAS E INESPERADAS

NÃO SÃO MEDIDAS LOGO APÓS TREINAMENTO

EXEMPLOS: DESEMPENHO NO CARGO; MUDANÇAS NA

ORGANIZAÇÃO; INDICADORES DE CUSTO-BENEFÍCIO; VALOR SOCIAL

RE

SU

LT

AD

OS

E

M L

ON

GO

P

RA

ZO

RESULTADOSLONGOPRAZO

INSUMOS

AMBIENTE: Resultados (Longo prazo)

RESULTADOS LONGO PRAZONOS NÍVEIS DE:

INS

UM

OS Indivíduo

Equipe

Organização

AMBIENTE: Resultados (Longo prazo)

Ambiente: Resultados ou Impactos a Longo Prazo

No nível do indivíduo:• afetivos (atitudes frente a pessoas, objetos, aspectos do

trabalho e não trabalho, si próprio e aprendizagem; motivação no trabalho; auto eficácia; bem estar mental)

• cognitivos (uso de informações verbais, conceitos e regras e solução de problemas ou criatividade)

• psicomotores (velocidade, fluidez)• fisiológicos (saúde, doença e aptidão física)• instrumentais intrínsecos (autonomia, elogios e

ridicularização)• Instrumentais extrínsecos (aumento, promoção e novos

trabalhos)• instrumentais relacionais (networking, relações de

colaboração, capacitação de outras pessoas)• instrumentais não relacionados ao trabalho (mudanças

em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida)

No nível da equipe:• afetivos (coesão, satisfação, auto-eficácia,

ambigüidade de papéis e orientação para tarefa)• cognitivos (conhecimento possuído e representado)• de desempenho (comunicação interna, tomada de

decisão, solução de conflitos, níveis de participação)• instrumentais intrínsecos (responsabilidades e

variedade de trabalho recebido)• instrumentais extrínsecos (bônus)• instrumentais de qualificação (certificações formais)

Ambiente: Resultados ou Impactos a Longo Prazo

No nível da organização:• relativos a metas de produtos (quantidade,

qualidade, variedade)• relativos a metas do sistema (crescimento,

lucro, retorno de investimentos)• aquisição de recursos (novos clientes,

compra de outras organizações)• constituintes (satisfação de consumidores e

acionistas, imagem)• de processos internos (novas tecnologias,

clima, absenteísmo, rotatividade, taxas de acidentes)

Ambiente: Resultados ou Impactos a Longo Prazo

Ambiente: Suporte / Restrições Situacionais

Modelo Empírico de Avaliação

1. Clientela

2. Treinamento

3. Reações

4. Aprendizagem

5. Impacto

6. Suporte à Transferência

7. Resultados

Representação esquemática do modelo IMPACT de avaliação de TD&E (Abbad, 1999, 2003 e 2006)

Instrumentos de avaliação

• Resultados:– Itens de escala de avaliação de Reações ao

treinamento– Aprendizagem– Itens de escalas de Impacto do treinamento no Trabalho

(em amplitude e profundidade)– Resultados e Valor Final

• Apoio ou Suporte– Itens da escala de Suporte Psicossocial à Transferência– Itens da escala de Suporte Material

• Procedimentos ou características do treinamento– Itens do Roteiro de análise de materiais didáticos– Itens do Roteiro de observação de instrutor

MEDIDAS DE REAÇÃO• O que medir? Com o que? Como medir?

– Medida global ou múltiplas medidas com foco em distintos aspectos: insumos, procedimentos, processos, resultados e ambiente (necessidades, apoio, disseminação e resultados a longo prazo)

– Questionários específicos para cada organização, extraindo-se fatores e calculando-se sua confiabilidade (geralmente muito bons!)

– Lápis e papel, maioria de questões fechadas; ou observação de eventos; ou análise documental

– Alto grau de correspondência entre resultados quantitativos e qualitativos

– Houve avanços no sentido de enfrentar desafios

EXEMPLOS DE ITENS DE AVALIAÇÃO DE REAÇÃO

Ordenação do conteúdo.

Adequação dos conteúdos aos objetivos.

Definição de objetivos.

Carga horária total.

Qualidade e organização do material didático

Quantidade de material didático.

Carga horária diária.

Carga horária para atividades práticas.

Compatibilidade entre objetivos e necessidades

Qualidade das instalações.

Reação à Programação e ao Apoio

Abbad (1999)

MEDIDAS DE APRENDIZAGEM

• Parâmetros– fixados pelos objetivos ou pelo conteúdo?– desempenho do grupo de treinandos e do indivíduo

antes e depois?

• Avaliador– especialista em conteúdo ou em avaliação?

• Experiências (auto-relatos e pós-testes)– poucas e baixas correlações com outros

componentes do modelo (insumos, procedimentos, processos e ambiente)

– medidas aparentemente frágeis– houve poucos avanços e foi feito pouco esforço

• Medir observando ou perguntando?– Dificuldades para

observar desempenhos complexos, ou não rotineiros e para evitar ingerências no trabalho

– Perguntas acabam sendo melhor alternativa, além de exigirem custos e esforços menores

– Análises de conteúdos de perguntas abertas muito freqüentemente apoiaram dados quantitativos

• Auto (treinandos) ou hetero (supervisores, colegas ou clientes) avaliações?– Combinação seria o

ideal – Validade e alta

precisão confirmadas seguidamente

– Supervisores e colegas às vezes mais rigorosos que treinandos, outras vezes foram estes.

• Estudos permitiram avanços importantes nesse nível de avaliação

MEDIDAS DE COMPORTAMENTO NO CARGO

Impacto do Treinamento no Trabalho

EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM AMPLITUDE

Auto-Avaliação de Impacto do Treinamento no Trabalho - Amplitude

Utilizo com freqüência as habilidades que aprendi no treinamento.

Sugiro com mais freqüência mudanças nas rotinas de trabalho.

Estou mais receptivo a mudanças.

Meus colegas aprendem comigo.

Aproveito as oportunidades que tenho para praticar as novas habilidades.

Cometo menos erros no meu trabalho

Recordo-me bem dos conteúdos que aprendi no curso.

Realizo meu trabalho com maior rapidez.

Melhorou a qualidade do meu trabalho.

Melhorou a qualidade do meu trabalho em tarefas não relacionadas ao curso.Construído em 1999 por Abbad, validado em diversas organizações. Estrutura empírica confirmada em 2004 por Pilati e Abbad.

EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM PROFUNDIDADE – Auto

Auto-Avaliação de Impacto do Treinamento no Trabalho - Profundidade

Promovo o processo de integração grupal de minha equipe, potencializando os aspectos facilitadores e minimizando os dificultadores desse processo.

Incentivo a participação dos membros da equipe na identificação de problemas e suas possíveis causas.

Incentivo a participação dos membros da equipe no planejamento, nas decisões e na busca de soluções.

Estimulo a criatividade da equipe potencializando os fatores facilitadores e minimizando os dificultadores.

Solicito feedback aproveitando as observações feitas pelos pares e outros colaboradores para fazer a auto-crítica.

Dou feedback aos colaboradores de maneira adequada e eficaz.

Transmito mensagens com clareza, certificando-me da compreensão.Este tipo de instrumento é específico e construído para cada curso.

I MPACTO EM PROFUNDIDADE TREINAMENTO NO TRABALHO - ECONOMIA APLICADA

1. Toma decisões com base nos impactos decorrentes da expansão/ contração dos meios de pagamento da atividade econômica.

2. Prospecta oportunidades de negócio, gerando soluções inovadoras ao mercado em que atua.

3. Detecta potenciais/reais ameaças ao desempenho do Banco, antecipando-se à concorrência na apresentação de soluções.

4. Conduz o processo negocial de acordo com a estrutura do mercado em que o cliente atua.

5. Utiliza indicadores econômico – financeiros para apoiar decisões negociais.

6. Avalia metas com base em seus indicadores econômicos financeiros.

7. Baliza decisões sobre oferta e demanda de produtos e serviços (exemplo créditos, seguro) com base na evolução dos principais indicadores macroeconômicos do país (PIB, juros, câmbio, finanças públicas, balança de pagamento) e nas análises setoriais.

8. Conduz o processo negocial de acordo com a análise do contexto da economia internacional (comércio internacional, balança de pagamento, mercado cambial, blocos econômicos, globalização, dívida externa).

EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM PROFUNDIDADE

Hetero

MEDIDAS ORGANIZACIONAIS• Questões equivalentes às do nível anterior:

– Foco no comportamento da organização ou de suas unidades

– Medidas de observação e perguntas são usadas– Mudanças (deduzidas dos objetivos) a serem detectadas

na cultura, valores, metas, estruturas, processos e desempenhos organizacionais ou de equipes

• Faltam sistemas organizacionais de controle e avaliação sensíveis à detecção de efeitos de T&D

• Escores relativos a comportamento no cargo sistematicamente maiores que os de mudança organizacional

• Há muito por avançar. Caminho está traçado e parece ser equivalente ao do nível anterior

MEDIDAS DE VALOR FINAL

• Muda o quadro de referências

– da Psicologia, Educação e Administração para a Economia

• Identificação e cálculo dos parâmetros da avaliação

– Que objetivos de T&D aprendidos levariam a mudanças no trabalho dos indivíduos e na organização, que levariam a que indicadores de custo e benefícios?

– Existe tecnologia de coleta e análise de dados, dependente de grande motivação e capacitação organizacionais e elevados e duradouros investimentos em T&D

• Raramente consegue-se implementar esse nível

– Existe relato de uma experiência nacional

– Experiências internacionais só relatadas por um grupo de pesquisadores

Suporte à Transferência: refere-se ao apoio de chefes e colegas ao uso de novas habilidades no trabalho (fator 1).

Fator 1: Suporte Gerencial e Social à Transferência Freq.

Meu chefe encoraja a aplicação.

Meu chefe planeja comigo o uso das novas habilidades.

Recebo as informações necessárias ao uso eficaz das novas habilidades.

Meu chefe remove obstáculos e dif iculdades ao uso eficaz das novas habilidades.

Meu chefe encoraja-me a aplicar no trabalho o que aprendi no treinamento.

Recebo elogios pelo uso correto das novas habilidades.

Minhas sugestões são levadas em consideração.

Recebo as orientações e informações necessárias à aplicação eficaz das novas habilidades.

Recebo apoio dos colegas experientes.

Minhas tentativas de uso das novas habilidades passam despercebidas.

Tenho oportunidades de utilizar no trabalho o que aprendi no curso.

São ressaltados os aspectos negativos à aplicação das novas habilidades.

Exemplo de Medida de Apoio

Abbad, 1999Abbad e Sallorenzo, 2001

Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos recursos materiais necessárias ao uso eficaz de novas habilidades no trabalho (fator 1).

Suporte Material à Transferência Freq.

Os recursos materiais estão em boas condições de uso.

A organização fornece recursos em quantidade suficiente.

A organização fornece os recursos materiais necessários.

As ferramentas de trabalho são compatíveis com a aplicação eficaz das

novas habilidades.

O local de trabalho é adequado à aplicação das novas habilidades.

Exemplo de Medida de Apoio

Características do Treinamento: qualidade do projeto instrucional e da execução do programa.

Roteiro de Análise Documental - (27 itens)Objetivos Instrucionais (7 itens):

- Descrição em termos de desempenhos observáveis- Precisão na escolha do verbo de ação- Existência de critério qualitativo- Descrição clara do objeto da ação- Adequação do nível de complexidade do verbo às

taxonomias- Clareza nas definições de condições

Adequação de Estratégias e Meios (5 itens)Exercícios (3 itens)Recursos de Apoio (7 itens- textos, transparências, filmes, vídeos e similares) Fontes de Informação (2 itens - bibliografia e outros meios)Planejamento de Atividades (2 itens) Seqüência de apresentação dos conteúdos (2 itens)

Exemplo de Medida de Procedimento

Características do Treinamento: qualidade do projeto instrucional e da execução do programa.

Roteiro de Observação do Instrutor – 54 itensDidática (44 itens)

- Transmissão de objetivos

- Uso de estratégias para motivar os treinandos

- Apresentação de conteúdos e exemplificação

- Uso de estratégias e meios instrucionais

- Atividades Práticas e Avaliações de Aprendizagem

- Sumarização

- Organização e Administração do Tempo

Domínio do Conteúdo (6 itens)

Entrosamento com os Treinandos (4 itens)

Exemplo de Medida de Procedimentos

Resultados de Pesquisas

Científicas Nacionais e Estrangeiras

Características metodológicas das pesquisas nacionais e estrangeiras

Método Pesquisas nacionais Pesquisas estrangeiras

Amostra  

Profissionais de nível superior e médio (2º grau completo).16 a 65 anos de idade.

Profissionais de nível superior e médio (2º grau completo) e estudantes universitários.Jovens

Organizações Públicas, Privadas e de diferentes setores econômicos. Bancos, prestadoras de serviços de telecomunicações, empresas de pesquisa, saúde, financeira, tribunais, escola técnica, energia elétrica, transporte de passageiros,universidades, escola de governo, entre outros.

Públicas, privadas, forças armadas, universidades e empresas de diferentes setores econômicos.

Coleta de dados

Aplicação de questionários, observação direta, análise documental, entrevistas.

Aplicação de questionários e testes.

Atualização da revisão: Abbad, Pilati e Pantoja, 2003.

Método Pesquisas brasileiras Pesquisas estrangeiras

Fontes de informação

Auto-avaliação, hetero-avaliação (pares e supervisores), análise documental e bases secundárias de dados.

Auto e hetero-avaliação.

Medidas de efetividade

Reações (escalas específicas) Aprendizagem (escores em provas, exercícios práticos).Medidas de impacto em amplitude e profundidade. Impacto em resultados e valor final.

Reações (escalas específicas)Medida de impacto em profundidade.

Análise do relacionamento entre variáveis

Regressão múltipla stepwise, padrão e sequencial, correlação canônica, equação estrutural, ANOVAS, ANCOVA, Análise de Clusters.

Equação estrutural, regressão hierárquica, ANCOVA, MANCOVA e MANOVA

Características metodológicas das pesquisas (cont.)

Atualização da revisão: Abbad, Pilati e Pantoja, 2003.

Apoio ou SuporteApoio ou Suporte

Disseminação

InsumoInsumoClientelaClientela

ProcedimentoProcedimento

Processo

Processo

ResultadosResultados1 e 2

RESULTADOS

334455

NECESSIDADES

Modelo de Avaliação Integrada e Somativa de Sistemas Instrucionais – MAIS - Borges-Andrade

Escalas Validadas Escalas Validadas AutoresAutores

Auto-eficácia Meneses, 2002.

Locus de controle Meneses, 2002.

Auto conceito profissional Tamayo, 2002.

Valor instrumental do treinamento Lacerda, 2002; Pilati, 2004.

Motivação para aprender e para transferir a aprendizagem

Abbad, 1999; Lacerda, 2002.

Comprometimento com a carreira Rodrigues, 2000.

Comprometimento no trabalho Bastos, 1994; Rodrigues, 2000; Pilati, 2005.

Estratégias de Aprendizagem 

Zerbini, 2003.

Hábitos de estudo Zerbini, 2003; Brauer, 2005

Crenças sobre sistemas de treinamento

Freitas, 2005

Indicadores de prazer e sofrimento Mendes, 1999; Mota, 2002.

Motivação para aplicar Pilati, 2004.

Estratégias para aplicar no trabalho o aprendido em treinamento

Pilati, 2004.

Medidas de avaliação de Características da Clientela Medidas de avaliação de Características da Clientela (Insumos)(Insumos)

InsumosInsumos Procedimentos Processos Apoio Disseminação

 

 Medida relativa a ProcedimentosInstrumento Autor

Taxonomia de treinamentos (cinco categorias) Pilati, 2005

Medidas de avaliação de Processos

Medidas Autor

Uso dos recursos da internet em curso a distânciaEscores em exercícios e testes intermediários

Pilati, 2005Borges-Ferreira, 2005

Insumos Procedimentos Processos Apoio Disseminação

Instrumentos ValidadosInstrumentos Validados AutoresAutores

Suporte organizacional Abbad, Pilati e Borges-Andrade, 1999

Suporte à transferência de treinamento (Suporte psicossocial e Suporte Material)

Abbad, 1999; Abbad e Sallorenzo, 2000.

Falta de Suporte à transferência de curso a distância

Carvalho, 2003.

Suporte à aprendizagem contínua Freitas e Pantoja, 2003

Suporte à Aprendizagem Coelho Jr., 2004

Barreiras à conclusão de treinamento a distância

Brauer, 2005

Modernidade organizacional Del Maestro, 2005

  

Medidas de Avaliação do Ambiente - Apoio ou Medidas de Avaliação do Ambiente - Apoio ou SuporteSuporte

Medida de Avaliação do Ambiente - DisseminaçãoInstrumento Validado Autora

Disseminação de informações sobre treinamento Meira, 2004

Insumos Procedimentos Processos Apoio Disseminação

Principais resultados das pesquisas nacionais e estrangeirasVariáveis Preditoras

Pesquisas Nacionais Pesquisas Estrangeiras

Insumos ou Clientela

Gênero, idade, tempo transcorrido desde no término de nível superior, escolaridade, cargo, motivação para aprender, comprometimento, intenção em aplicar o aprendido, auto-eficácia, valor instrumental, motivação para aplicar, crenças sobre o sistema de treinamento, conhecimento anterior sobre temas abordados no treinamento, estratégias para aplicar o aprendido no trabalho.

Motivação para aprender, conscienciosidade, ansiedade, nível de agressividade, traço de personalidade, adaptabilidade, emoções, tipo de orientação para objetivos, estratégias de aprendizagem (cognitivas e afetivas), estratégias de aplicação das habilidades, capacidade de imaginação (imagery), auto-eficácia, locus de controle e idade.

InsumosInsumos Procedimentos Processos Apoio Disseminação

Insumos Procedimentos Processos Apoio Disseminação

Principais resultados das pesquisas nacionais e estrangeiras

Variáveis Preditoras

Pesquisas Nacionais Pesquisas Estrangeiras

Procedimentos Similaridade entre situação de treinamento e realidade de trabalho, características do plano instrucional (clareza e precisão dos objetivos), natureza do objetivo principal,uso de exercícios práticos, categoria taxonômica do treinamento, crenças sobre o sistema de treinamento

Estabelecimento de objetivos (específicos e difíceis) em treinamento, estabelecimento de objetivos combinado com feedback, procedimentos multimídia, abordagem humanista, estímulo ao desenvolvimento de conhecimento estratégico, estratégia instrucional múltipla (aquisição de conhecimentos e aplicação da habilidade), modelação comportamental.

ApoioSuporteClimate to transfer

Suporte à transferência (psicossocial ou gerencial/social e material), suporte organizacional (gestão do desempenho e valorização do servidor), expectativas de suporte após o evento instrucional (contexto pré-treinamento), suporte à aprendizagemfalta de suporte à transferência de treinamento a distância   

Clima para transferência como preditor robusto de impacto do treinamento no trabalho.

Principais resultados das pesquisas nacionais e estrangeiras

Insumos Procedimentos Processos Apoio Disseminação

Entre as mais fortes variáveis explicativas de impacto do treinamento (nível 3) foram:

•Suporte à transferência (gerencial/social), •Reações ao treinamento•Valor Instrumental do treinamento•Estratégias para aplicar o aprendido no trabalho

Continuam pouco claros os resultados de pesquisas relacionando os primeiros três níveis de avaliação (baixas correlações de aprendizagem com os níveis 1 e 3).

Grande parte das pesquisas incluiu variáveis de suporte (maior parte de suporte à transferência) em seus modelos de avaliação.

Em quase todos os casos suporte psicossocial à transferência foi a variável que explicou maior porção da variabilidade das respostas de impacto do treinamento no trabalho.

Resultados esses que corroboram outros similares aos obtidos por Roullier & Goldstein, 1993; Warr, Allan & Birdi, 1999 e outros mencionados por Salas & Cannon-Bowers, 2001

Variáveis como suporte organizacional e suporte à aprendizagem exercem influência distal sobre transferência (nível 3), porém menor do que o exercido suporte à transferência

Discussão

Agenda de pesquisa

-Incluir variáveis de disseminação e processo nos modelos-Construir modelos multivariados e multinível de avaliaçãode necessidades de treinamento-Investir na construção de medidas de avaliação nos níveis 4 e 5-Incorporar achados da literatura sobre avaliação de programas -Investigar processos de transferência vertical e horizontal utilizando abordagem multinível

Obrigada!gardenia.abbad@gmail.com