O mais habitual é o que você chamou de “avaliação de reação“. A função dessa avaliação é caracterizar a percepção dos participantes sobre o que foi realizado. Se as pessoas se sentem satisfeitas, se acham que valeu a pena, se acham que o facilitador foi didático, se consideram que o local e recursos eram apropriados, etc. Esse dado é importante para nós, mas talvez ele pouco diga sobre o que de fato ocorreu no treinamento. Quais os critérios que as pessoas utilizam para avaliar? O quanto elas podem ser hábeis para identificar o quanto as atividades realizadas cumpriram seus objetivos? Entre outros problemas para nós…

Outra coisa habitual é a realização de “testes” e “provas” para mensurar se informações foram compreendidas. O principal limite disso é que apenas mensura a “memorização” ou “entendimento de informações”. A questão para nós treinadores é que a maior parte do que buscamos desenvolver não está no ãmbito da memorização. Buscamos desenvolver comportamentos profissionais e isso não se mede com provas ao final de uma exposição oral.

Ok… voltando a sua pergunta: o que fazer para além disso?

O Ilan indicou algo super importante para podermos elaborar estratégias mais elaboradas de avaliação de treinamentos. Precisamos de muita clareza sobre os objetivos do treinamento. O problema é que geralmente os treinamentos não tem objetivos claros e descritos apropriadamente, o que inviabiliza procedimentos de avaliação mais sofisticados.

Na Psicologia (talvez até poucos psicólogos conheçam isso…) Temos dois métodos e dois procedimentos validados cientificamente que contribuem MUITO para avaliar treinamentos:

1) Observação indireta de comportamento;
2) Observação direta de comportamento;
3) Procedimentos de linha de Base; e
4) Procedimentos de linha de base múltipla.

Sendo que a última é muito mais sofisticada do que a primeira…

A “eficácia”, por definição, depende da análise do impacto do treinamento para ser avaliada. Por isso, é importante se ter parâmetros de análise pré e pós treinamento.

A realização de um treinamento deveria ser decorrência da identificação de necessidades de desenvolvimento dos colaboradores em relação a algo (desde procedimentos técnicos à forma de se relacionar com colegas). Essa identificação usualmente é feita de maneira genérica, baseada basicamente na sensação de que “algo precisa ser feito”, mas sem a análise miniciosa de quais são os comportamentos-objetivos a serem desenvolvidos. Por exemplo, quando um gestor me solicita um treinamento pra “integração”, ele apenas fala de algo genérico… Meu trabalho é investigar o que acontece na empresa para que ele venha até mim procurar um treinamento para “integração”. O produto dessa análise provavelmente me indicará os comportamentos-objetivo.

Há dois métodos pelos quais podemos coletar essas informações:

1) Observação indireta de comportamento

Utilização de indicadores que deêm pistas sobre os comportamentos-objetivo a serem desenvolvidos. A coleta de informações pode ser por meio de entrevistas, depoimentos, questionários ou pela análise de indicadores desses comportamentos. A idéia é coletar informações que permitam identificar as características do desempenho das pessoas, quando é inviável ou há alto custo para a realização de observações diretas.

2) Observação direta de comportamento

Os próprios comportamentos-objetivos, ou parte deles, são observados. Essa modalidade permite maior grau de confiabilidade do que a anterior.

Além de utilizar um método de observação (ou os dois em conjunto…), é possível utilizar procedimentos que me permitirão demonstrar a eficácia da intervenção realizada:

3) Procedimentos de linha de Base

A partir da análise realizada antes do treinamento, identificam-se a frequência dos comportamentos objetivos (variável mais precisa) ou de algum indicador desses objetivo. Frequência de um comportamento, impacto financeiro de cpto inadequado, quantidade de erros, quantidade de acidentes, são alguns exemplos de variáveis que podem ser mensuradas. Há variáveis mais difíceis de mensurar, mas não impossíveis. As tecnologias hoje fazem milagres pela gente. Um exemplo são os totens nas “lojas renner” que indicam a quantidade de clientes satisfeitos ou insatisfeitos. Um treinamento sobre atendimento a cliente, deveria impactar no resultado mensurado diariamente no totem!

3) Procedimentos de linha de Base Múltipla

Esse procedimento funciona da mesma forma que o anterior, mas nós ainda contrastamos os dados com os de outros grupos que passam pela mesma intervenção. Seguindo o exemplo da Renner, suponha que você deu treinamento em 5 filiais. Você pode monitorar o resultado dos totens de satisfação do consumidor ao longo de 2 meses e monitorar o que acontece após o treinamento em cada filial. Se o treinamento aparecer como uma variável determinante de uma mudança significativa, você terá uma inegável comprovação da eficácia de seu treinamento.

Isso tudo que escrevi é vastamente utilizado e descrito por psicólogos analistas do comportamento ou pela turma da “OBM” (organizational behavior management) que faz uso de procedimentos experimentais na avaliação de intevenções em Psicologia.

Espero ter ajudado de alguma forma…

abraço e bons treinamentos!