Dicas de treinamento para navios: nunca faça o mesmo exame duas vezes

© Vicky / AdobeStock

Todos nós já ouvimos as histórias, e muitos de nós já as vimos em primeira mão: a prática de avaliação completamente ineficaz de fazer o mesmo exame de múltipla escolha para as pessoas repetidas vezes. A única vez que isso é aceitável é quando todas as pessoas que fazem o exame o fazem ao mesmo tempo e são supervisionadas para garantir que não estejam compartilhando respostas. No entanto, fazer o mesmo exame para diferentes pessoas ao longo de meses ou anos garante que as notas do exame aumentem ao longo do tempo - às vezes de maneira bastante acentuada. Infelizmente, isso não ocorre porque as pessoas estão aprendendo mais. Isso ocorre porque as pessoas que escreveram o exame anteriormente estão compartilhando as respostas com os que o escreveram mais tarde. Isso não é surpresa e cria problemas reais.
O problema mais óbvio com a prática da reutilização de exames é que os resultados da avaliação se tornam sem sentido. Eles não refletem precisamente o conhecimento do estagiário e não podem ser usados como uma medida da qualidade do treinamento. E, é claro, com as respostas do exame em mãos, os alunos ignoram os materiais de aprendizagem e vão direto para o exame - tornando inútil o treinamento bem projetado.

Possivelmente, o efeito mais prejudicial, no entanto, é que o programa de treinamento perca credibilidade e respeito aos olhos dos estagiários. Para um estagiário, a reutilização de exames sinaliza preguiça e falta de profissionalismo na organização de treinamento. Eles responderão em espécie.

Portanto, a lição aqui dificilmente pode ser exagerada: nunca faça o mesmo exame duas vezes. Se você estiver fazendo isso, agora é um ótimo momento para parar.

Isso significa constantemente criar novos exames?
Não - embora isso possa significar algumas mudanças. A maioria das pessoas que está reutilizando exames está fazendo isso porque está realizando exames em papel ou usando um treinamento baseado em computador mal elaborado. No caso de exames em papel, é difícil e caro criar um novo exame cada vez que é realizado. No caso de um treinamento baseado em computador mal construído, o programa é "estático"; portanto, o mesmo exame é entregue a todas as pessoas que concluem o treinamento.

A alternativa é aleatorizar seus exames. Com a randomização das perguntas do exame, dois alunos não farão o mesmo exame. Em vez disso, cada um receberá uma mistura diferente de perguntas do exame e em uma ordem diferente. Esse tipo de randomização de exame requer um sistema de gerenciamento de aprendizagem (LMS). Felizmente, porém, quase todos os LMSs profissionais modernos oferecem suporte à randomização de perguntas no exame. Portanto, se você tiver acesso a um LMS, há uma boa chance de você já ter esse recurso.

O que isso significa para a consistência da avaliação?

A idéia de dar a cada aluno um exame diferente pode suscitar a preocupação de perdermos consistência em nossas práticas de avaliação. Afinal, é fundamental que medamos todos pelo mesmo padrão. No entanto, facilitar o compartilhamento de respostas, reutilizando os exames, distorce completamente o campo de jogo - portanto, já temos um problema. Além disso, a randomização dos exames não precisa ser tão "aleatória" quanto parece. Em vez disso, feitos corretamente, os controles podem ser aplicados para garantir que as mesmas competências sejam cobertas, no mesmo grau, com questões de dificuldade aproximadamente igual. Como vamos fazer isso?

Volte aqui no próximo mês e veremos em Dicas de treinamento para navios! Até lá, navegue com segurança!

(Conforme publicado na edição de setembro de 2019 do Maritime Reporter & Enginerering News)