Implementei IA no RH, mas não consigo medir se funciona. O que faço?

Sua empresa provavelmente sabe quanto tempo a IA economizou no último ciclo de avaliação de desempenho.

Sabe quantas horas de RH deixaram de ser gastas juntando planilhas, consolidando respostas ou preparando informações para os gestores.

Sabe, talvez, quantos gestores já usam a ferramenta no dia a dia.

Mas existe uma pergunta mais difícil:

A gestão de desempenho ficou melhor depois que a IA entrou no processo?

Essa resposta costuma ser muito menos clara.

• As avaliações ficaram mais baseadas em evidências?
• Os feedbacks ficaram mais específicos?
• Os critérios passaram a ser aplicados de forma mais consistente?
• As decisões de calibração ficaram mais justificáveis?
• Os PDIs passaram a atacar as lacunas identificadas?
• As indicações de potencial e sucessão estão sendo confirmadas pelos resultados posteriores?

Essas perguntas são diferentes de perguntar se a IA está sendo usada.

Uma ferramenta pode reduzir o tempo de execução de uma avaliação sem melhorar a qualidade da avaliação. Pode gerar recomendações em segundos sem tornar as decisões sobre pessoas mais consistentes. Pode até reproduzir, em escala, problemas que já existiam nos dados históricos da empresa.

Por isso, medir o sucesso da IA na gestão de desempenho exige olhar além da adoção.

Este artigo apresenta um modelo de acompanhamento em quatro dimensões: eficiência, qualidade, equidade e governança. A proposta é acompanhar a participação da IA ao longo de todo o ciclo, da definição de metas à sucessão, e olhar sempre para o mesmo ponto: o que aconteceu depois da recomendação.

Antes de medir a IA, valide o processo de gestão de desempenho

Existe uma etapa anterior ao scorecard.

Antes de perguntar se a IA está funcionando, é preciso entender se o processo no qual ela foi inserida tem critérios minimamente confiáveis.

Isso porque uma IA aprende com os dados e padrões disponíveis. Se os históricos de avaliação apresentam critérios diferentes entre gestores, poucas evidências registradas e escalas interpretadas de maneiras distintas, a ferramenta pode reproduzir essas inconsistências em maior escala.

Vale verificar:

• Os critérios de cada nota estão definidos de forma clara?
• Gestores diferentes aplicam esses critérios de maneira semelhante?
• As avaliações apresentam evidências concretas de comportamento ou resultado?
• As metas usadas como referência são comparáveis?
• Existe histórico suficiente para identificar padrões?
• Os gestores registram o contexto que explica uma determinada avaliação?
• Há diferenças relevantes entre áreas, cargos ou unidades que precisam ser consideradas?

Essa última pergunta é especialmente importante.

Uma meta atingida em 100% pode parecer um indicador objetivo de desempenho. Mas o atingimento pode ter ocorrido em contextos completamente diferentes: uma pessoa pode ter recebido uma meta mais simples, trabalhado em um projeto com condições excepcionais ou apresentado um comportamento incompatível com uma competência importante para o cargo.

Se as metas não são comparáveis, usar o atingimento de metas como referência para validar a IA também pode produzir uma falsa sensação de precisão.

A qualidade dos dados de entrada precisa fazer parte da própria auditoria.

As quatro dimensões para saber se a IA está funcionando

Para acompanhar a IA na gestão de desempenho, quatro perguntas ajudam a organizar o scorecard:

A lógica é simples:

• Eficiência mostra o que mudou na operação.
• Qualidade mostra se as decisões e entregas do processo melhoraram.
• Equidade ajuda a identificar padrões de tratamento desigual que merecem investigação.
• Governança garante que a empresa consiga acompanhar o uso da tecnologia, revisar decisões, proteger os dados e definir responsabilidades.

Privacidade e segurança continuam fazendo parte dessa última dimensão. Mas, em gestão de desempenho, elas precisam coexistir com uma pergunta igualmente importante: a tecnologia está contribuindo para decisões melhores sobre pessoas?

Quanto mais a IA se aproxima de uma decisão de alto impacto, maior deve ser o nível de acompanhamento.

Resumir um histórico de avaliações é diferente de recomendar uma nota. Recomendar uma nota é diferente de indicar quem deve entrar em um pipeline de sucessão.

1. Separe adoção de impacto

Adoção responde:

As pessoas estão usando a IA?

Impacto responde:

O processo e as decisões ficaram melhores?

As duas métricas são necessárias, mas não significam a mesma coisa.

Uma empresa pode ter 90% dos gestores utilizando uma ferramenta de IA e ainda apresentar avaliações genéricas, baixa qualidade de feedback e calibrações inconsistentes.

Da mesma forma, uma redução significativa no tempo de execução pode mostrar eficiência operacional sem demonstrar qualquer evolução na qualidade da gestão.

Um bom scorecard, então, precisa acompanhar os dois níveis.

Essa separação evita que "usamos bastante" seja confundido com "funcionou".

2. Meça se a qualidade das avaliações melhorou

A qualidade é provavelmente a dimensão mais importante para entender se a IA está contribuindo para a gestão de desempenho.

Mas qualidade precisa ser definida de forma observável.

Avaliações mais baseadas em evidências

Uma primeira métrica é o percentual de avaliações com evidências registradas.

Em vez de contar apenas quantas avaliações foram concluídas, observe quantas apresentam exemplos concretos de comportamento, entrega ou resultado que sustentem a nota.

Uma avaliação que diz "Precisa melhorar a comunicação" tem pouca informação para orientar desenvolvimento.

Uma avaliação que registra uma situação concreta, seu impacto e o comportamento esperado permite uma conversa muito mais útil.

Acompanhe esse indicador antes e depois da adoção da IA.

Se a ferramenta aumentou a velocidade do processo, mas a proporção de avaliações com evidências permaneceu igual, existe ganho de eficiência, mas ainda não há evidência de melhoria nessa dimensão de qualidade.

Consistência entre gestores

Outro indicador é a consistência da aplicação dos critérios.

Observe:

• distribuição de notas por gestor;
• distribuição por área;
• distribuição por cargo ou nível;
• evolução dessas distribuições ao longo dos ciclos.

Uma diferença entre gestores não significa automaticamente que alguém esteja avaliando errado. Equipes diferentes podem apresentar desempenhos diferentes.

O objetivo é identificar padrões que merecem investigação.

Por exemplo, se gestores que avaliam funções semelhantes apresentam distribuições muito diferentes e essa diferença permanece ao longo de vários ciclos, vale investigar se os critérios estão sendo aplicados da mesma maneira.

Qualidade das justificativas

A IA também pode ser avaliada pelo efeito que produz sobre a justificativa das decisões.

Algumas perguntas úteis:

• As justificativas ficaram mais específicas?
• Apresentam evidências?
• Fazem conexão com metas ou competências?
• Explicam a diferença entre desempenho esperado e observado?
• Ajudam o colaborador a entender o que precisa mudar?

Esse indicador é especialmente relevante quando a IA é usada para gerar ou aprimorar textos de avaliação.

Uma ferramenta pode produzir uma justificativa linguisticamente mais sofisticada sem produzir uma justificativa mais útil.

3. Avalie feedback pela mudança que ele produz

Feedback de qualidade não termina na geração do texto.

O objetivo do feedback é ajudar a pessoa a compreender seu desempenho e identificar caminhos de desenvolvimento.

Faz sentido, então, acompanhar uma cadeia maior:

Alguns indicadores possíveis:

• percentual de feedbacks com exemplos concretos;
• percentual de feedbacks que apontam uma ação ou mudança esperada;
• realização das conversas previstas;
• registro de ações após o feedback;
• evolução posterior da competência relacionada.

Essa última métrica é particularmente importante.

Se a IA ajudou a gerar feedbacks melhores, deveria ser possível observar algum efeito posterior nas competências ou comportamentos que foram discutidos.

Isso não significa atribuir toda evolução à IA. O desenvolvimento também depende de liderança, contexto, treinamento, experiência e outros fatores.

Mas acompanhar a evolução ajuda a sair da lógica de:

"A IA gerou o feedback."

e chegar a:

"O feedback contribuiu para uma mudança observável?"

4. Audite a calibração: recomendação não é decisão

A calibração é um dos pontos mais importantes para acompanhar porque é nela que a recomendação da IA encontra o julgamento humano.

Uma métrica inicial é:

percentual de recomendações aceitas, alteradas ou rejeitadas.

Mas essa métrica, sozinha, não mede qualidade.

Imagine três gestores:

• Gestor A aceita 90% das recomendações.
• Gestor B aceita 50%.
• Gestor C aceita 20%.

Não é possível concluir, apenas com esses números, quem está tomando melhores decisões.

A pergunta mais importante é:

Quando a IA e o gestor discordam, o que aconteceu depois?



A cadeia de análise deveria ser:

Veja um exemplo: uma recomendação de alto potencial.

A IA identifica uma pessoa como possível talento para sucessão.

O gestor e o comitê de calibração aceitam a indicação.

Dois ciclos depois, a empresa pode perguntar:



• A pessoa apresentou evolução compatível com o potencial identificado?
• Recebeu oportunidades de desenvolvimento?
• Foi exposta a projetos relevantes?
• Demonstrou competências esperadas?
• A indicação foi confirmada ou contradita por novas evidências?

Essa análise é muito mais informativa do que simplesmente perguntar se a recomendação foi aceita.

Registre o motivo da divergência

Sempre que uma decisão humana divergir de uma recomendação de IA em uma decisão relevante, registre o motivo.

Isso permite identificar:

• onde a IA costuma errar;
• quais informações estão faltando;
• em quais contextos o gestor corrige a recomendação;
• se determinadas áreas rejeitam sistematicamente a ferramenta;
• se determinadas recomendações são aceitas sem revisão suficiente.

A divergência deixa de ser apenas um indicador de discordância e passa a gerar aprendizado sobre o próprio processo.

Três perguntas para analisar a calibração

1. A divergência está concentrada em um gestor ou distribuída entre vários gestores da mesma área?

Concentração pode indicar uma diferença no julgamento daquele gestor. Um padrão distribuído pode apontar para características dos dados ou do contexto daquela área.

2. A área que mais aceita as recomendações possui dados mais completos?

Se sim, a maior aceitação pode estar relacionada à disponibilidade de informação. Isso, sozinho, não comprova que as recomendações estejam mais corretas.

3. Quando o gestor discorda, o motivo fica registrado?



Sem essa informação, uma taxa de divergência é difícil de interpretar.

5. Meça equidade como sinal para investigação

Equidade precisa ser acompanhada ao longo de todo o ciclo de desempenho.

Alguns pontos de observação incluem:

• distribuição de notas;
• atribuição de notas máximas;
• indicações para promoção;
• posicionamento em matrizes de potencial;
• recomendações de PDI;
• indicações para sucessão;
• acesso a oportunidades de desenvolvimento.

Aqui, uma interpretação simplista é o erro mais fácil de cometer.

Uma diferença entre grupos não prova, por si só, que existe viés da IA.

Uma diferença estatística deve funcionar como sinal para investigação.

Antes de atribuir a diferença ao algoritmo, observe outros fatores que podem explicar o resultado:

• cargo;
• senioridade;
• área;
• gestor;
• unidade;
• tempo de empresa;
• tipo de função;
• exposição a projetos;
• histórico de avaliação.

Uma comparação simples entre dois grupos pode esconder diferenças estruturais do próprio processo.

O Disparate Impact Ratio pode ajudar a identificar sinais

Uma métrica possível é o Disparate Impact Ratio (DIR), que compara a taxa de determinado resultado entre grupos.

Por exemplo, pode ser utilizado para comparar a proporção de pessoas indicadas para uma determinada oportunidade entre diferentes grupos.



A fórmula é:

A chamada "regra dos quatro quintos", utilizada em determinados contextos de análise de seleção, estabelece uma referência de 80%.

Ela pode servir como um sinal inicial de investigação, mas não deve ser tratada isoladamente como prova de discriminação ou como explicação da causa da diferença.

Em gestão de desempenho, o contexto importa especialmente porque decisões como promoção, sucessão e potencial envolvem múltiplas variáveis.

O ideal, nesse caso, é analisar o indicador:

• ao longo do tempo;
• por área;
• por gestor;
• por cargo;
• por senioridade;
• e em conjunto com outras evidências do processo.

6. Nine Box: a IA está identificando potencial ou repetindo o histórico?

A aplicação de IA em matrizes de potencial traz uma questão particularmente importante.

Se os dados históricos de sucessão foram construídos a partir de decisões humanas anteriores, a IA pode aprender os padrões utilizados para definir quem era considerado "alto potencial".

Isso cria uma pergunta diferente de simplesmente verificar diferenças demográficas:

A IA está identificando potencial ou aprendendo quem historicamente foi considerado talento?

Imagine que determinadas pessoas tenham recebido mais projetos estratégicos, mais exposição à liderança e mais oportunidades de desenvolvimento no passado.

Essas experiências podem ter aumentado a probabilidade de serem classificadas como alto potencial.



Se a IA aprende apenas com o histórico dessas decisões, pode reproduzir a relação entre visibilidade e potencial sem necessariamente distinguir as duas coisas.

Uma auditoria de Nine Box, então, deve observar:

• desempenho;
• potencial;
• oportunidades recebidas;
• exposição a projetos;
• mobilidade;
• histórico de avaliações;
• evolução posterior.

A pergunta passa a ser:

As pessoas identificadas como alto potencial apresentaram, posteriormente, evidências compatíveis com essa classificação?

7. PDI: gerar recomendação não significa gerar desenvolvimento

Uma recomendação de desenvolvimento é apenas o primeiro elo da cadeia.

O impacto pode ser acompanhado assim:

IA identifica lacuna → recomenda ação → pessoa executa → competência evolui → desempenho muda

Um exemplo ajuda a entender isso.

A IA identifica uma lacuna em comunicação e recomenda um treinamento.

A pessoa conclui o treinamento.

Isso demonstra execução da ação.

Mas ainda não demonstra desenvolvimento da competência.

Para chegar mais perto do impacto, é preciso acompanhar:

• a ação recomendada;
• a execução;
• a aplicação prática;
• a evolução da competência;
• os resultados posteriores.



Uma métrica como "90% das pessoas concluíram o curso recomendado", por exemplo, é útil, mas insuficiente.

Uma pergunta adicional seria:

A lacuna que originou a recomendação diminuiu depois da ação?

Essa diferença evita transformar "PDI gerado" ou "PDI concluído" em sinônimo de sucesso.

8. Sucessão: valide as decisões depois que elas acontecerem

Sucessão é um dos usos em que a qualidade da recomendação merece acompanhamento mais longo.

Quando uma IA indica pessoas para posições críticas, a empresa pode registrar:

O objetivo não é esperar anos para descobrir se a IA "acertou".

É construir um histórico que permita comparar recomendação, decisão, desenvolvimento e resultado posterior.

Esse histórico também ajuda a identificar se determinadas pessoas recebem repetidamente oportunidades de sucessão porque realmente apresentam evidências consistentes ou porque os dados históricos já favoreciam aquele perfil.

O objetivo não é esperar anos para descobrir se a IA "acertou".

É construir um histórico que permita comparar recomendação, decisão, desenvolvimento e resultado posterior.

Esse histórico também ajuda a identificar se determinadas pessoas recebem repetidamente oportunidades de sucessão porque realmente apresentam evidências consistentes ou porque os dados históricos já favoreciam aquele perfil.

9. Dê ao gestor critérios para questionar a IA

O gestor continua sendo parte importante do processo.

Uma recomendação de IA deve ser tratada como informação para apoiar a decisão, especialmente em situações de maior impacto, e não como substituição automática do julgamento responsável.

Antes de aceitar uma recomendação, o gestor pode perguntar:

A recomendação está baseada em evidências?

Quais dados sustentam a sugestão?

O contexto foi considerado?

Existe alguma informação relevante que não aparece nos dados utilizados pela IA?

O critério está alinhado à função?

A mesma evidência pode ter significados diferentes dependendo do cargo, senioridade ou contexto.

Existem sinais contraditórios?

Há informações no ciclo que apontam para uma conclusão diferente?

A recomendação faz sentido quando comparada a pessoas em contextos equivalentes?

Uma comparação simples com toda a empresa pode produzir interpretações inadequadas.

Se eu discordar, consigo explicar por quê?

O registro da discordância transforma uma decisão isolada em dado para melhorar o processo.

10. Governança: acompanhe dados, transparência e responsabilidade

Governança responde a uma pergunta diferente:

A empresa consegue explicar, revisar e acompanhar como a IA participa das decisões de gestão de desempenho?

Alguns indicadores operacionais podem incluir:

• percentual de colaboradores informados sobre o uso de IA;
• percentual de decisões em que a participação da IA está registrada;
• quais dados são utilizados em cada tipo de recomendação;
• tempo de retenção dos dados;
• percentual de solicitações de revisão respondidas;
• registro das divergências entre recomendação e decisão humana;
• responsáveis pela revisão de cada tipo de uso.

Mapear quais dados entram no processo faz parte dessa auditoria.

Por exemplo:

• histórico de avaliações;
• metas;
• feedbacks;
• dados de desenvolvimento;
• informações de carreira;
• outros dados utilizados pela ferramenta.

Dados pessoais exigem atenção específica à LGPD e às políticas internas da empresa.

O scorecard pode funcionar como uma camada operacional de acompanhamento, mas não substitui uma avaliação jurídica ou técnica de conformidade.

11. O scorecard precisa acompanhar o ciclo inteiro

A melhor forma de acompanhar a IA é conectá-la às etapas reais da gestão de desempenho.

Essa visão muda o que significa medir sucesso.

Em vez de olhar apenas para a ferramenta, a empresa acompanha:

onde a IA entrou → o que recomendou → o que o gestor decidiu → o que aconteceu depois.

12. Crie uma matriz de auditoria da IA na gestão de desempenho

Um painel de acompanhamento pode ser transformado em uma matriz operacional simples:

A vantagem dessa matriz é que ela conecta métrica, sinal e responsabilidade.



O RH deixa de ter apenas um dashboard com números e passa a saber o que fazer quando um número muda.

13. Transforme divergências em um ciclo de aprendizagem

Uma auditoria não deveria terminar quando um problema é identificado.

As próprias divergências entre IA e gestores podem gerar novos dados para o processo.

Por exemplo:

IA recomenda nota 4 → gestor altera para 3 → motivo registrado → RH identifica padrão → dados/contexto são revisados → próximo ciclo é comparado

Depois de alguns ciclos, a empresa pode descobrir:

• quais recomendações são mais frequentemente corrigidas;
• em quais áreas isso acontece;
• quais informações costumam estar ausentes;
• quais critérios geram mais divergência;
• se a divergência diminui depois de ajustes no processo.



Assim, auditar IA também se torna uma forma de aprender sobre a própria gestão de desempenho.

14. Faça a auditoria com uma rotina contínua

Não é necessário esperar seis meses para começar.

Uma rotina inicial pode seguir quatro passos.

1. Mapeie

Liste onde a IA participa hoje:

• metas;
• feedback;
• avaliação;
• calibração;
• PDI;
• potencial;
• sucessão.

Para cada uso, registre qual decisão ou atividade a IA influencia.

2. Defina os indicadores

Escolha indicadores de:

• eficiência;
• qualidade;
• equidade;
• governança.

Comece com poucos indicadores que realmente possam ser acompanhados.

3. Registre decisões e divergências

Sempre que a recomendação da IA for aceita, alterada ou rejeitada em uma decisão relevante, registre o resultado.

Quando houver divergência, registre o motivo.

4. Compare ciclos

Acompanhe os indicadores ao longo do tempo.

O objetivo não é procurar uma fotografia perfeita de um único ciclo, mas identificar tendências:

• a qualidade está melhorando?
• as divergências estão diminuindo?
• determinadas áreas continuam apresentando padrões diferentes?
• os PDIs recomendados estão sendo executados?
• as competências relacionadas estão evoluindo?
• as decisões de potencial e sucessão estão sendo confirmadas pelas evidências posteriores?
  

Checklist: a IA está realmente melhorando a gestão de desempenho?

Antes de considerar o uso de IA bem-sucedido, responda:

O que significa, afinal, uma IA que funciona na gestão de desempenho?

A pergunta inicial era simples:

A IA está funcionando?

Depois de olhar para o ciclo inteiro, fica claro que essa pergunta precisa ser dividida.

Uma IA pode funcionar muito bem como ferramenta de eficiência e ainda não melhorar a qualidade das avaliações.

Pode produzir recomendações consistentes e ainda reproduzir padrões históricos que precisam ser investigados.

Pode gerar PDIs rapidamente e ainda não produzir desenvolvimento.

Pode ser aceita pelos gestores em grande parte das situações sem que isso prove que as recomendações estão corretas.

Por isso, o sucesso da IA na gestão de desempenho não deveria ser medido por uma única métrica.

A lógica mais útil é acompanhar a cadeia:

dados → IA → recomendação → decisão humana → ação → resultado posterior

E avaliar essa cadeia por quatro dimensões:

eficiência → qualidade → equidade → governança

A pergunta deixa de ser apenas quanto tempo a IA economizou.

Passa a ser:

• As avaliações ficaram melhores?
• Os feedbacks ficaram mais úteis?
• As calibrações ficaram mais consistentes?
• Os PDIs produziram desenvolvimento?
• As decisões de potencial e sucessão foram sustentadas pelas evidências que vieram depois?
• E a empresa consegue explicar e revisar como a IA participou dessas decisões?

Esse é o ponto em que medir IA deixa de ser apenas acompanhar tecnologia.



Passa a ser acompanhar a qualidade da própria gestão de desempenho.