Analista de QA Sênior; Testes de Sistemas com IA em Recursos Humanos

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA em Recursos Humanos). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Sistemas com inteligência artificial em Recursos Humanos tomam ou apoiam decisões que afetam pessoas: ordenar candidatos, sugerir resposta a dúvida trabalhista, resumir uma avaliação, detectar risco de desligamento. Testar isso não é comparar saída com resultado esperado fixo, porque a mesma pergunta pode ter respostas diferentes e todas corretas, ou uma errada que parece certa. Você vai definir e automatizar a estratégia de qualidade desses sistemas.

O trabalho cobre o que o teste tradicional cobre, como API, interface e integração, e vai além: conjuntos de avaliação com respostas de referência, testes de regressão a cada troca de prompt ou de modelo, verificação de alucinação sobre política de empresa, testes de viés entre grupos de candidatos, tentativas de induzir o sistema a vazar dado de outra pessoa e checagem de que a revisão humana realmente acontece quando deveria.

A qualidade se mede por regressões barradas antes de produção, por cobertura dos riscos mapeados e por indicadores de erro e de reclamação acompanhados depois do lançamento.

O que você vai fazer:

• Definir a estratégia de testes de sistemas com IA, separando o que é determinístico do que exige avaliação estatística
• Montar e manter conjuntos de referência com especialistas de RH, com casos difíceis e casos de borda
• Automatizar regressão de prompt e de modelo no pipeline, com limites de aprovação
• Criar testes de viés comparando resultados entre grupos e documentar os achados
• Escrever testes adversariais de vazamento de dado e de manipulação por instrução no texto
• Automatizar testes de API e de interface com Postman e Playwright
• Definir indicadores de qualidade em produção e rotina de revisão de amostras
• Orientar o time sobre como escrever critérios de aceite para comportamento probabilístico

Requisitos:

• Experiência sólida em qualidade de software, com automação de API e de interface
• Compreensão de como modelos de linguagem funcionam e falham
• Capacidade de desenhar métricas e conjuntos de avaliação, e de dizer o que eles não cobrem
• Python para automatizar avaliações e analisar resultados
• Cuidado com dado pessoal e com justiça nos resultados
• Liderança técnica para definir padrão de qualidade e orientar outras pessoas

Diferenciais:

• Conhecimento de técnicas de avaliação automática com modelo como juiz e de suas limitações
• Ter feito teste de segurança de aplicações com IA
• Experiência com ferramentas de rastreio de execuções de modelos
• Noção de legislação sobre decisão automatizada e direitos do titular

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. Qualidade aqui é parte do desenho, e você é consultada ou consultado antes da construção, não só depois. Os conjuntos de referência são mantidos em conjunto com a área de RH, e as falhas encontradas em produção voltam para eles toda semana. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Testes de sistemas com IA
• Avaliação de LLMs
• Playwright
• Postman
• Python
• CI/CD
• SQL
• Git
• Testes de viés

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.