Analista de QA Sênior; Testes de Sistemas com IA em Seguros

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA em Seguros). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

A seguradora está colocando IA em produção: um assistente que orienta o segurado na abertura de sinistro, um classificador de chamados, um modelo que estima o custo de reparo. Testar isso não é como testar um cadastro. A mesma pergunta pode ter respostas diferentes, o comportamento muda quando o modelo é atualizado e o erro pode ser sutil, como um prazo de cobertura inventado com tom seguro.

Você vai definir e liderar a estratégia de qualidade desses sistemas.

O resultado se mede por falhas de comportamento de IA detectadas antes de produção, estabilidade do conjunto de avaliação, tempo para validar uma nova versão e incidentes de resposta indevida. Cabe a você fixar o padrão de qualidade, liderar a resposta a incidentes e preparar o time que o aplica.

O que você vai fazer:

• Definir a estratégia de testes para sistemas com IA, da interface ao modelo
• Construir e manter o conjunto de avaliação com casos de cobertura, sinistro e prazos
• Criar testes adversariais de vazamento de dado, instrução maliciosa e resposta fora de escopo
• Automatizar regressão de comportamento a cada mudança de modelo, prompt ou base
• Definir critérios objetivos de bloqueio de liberação, com os donos do produto
• Testar APIs, interfaces e integrações com Playwright, Postman e Rest Assured no pipeline
• Analisar incidentes de resposta incorreta e transformá-los em casos permanentes
• Orientar analistas de QA e engenheiros de IA no padrão de qualidade

Requisitos:

• Automação de testes de API e de interface integrada ao pipeline de CI/CD
• Avaliação de modelos de linguagem: conjunto de referência, critério de acerto e revisão humana
• Entendimento da natureza não determinística de respostas e de como testá-la
• Testes de segurança aplicados a assistentes, incluindo injeção de instrução
• Python e SQL para preparar dados e conferir resultados
• Capacidade de definir métrica de qualidade e convencer times a segui-la

Diferenciais:

• Conhecimento do processo de sinistro e das regras de cobertura em seguros
• Uso de modelo como juiz de respostas, ciente de suas limitações
• Noção de proteção de dados pessoais em teste e em registro de conversas
• Teste de desempenho de serviços que chamam modelos externos
• Hábito de revisar amostras de conversa reais toda semana

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. O conjunto de avaliação é público para o time, e qualquer pessoa pode propor um caso novo, que passa por revisão antes de entrar. Uma liberação de modelo só acontece com o relatório de qualidade lido por QA, engenharia e dono do produto. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Testes de sistemas com IA
• Python
• Playwright
• Postman
• CI/CD
• SQL
• Git
• Avaliação de LLMs
• Rest Assured

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.