Analista de QA Sênior; Testes de Sistemas com IA no E-commerce

Position: Analista de QA Sênior (Testes de Sistemas com IA no E-commerce)

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Sobre a vaga:

O assistente de compras responde sobre preço, prazo de entrega, estoque e política de troca, e recomenda produtos. Testar um sistema assim não se parece com testar um formulário: a mesma pergunta pode ter respostas diferentes, e uma resposta fluente pode estar errada. O pior erro é o inventado, como prometer um desconto que não existe, afirmar estoque inexistente ou citar prazo de entrega que a transportadora não cumpre.

Sua estratégia combina camadas. Testes tradicionais cobrem as APIs, o carrinho e as integrações de preço e de estoque. Um conjunto de avaliação curado verifica a verdade das respostas contra a fonte de dados. Testes adversariais tentam o contrário: pedir que o assistente ignore regras, revelar dados de outro cliente, aceitar um cupom inventado. Um juiz automático ajuda em escala, mas é calibrado contra revisão humana.

Como analista sênior, você define a estratégia, o que bloqueia uma versão e quais métricas comprovam a qualidade: taxa de resposta fiel à fonte, taxa de recusa correta, defeitos por mil conversas e regressão entre versões do prompt e do modelo.

O que você vai fazer:

• Definir a estratégia de testes do assistente, com camadas de API, de resposta e de segurança
• Montar e manter o conjunto de avaliação com casos reais anonimizados
• Escrever testes automatizados de ponta a ponta com Playwright e de API com Postman
• Criar casos adversariais para vazamento de dados, injeção de instrução e promessa indevida
• Calibrar o juiz automático contra revisão humana por amostra
• Rodar regressão a cada mudança de prompt, modelo ou base de conhecimento, no pipeline
• Orientar o time sobre qualidade de IA e definir critérios de liberação

Requisitos:

• Estratégia e automação de testes de APIs e de interface web
• Entendimento de como sistemas com modelos de linguagem falham: alucinação, injeção, inconsistência
• Construção de conjuntos de avaliação e métricas para respostas abertas
• Python para escrever ferramentas de teste e analisar resultados
• Pipeline de integração contínua com portões de qualidade
• Comunicação de risco para produto e jurídico
• Capacidade de orientar outras pessoas de QA

Diferenciais:

• Experiência com testes de segurança em aplicações com LLM
• Calibração de avaliadores automáticos e medidas de concordância
• Conhecimento de comércio eletrônico, preço e estoque
• Testes de carga em serviços com chamadas a modelos
• Observabilidade de conversas, com amostragem para revisão

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. Nenhuma versão do assistente é liberada sem passar pelo conjunto de avaliação e pelos casos adversariais, e a decisão fica registrada. Uma revisão quinzenal analisa as conversas que falharam em produção e transforma cada uma em novo teste. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Playwright
• Postman
• Python
• CI/CD
• Avaliação de LLM
• Testes adversariais
• SQL
• Observabilidade
• Git

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.