Analista de QA Sênior; Testes de Sistemas com IA no Varejo
-
IT/Tech
Job Description & How to Apply Below
Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no Varejo). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.
Nível: senior.
Modelo de trabalho: 100% Remoto.
Contratação: tempo integral, CLT ou PJ.
Sobre a vaga:O varejo colocou IA em três lugares: um assistente que responde dúvidas de cliente no aplicativo, uma classificação de chamados internos e uma recomendação de produtos. Testar esse tipo de sistema é diferente de testar um cadastro, porque a mesma pergunta pode ter respostas diferentes e o erro pode ser sutil: um prazo de troca inventado, um desconto citado que não existe, um dado de outro cliente aparecendo na resposta.
Você define a estratégia de qualidade para esses sistemas. Isso quer dizer montar conjuntos de casos dourados com respostas aceitáveis, avaliar com regras determinísticas onde der e com revisão humana calibrada onde não der, testar injeção de instruções maliciosas no texto do cliente, verificar vazamento de dados pessoais, e medir degradação quando o modelo ou o prompt muda. Automatiza a regressão no pipeline e cuida dos testes tradicionais das APIs e da interface ao redor do modelo.
Os indicadores: taxa de respostas com informação incorreta, cobertura de casos dourados por tema, regressões encontradas antes de produção, tempo de resposta sob carga e custo por conversa.
O que você vai fazer:- Definir a estratégia de testes para sistemas com IA, separando o que é determinístico do que exige avaliação
- Construir e manter conjuntos de casos dourados por tema, como troca, garantia, preço e entrega
- Automatizar testes de API com Postman e Rest Assured e de interface com Playwright ou Cypress
- Testar a resistência a injeção de instruções, pedidos fora de escopo e tentativas de extrair dados
- Medir desempenho e custo sob carga com k6
- Integrar a regressão da avaliação ao pipeline CI/CD com limites para bloquear a entrega
- Registrar defeitos com a pergunta, a resposta e o critério violado
- Orientar o time na escrita de casos de teste e na leitura dos resultados
- Estratégia de testes e automação de API e de interface em nível sênior
- Entendimento do comportamento de modelos de linguagem e de suas falhas típicas
- Capacidade de desenhar casos de avaliação objetivos para respostas abertas
- Integração de testes em CI/CD e uso de Git
- SQL para preparar e conferir dados
- Orientação de outras pessoas e decisão sobre o que bloqueia uma versão
- Teste de segurança de aplicações com modelos de linguagem
- Experiência com ferramentas de avaliação de LLM
- Teste de carga com k6
- Conhecimento da LGPD aplicada a testes
- Experiência com testes de recomendação ou de busca
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. A qualidade participa da definição do que é uma resposta aceitável desde o início, junto a produto e engenharia. Os resultados de avaliação ficam visíveis no pipeline para todo o time. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante:- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com Total Pass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
- Playwright
- Cypress
- Postman
- Rest Assured
- k6
- CI/CD
- SQL
- Git
- Avaliação de LLM
- Teste de IA
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction