Skip to content
×

Analista de QA Sênior; Testes de Sistemas com IA no Varejo

Job in Boise, Ada County, Idaho, 83701, USA
Listing for: confidential
Full Time position Listed on 2026-11-07
Job specializations:
Salary/Wage Range or Industry Benchmark: 33000 - 44000 USD Yearly USD 33000.00 44000.00 YEAR

Job Description & How to Apply Below

Position: Analista de QA Sênior (Testes de Sistemas com IA no Varejo)

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no Varejo). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

O varejo colocou IA em três lugares: um assistente que responde dúvidas de cliente no aplicativo, uma classificação de chamados internos e uma recomendação de produtos. Testar esse tipo de sistema é diferente de testar um cadastro, porque a mesma pergunta pode ter respostas diferentes e o erro pode ser sutil: um prazo de troca inventado, um desconto citado que não existe, um dado de outro cliente aparecendo na resposta.

Você define a estratégia de qualidade para esses sistemas. Isso quer dizer montar conjuntos de casos dourados com respostas aceitáveis, avaliar com regras determinísticas onde der e com revisão humana calibrada onde não der, testar injeção de instruções maliciosas no texto do cliente, verificar vazamento de dados pessoais, e medir degradação quando o modelo ou o prompt muda. Automatiza a regressão no pipeline e cuida dos testes tradicionais das APIs e da interface ao redor do modelo.

Os indicadores: taxa de respostas com informação incorreta, cobertura de casos dourados por tema, regressões encontradas antes de produção, tempo de resposta sob carga e custo por conversa.

O que você vai fazer:
  • Definir a estratégia de testes para sistemas com IA, separando o que é determinístico do que exige avaliação
  • Construir e manter conjuntos de casos dourados por tema, como troca, garantia, preço e entrega
  • Automatizar testes de API com Postman e Rest Assured e de interface com Playwright ou Cypress
  • Testar a resistência a injeção de instruções, pedidos fora de escopo e tentativas de extrair dados
  • Medir desempenho e custo sob carga com k6
  • Integrar a regressão da avaliação ao pipeline CI/CD com limites para bloquear a entrega
  • Registrar defeitos com a pergunta, a resposta e o critério violado
  • Orientar o time na escrita de casos de teste e na leitura dos resultados
Requisitos:
  • Estratégia de testes e automação de API e de interface em nível sênior
  • Entendimento do comportamento de modelos de linguagem e de suas falhas típicas
  • Capacidade de desenhar casos de avaliação objetivos para respostas abertas
  • Integração de testes em CI/CD e uso de Git
  • SQL para preparar e conferir dados
  • Orientação de outras pessoas e decisão sobre o que bloqueia uma versão
Diferenciais:
  • Teste de segurança de aplicações com modelos de linguagem
  • Experiência com ferramentas de avaliação de LLM
  • Teste de carga com k6
  • Conhecimento da LGPD aplicada a testes
  • Experiência com testes de recomendação ou de busca
Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. A qualidade participa da definição do que é uma resposta aceitável desde o início, junto a produto e engenharia. Os resultados de avaliação ficam visíveis no pipeline para todo o time. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:
  • Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
  • Trabalhe de qualquer lugar, com liberdade e flexibilidade
  • Conexão global: convivência com times de diferentes países e culturas
  • Apoio à saúde física com Total Pass e Mediquo
  • Cuidado com a saúde mental pelo programa Team Care
  • Contratação e jornada definidas com a empresa contratante
Tecnologias envolvidas:
  • Playwright
  • Cypress
  • Postman
  • Rest Assured
  • k6
  • CI/CD
  • SQL
  • Git
  • Avaliação de LLM
  • Teste de IA
Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.
To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction

Search for further Jobs Here:

SEARCH JOBS: 10+ Million Listings
(Try combinations for better Results! Or enter less keywords for broader Results)
Education Level
Experience Level (years)
Posted in last:
Salary