Skip to content
×

Analista de QA Sênior; Testes de Sistemas com IA na Indústria)

Job in Boise, Ada County, Idaho, 83701, USA
Listing for: confidential
Full Time position Listed on 2026-11-08
Job specializations:
Salary/Wage Range or Industry Benchmark: 120000 - 180000 USD Yearly USD 120000.00 180000.00 YEAR

Job Description & How to Apply Below

Position: Analista de QA Sênior (Testes de Sistemas com IA na Indústria)

Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA na Indústria). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Uma indústria passou a colocar IA dentro dos seus sistemas: assistente que responde sobre procedimentos de manutenção, modelo que sugere diagnóstico de falha a partir de leituras de sensor, classificação automática de não conformidades e visão computacional na inspeção de peças. Esses sistemas não se comportam como software tradicional: a mesma entrada pode dar saídas diferentes, o desempenho muda com os dados e a resposta pode estar errada com aparência de certa.

Você vai definir como testá-los.

A estratégia mistura técnicas. Para os assistentes com LLM, conjuntos de perguntas de referência, avaliação de fidelidade ao documento, testes de recusa e de injeção de instrução. Para os modelos de previsão e de visão, conjuntos de teste por subgrupo, casos extremos, resistência a ruído de sensor e a variação de iluminação e monitoramento de deriva. Para a parte determinística ao redor, os testes de API e de interface de sempre.

O risco principal é o erro silencioso: sistema que responde, mas responde mal.

Qualidade se mede por cobertura dos cenários de risco, por erros encontrados antes da produção, por estabilidade das métricas entre versões e por clareza dos critérios de aceite.

O que você vai fazer:
  • Definir a estratégia de teste para sistemas com IA: o que é determinístico, o que é estatístico e como cada parte é validada
  • Construir conjuntos de referência e rotinas de avaliação automática para respostas de LLM, com fidelidade e recusa
  • Testar resistência a falha: perguntas ambíguas, entrada mal formada, injeção de instrução e vazamento de dado sensível
  • Criar testes por subgrupo e de casos extremos para modelos de previsão e de visão, e estabelecer limiares de aceite
  • Automatizar a execução no pipeline e bloquear versão que degrade as métricas
  • Testar a camada de API e de interface que cerca o modelo
  • Acompanhar métricas em produção e transformar falhas reais em novos casos de teste
  • Orientar o time sobre qualidade de sistemas com IA e revisar o trabalho de outras pessoas
Requisitos:
  • Automação de testes com Python, pytest e ferramentas de teste de API e de interface
  • Noção de como modelos de linguagem e de aprendizado de máquina se comportam e falham
  • Construção de conjuntos de avaliação e escolha de métricas
  • Pensamento estatístico: variabilidade, limiar de aceite e amostra
  • Pipeline de integração contínua com porta de qualidade
  • Capacidade de documentar risco e critério de aceite para negócio
  • Responsabilidade pela estratégia e orientação a outras pessoas
Diferenciais:
  • Teste de segurança de LLMs, como injeção de instrução
  • Monitoramento de deriva de dados e de modelos
  • Conhecimento de manutenção ou de inspeção industrial
  • Testes de visão computacional com imagens sintéticas
  • Noções de LGPD em dados de avaliação
Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. O trabalho é de desenho e de código, com revisão de estratégia por par e conversa constante com quem constrói os modelos. Os resultados de cada versão ficam registrados para comparação. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:
  • Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
  • Trabalhe de qualquer lugar, com liberdade e flexibilidade
  • Conexão global: convivência com times de diferentes países e culturas
  • Apoio à saúde física com Total Pass e Mediquo
  • Cuidado com a saúde mental pelo programa Team Care
  • Contratação e jornada definidas com a empresa contratante
Tecnologias envolvidas:
  • Python
  • Playwright
  • Postman
  • Avaliação de LLMs
  • CI/CD
  • SQL
  • Git
  • pytest
Seus dados:

tratados conforme a LGPD, com remoção a qualquer momento, a pedido.

To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction

Search for further Jobs Here:

SEARCH JOBS: 10+ Million Listings
(Try combinations for better Results! Or enter less keywords for broader Results)
Education Level
Experience Level (years)
Posted in last:
Salary