Analista de QA Sênior; Testes de Sistemas com IA na Indústria)
-
IT/Tech
Job Description & How to Apply Below
Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA na Indústria). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.
Nível: senior.
Modelo de trabalho: 100% Remoto.
Contratação: tempo integral, CLT ou PJ.
Sobre a vaga:Uma indústria passou a colocar IA dentro dos seus sistemas: assistente que responde sobre procedimentos de manutenção, modelo que sugere diagnóstico de falha a partir de leituras de sensor, classificação automática de não conformidades e visão computacional na inspeção de peças. Esses sistemas não se comportam como software tradicional: a mesma entrada pode dar saídas diferentes, o desempenho muda com os dados e a resposta pode estar errada com aparência de certa.
Você vai definir como testá-los.
A estratégia mistura técnicas. Para os assistentes com LLM, conjuntos de perguntas de referência, avaliação de fidelidade ao documento, testes de recusa e de injeção de instrução. Para os modelos de previsão e de visão, conjuntos de teste por subgrupo, casos extremos, resistência a ruído de sensor e a variação de iluminação e monitoramento de deriva. Para a parte determinística ao redor, os testes de API e de interface de sempre.
O risco principal é o erro silencioso: sistema que responde, mas responde mal.
Qualidade se mede por cobertura dos cenários de risco, por erros encontrados antes da produção, por estabilidade das métricas entre versões e por clareza dos critérios de aceite.
O que você vai fazer:- Definir a estratégia de teste para sistemas com IA: o que é determinístico, o que é estatístico e como cada parte é validada
- Construir conjuntos de referência e rotinas de avaliação automática para respostas de LLM, com fidelidade e recusa
- Testar resistência a falha: perguntas ambíguas, entrada mal formada, injeção de instrução e vazamento de dado sensível
- Criar testes por subgrupo e de casos extremos para modelos de previsão e de visão, e estabelecer limiares de aceite
- Automatizar a execução no pipeline e bloquear versão que degrade as métricas
- Testar a camada de API e de interface que cerca o modelo
- Acompanhar métricas em produção e transformar falhas reais em novos casos de teste
- Orientar o time sobre qualidade de sistemas com IA e revisar o trabalho de outras pessoas
- Automação de testes com Python, pytest e ferramentas de teste de API e de interface
- Noção de como modelos de linguagem e de aprendizado de máquina se comportam e falham
- Construção de conjuntos de avaliação e escolha de métricas
- Pensamento estatístico: variabilidade, limiar de aceite e amostra
- Pipeline de integração contínua com porta de qualidade
- Capacidade de documentar risco e critério de aceite para negócio
- Responsabilidade pela estratégia e orientação a outras pessoas
- Teste de segurança de LLMs, como injeção de instrução
- Monitoramento de deriva de dados e de modelos
- Conhecimento de manutenção ou de inspeção industrial
- Testes de visão computacional com imagens sintéticas
- Noções de LGPD em dados de avaliação
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. O trabalho é de desenho e de código, com revisão de estratégia por par e conversa constante com quem constrói os modelos. Os resultados de cada versão ficam registrados para comparação. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante:- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com Total Pass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
- Python
- Playwright
- Postman
- Avaliação de LLMs
- CI/CD
- SQL
- Git
- pytest
tratados conforme a LGPD, com remoção a qualquer momento, a pedido.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction