Analista de QA Sênior; Testes de Sistemas com IA no Jurídico
-
IT/Tech
Job Description & How to Apply Below
Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no Jurídico). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.
Nível: senior.
Modelo de trabalho: 100% Remoto.
Contratação: tempo integral, CLT ou PJ.
Sobre a vaga:Ferramentas de IA para o jurídico resumem petições, sugerem cláusulas e respondem perguntas sobre jurisprudência. O teste tradicional não basta: a mesma pergunta devolve respostas diferentes, um resumo pode omitir o prazo e uma citação de lei pode ser inventada. Você vai definir como se testa um sistema desse tipo e construir a automação que protege a qualidade a cada mudança de modelo ou de prompt.
A estratégia combina camadas. Testes de API e de interface garantem que fluxo e permissões funcionem. Um conjunto de casos dourados, escrito com advogados, avalia fidelidade ao documento, citações verificáveis e recusa quando faltam fontes. Testes de carga com k6 verificam o comportamento em pico de fim de prazo, quando muita gente envia peça ao mesmo tempo.
Há risco sério: vazamento de dado de um cliente na resposta a outro, alucinação em texto que vira peça protocolada e regressão silenciosa depois de trocar de modelo. Você define o que bloqueia a publicação, acompanha a taxa de erro por categoria e orienta o time sobre o que testar em cada mudança.
O que você vai fazer:- Definir a estratégia de testes de um produto com modelos de linguagem
- Montar e manter o conjunto de casos dourados com revisão de advogados
- Automatizar testes de API com Postman e Rest Assured e de interface com Playwright
- Escrever testes que verifiquem isolamento de dados entre clientes
- Medir fidelidade, citação inventada e omissão de prazo em cada versão
- Executar testes de carga com k6 para picos de prazo
- Integrar as verificações ao pipeline e definir o critério de bloqueio
- Orientar desenvolvedores e produto sobre como testar saída não determinística
- Estratégia de testes com pirâmide, risco e cobertura bem justificados
- Automação de API e de interface em pelo menos uma ferramenta moderna
- Noção de como funcionam modelos de linguagem e de por que a saída varia
- Pipeline de integração contínua com portão de qualidade
- SQL para preparar e conferir dados de teste
- Comunicação clara de risco com quem decide a entrega
- Avaliação automática com modelo como juiz, sabendo seus limites
- Testes de segurança contra injeção de prompt
- Conhecimento do vocabulário jurídico básico
- Testes de contrato entre serviços
- Experiência em criar métrica de qualidade para saída de texto
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. O ritmo é de entregas pequenas, com os testes escritos junto da funcionalidade. Casos novos e critérios de bloqueio passam por revisão, e o painel de qualidade fica aberto para todo o time, com a tendência por versão. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante:- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com Total Pass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
- Playwright
- Postman
- Rest Assured
- k6
- CI/CD
- SQL
- Avaliação de LLM
- Git
- Testes de regressão
Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction