Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem no Jurídico

Position: Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Jurídico)

Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Jurídico). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Escritórios e departamentos jurídicos usam modelos de linguagem para pesquisar jurisprudência, resumir peças e minutar documentos. Um modelo que cita uma decisão inexistente ou troca um prazo processual causa dano real. Antes de adotar qualquer modelo ou mudança de instrução, é preciso provar com dados que ele é bom naquela tarefa.

Você constrói a plataforma de avaliação: conjuntos de teste por tarefa (pesquisa, resumo, minuta), revisados por advogados, com resposta de referência e critérios claros; métricas automáticas e avaliação por modelo-juiz calibrada contra a avaliação humana; e testes específicos do jurídico, como citação inexistente, data trocada e parte confundida. Cada candidato recebe um relatório comparável, com intervalo de confiança.

O resultado esperado é uma decisão de modelo baseada em evidência, que cabe numa página, e uma rotina que roda a cada mudança. Como sênior, você define o padrão de avaliação e responde pela confiabilidade das medidas.

O que você vai fazer:

• Construir conjuntos de avaliação por tarefa jurídica com revisão de advogados
• Definir critérios e rubricas de nota que duas pessoas apliquem do mesmo jeito
• Calibrar a avaliação automática com modelo-juiz contra a avaliação humana
• Testar falhas típicas, como citação inexistente, prazo trocado e parte confundida
• Comparar modelos de mercado e abertos com intervalo de confiança
• Rodar a avaliação a cada mudança de modelo ou instrução e bloquear regressões
• Proteger os documentos usados no teste e tratar dado pessoal
• Orientar a equipe em desenho de avaliação

Requisitos:

• Avaliação de LLM: conjuntos de referência, métricas, modelo-juiz e vieses
• Estatística básica para comparar sistemas com amostra limitada
• Python para pipelines de avaliação reprodutíveis
• Experiência de RAG e de geração com citação de fonte
• Cuidado com a LGPD e com sigilo de documentos
• Capacidade de conversar com advogados sobre critério de qualidade

Diferenciais:

• Familiaridade com a linguagem de peças e decisões judiciais
• Medição de concordância entre avaliadores
• Avaliação de agentes com várias etapas
• Conhecimento de rastreamento e registro de experimentos

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. A equipe revisa em conjunto as rubricas e os casos de maior desacordo, e os relatórios de avaliação ficam disponíveis para quem decide a adoção. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• LLMs
• Avaliação de LLM
• RAG
• Estatística
• FastAPI
• Docker
• LGPD

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.