Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem no Varejo

Position: Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Varejo)

Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Varejo). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

No varejo, os assistentes de linguagem respondem sobre produto, estoque, troca e promoção, e ajudam equipes de loja a consultar procedimentos. A pergunta que decide se o assistente fica ou sai do ar é simples de enunciar e difícil de responder: ele está bom? Você vai ser responsável pelo sistema de avaliação desses modelos, o que define o que é uma boa resposta e como medi-la antes e depois de cada mudança.

Avaliar texto gerado exige método. Respostas de referência cobrem só parte dos casos, um modelo usado como juiz tem vieses (favorece respostas longas, favorece o próprio estilo), e a opinião de quem rotula varia. Você vai construir conjuntos de teste com perguntas reais, critérios por dimensão (correção, fidelidade à fonte, recusa adequada, tom), medir a concordância entre juízes humanos e automáticos e conduzir comparações entre modelos.

O sucesso se mede em decisões de troca de modelo ou de prompt tomadas com evidência e em regressões pegas antes dos clientes.

O que você vai fazer:

• Definir com o negócio os critérios de qualidade de resposta e seus pesos, por tipo de pergunta
• Construir conjuntos de teste a partir de conversas reais anonimizadas, com casos difíceis e adversariais
• Organizar a rotulagem humana, medir a concordância entre revisores e resolver divergências
• Implementar juízes automáticos baseados em LLM e calibrá-los contra a rotulagem humana
• Automatizar a execução no pipeline, comparando prompt, modelo e índice, com relatório por categoria de erro
• Medir custo, latência e qualidade lado a lado, para escolher entre modelos de mercado e abertos
• Acompanhar a qualidade em produção com amostras e sinais de uso, e alimentar o conjunto de teste
• Ensinar o time a ler o resultado da avaliação e a desconfiar dele quando for o caso

Requisitos:

• Avaliação de sistemas com LLM: métricas, juízes automáticos, vieses e concordância entre avaliadores
• Delineamento de conjuntos de teste representativos, sem contaminação com o treino ou com exemplos de prompt
• Python com FastAPI e automação de rotinas de avaliação
• Noções estatísticas para comparar sistemas e saber quando a diferença é real
• Construção de RAG e de agentes, para entender o que se avalia
• Comunicação com negócio sobre o que as notas significam e o que não significam

Diferenciais:

• Ter montado conjunto de avaliação a partir de dados reais de atendimento
• Ferramentas de observabilidade e de avaliação de LLM
• Práticas de teste adversarial e de segurança de modelos
• Conhecimento de varejo, especialmente atendimento em loja e em canais digitais

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Nenhuma mudança de modelo, de prompt ou de índice vai ao ar sem o relatório de avaliação ao lado. O time revisa casos em que o juiz automático e as pessoas discordam, porque é neles que o método aprende. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• LLMs
• RAG
• Lang Chain
• FastAPI
• Docker
• Git

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.