Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem na Logística)
-
IT/Tech
-
Research/Development
Job Description & How to Apply Below
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.
Nível: senior.
Modelo de trabalho: 100% Remoto.
Contratação: tempo integral, CLT ou PJ.
Sobre a vaga:Uma operadora logística usa modelos de linguagem para ler e-mails de clientes sobre atraso de entrega, extrair dados de conhecimentos de transporte e responder dúvidas do atendimento sobre prazo e ocorrência. Toda vez que alguém muda um prompt ou troca o modelo, a pergunta é a mesma: ficou melhor ou pior? Hoje a resposta vem da impressão de quem testou três exemplos.
Você vai construir o sistema que responde com número.
Isso inclui montar conjuntos de avaliação a partir de casos reais (e-mail com número de nota fiscal escrito de três jeitos, ocorrência com abreviação do motorista, pedido que mistura duas entregas), definir métricas por tarefa, como acerto de campo, fidelidade ao dado consultado e taxa de recusa correta, e usar modelos como avaliadores com calibração contra revisão humana.
A avaliação roda a cada mudança no pipeline de entrega e bloqueia a liberação quando a qualidade cai além de um limite combinado. Depois do lançamento, amostras da produção são reavaliadas para pegar a deriva. Você mede custo, latência e a concordância entre avaliação automática e humana.
O que você vai fazer:- Montar conjuntos de avaliação a partir de e-mails, conhecimentos e ocorrências reais anonimizados
- Definir métricas por tarefa: extração, resposta com consulta, recusa e tom
- Construir avaliadores automáticos e calibrá-los contra a revisão humana
- Integrar a avaliação ao pipeline para bloquear a liberação com queda de qualidade
- Amostrar a produção e reavaliar para detectar deriva
- Analisar falhas por categoria e abrir melhorias para os times donos de cada fluxo
- Rastrear custo e latência por versão de prompt e de modelo
- Python e testes automatizados de aplicação com modelos de linguagem
- Desenho de conjuntos de avaliação e de métricas por tarefa
- Uso de modelos como avaliadores, com noção de seus vieses
- Estatística básica para comparar versões com amostras pequenas
- Observabilidade e rastreamento de chamadas de LLM
- Leitura crítica de erros e comunicação com donos de produto
- Conhecimento de dados logísticos: notas fiscais, conhecimentos de transporte, ocorrências
- Revisão humana como etapa organizada de fila
- Testes de regressão de prompts em CI
- Avaliação de extração de documentos
- Experimentos A/B de versões de prompt em produção
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Qualquer mudança de prompt, modelo ou recuperação sai com o relatório de avaliação anexado ao pedido de revisão. O conjunto de teste cresce com os erros de produção, e o time reserva um dia por quinzena para revisar amostras junto com o atendimento. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante:- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com Total Pass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
- Python
- LLMs
- Avaliação de LLMs
- RAG
- Lang Chain
- FastAPI
- Observabilidade
- Banco vetorial
tratados conforme a LGPD, com remoção a qualquer momento, a pedido.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction