Skip to content
×

Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem na Logística)

Job in Boise, Ada County, Idaho, 83701, USA
Listing for: Sylision
Full Time position Listed on 2026-11-05
Job specializations:
  • IT/Tech
  • Research/Development
Salary/Wage Range or Industry Benchmark: 51000 - 81000 USD Yearly USD 51000.00 81000.00 YEAR

Job Description & How to Apply Below

Position: Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística)

Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Uma operadora logística usa modelos de linguagem para ler e-mails de clientes sobre atraso de entrega, extrair dados de conhecimentos de transporte e responder dúvidas do atendimento sobre prazo e ocorrência. Toda vez que alguém muda um prompt ou troca o modelo, a pergunta é a mesma: ficou melhor ou pior? Hoje a resposta vem da impressão de quem testou três exemplos.

Você vai construir o sistema que responde com número.

Isso inclui montar conjuntos de avaliação a partir de casos reais (e-mail com número de nota fiscal escrito de três jeitos, ocorrência com abreviação do motorista, pedido que mistura duas entregas), definir métricas por tarefa, como acerto de campo, fidelidade ao dado consultado e taxa de recusa correta, e usar modelos como avaliadores com calibração contra revisão humana.

A avaliação roda a cada mudança no pipeline de entrega e bloqueia a liberação quando a qualidade cai além de um limite combinado. Depois do lançamento, amostras da produção são reavaliadas para pegar a deriva. Você mede custo, latência e a concordância entre avaliação automática e humana.

O que você vai fazer:
  • Montar conjuntos de avaliação a partir de e-mails, conhecimentos e ocorrências reais anonimizados
  • Definir métricas por tarefa: extração, resposta com consulta, recusa e tom
  • Construir avaliadores automáticos e calibrá-los contra a revisão humana
  • Integrar a avaliação ao pipeline para bloquear a liberação com queda de qualidade
  • Amostrar a produção e reavaliar para detectar deriva
  • Analisar falhas por categoria e abrir melhorias para os times donos de cada fluxo
  • Rastrear custo e latência por versão de prompt e de modelo
Requisitos:
  • Python e testes automatizados de aplicação com modelos de linguagem
  • Desenho de conjuntos de avaliação e de métricas por tarefa
  • Uso de modelos como avaliadores, com noção de seus vieses
  • Estatística básica para comparar versões com amostras pequenas
  • Observabilidade e rastreamento de chamadas de LLM
  • Leitura crítica de erros e comunicação com donos de produto
Diferenciais:
  • Conhecimento de dados logísticos: notas fiscais, conhecimentos de transporte, ocorrências
  • Revisão humana como etapa organizada de fila
  • Testes de regressão de prompts em CI
  • Avaliação de extração de documentos
  • Experimentos A/B de versões de prompt em produção
Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Qualquer mudança de prompt, modelo ou recuperação sai com o relatório de avaliação anexado ao pedido de revisão. O conjunto de teste cresce com os erros de produção, e o time reserva um dia por quinzena para revisar amostras junto com o atendimento. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:
  • Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
  • Trabalhe de qualquer lugar, com liberdade e flexibilidade
  • Conexão global: convivência com times de diferentes países e culturas
  • Apoio à saúde física com Total Pass e Mediquo
  • Cuidado com a saúde mental pelo programa Team Care
  • Contratação e jornada definidas com a empresa contratante
Técnologias envolvidas:
  • Python
  • LLMs
  • Avaliação de LLMs
  • RAG
  • Lang Chain
  • FastAPI
  • Observabilidade
  • Banco vetorial
Seus dados:

tratados conforme a LGPD, com remoção a qualquer momento, a pedido.

To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction

Search for further Jobs Here:

SEARCH JOBS: 10+ Million Listings
(Try combinations for better Results! Or enter less keywords for broader Results)
Education Level
Experience Level (years)
Posted in last:
Salary