Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem em Mobilidade Urbana)

Position: Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Mobilidade Urbana)
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Mobilidade Urbana)

Nível: senior

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Um assistente que responde dúvidas de passageiros sobre linhas, atrasos, bilhete e acessibilidade, ou ajuda a central de operação a resumir ocorrências, só é bom se for medido. Trocar de modelo, mexer no prompt ou atualizar a base de itinerários pode melhorar uma resposta e quebrar outra, e sem avaliação cada mudança é um palpite. Você vai construir a plataforma de avaliação dos modelos de linguagem que sustentam esses produtos de mobilidade urbana.

O conjunto de avaliação nasce de conversas reais anonimizadas e de casos difíceis escritos pela operação: linha desviada por obra, greve, integração entre ônibus e metrô, pergunta com horário ambíguo. Cada caso tem critérios verificáveis, como horário correto, linha citada que existe e recusa quando a informação não está na base.

A avaliação combina checagens determinísticas, modelo como juiz calibrado com revisão humana e análise por categoria de erro. Roda a cada mudança no pipeline, com gate de publicação, e também em produção, por amostragem. Você acompanha fidelidade, cobertura, custo e latência e responde por dizer, com dados, se uma versão pode ir ao ar.

O que você vai fazer:

• Construir o conjunto de avaliação com conversas anonimizadas e casos de borda da operação
• Definir critérios verificáveis, como linha existente, horário correto e recusa adequada
• Implementar checagens determinísticas e modelo como juiz, calibrado com amostras humanas
• Automatizar a avaliação no pipeline com gate de publicação
• Medir fidelidade, cobertura, custo e latência por versão e por categoria
• Amostrar respostas em produção e acompanhar a regressão ao longo do tempo
• Analisar falhas para decidir entre mudar prompt, recuperação ou modelo
• Definir o padrão de avaliação e treinar engenheiros para usá-lo

Requisitos:

• Avaliação de LLM com métricas, conjunto de referência e análise de erro
• Modelo como juiz, com ciência de seus vieses e como calibrá-lo
• Python e FastAPI para ferramentas internas e pipelines
• RAG e agentes, para saber onde cada tipo de falha nasce
• Rastreio e observabilidade de chamadas ao modelo
• Tomada de decisão sobre publicação com base em evidência

Diferenciais:

• Dados de transporte público, como itinerários e horários de linhas
• Estatística para decidir entre duas versões quando a amostra é pequena
• Anotação com especialistas e medida de concordância
• LLMs de mercado e abertos em comparação
• Experiência com sistemas críticos em tempo real

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. O time publica só o que passou na avaliação, e quem propõe a mudança mostra o resultado antes de pedir revisão. Os conjuntos de caso são versionados, e a operação participa da escolha dos critérios. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• LLMs
• Avaliação de LLM
• RAG
• Lang Chain
• FastAPI
• Observabilidade
• Docker
• Git

Seus dados:

tratados conforme a LGPD, com remoção a qualquer momento, a pedido.