Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem no E-commerce
-
IT/Tech
Job Description & How to Apply Below
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.
Nível: senior.
Modelo de trabalho: 100% Remoto.
Contratação: tempo integral, CLT ou PJ.
Sobre a vaga:
Uma loja virtual troca de modelo de linguagem, muda o prompt do assistente de compras e atualiza o catálogo toda semana. Sem avaliação, ninguém sabe se a mudança melhorou ou piorou as respostas: o assistente recomenda produto sem estoque, erra voltagem, confunde tamanho de calçado ou responde política de troca com prazo errado.
O trabalho é construir a máquina de avaliação do produto. Isso inclui um conjunto de casos extraído de conversas reais, com resposta esperada e fonte; avaliadores automáticos, incluindo modelo como juiz com calibração contra pessoas; testes de regressão em cada mudança; e um modo de ver, para cada conversa, o que foi recuperado e por que o modelo respondeu o que respondeu.
Você é responsável por transformar opinião em número. O sucesso aparece quando a equipe decide trocar um modelo ou um prompt com base em evidência, quando regressões são pegas antes do lançamento e quando a nota automática concorda com a revisão humana.
O que você vai fazer:
- Construir e manter o conjunto de avaliação a partir de conversas reais anonimizadas
- Definir métricas por tipo de erro: fato de produto, política, tom, recusa indevida e alucinação
- Implementar avaliadores com regras e com modelo como juiz, medindo sua concordância com revisão humana
- Rodar avaliação automática em cada mudança de prompt, de modelo e de catálogo
- Comparar custo, latência e qualidade entre modelos de mercado e abertos
- Instrumentar rastreios para inspecionar cada conversa passo a passo
- Criar painéis de qualidade e alertas para queda após lançamentos
- Orientar a equipe sobre amostragem, viés de avaliação e leitura de resultado
Requisitos:
- Avaliação de sistemas com modelos de linguagem, incluindo modelo como juiz
- Python e testes automatizados
- RAG e agentes, com entendimento de onde cada um falha
- Estatística para dizer se uma diferença entre duas versões é real ou ruído
- Cuidado com dados pessoais de clientes
- Escrita clara de critérios que outras pessoas consigam aplicar
Diferenciais:
- Ferramentas de observabilidade para aplicações de IAConhecimento de catálogo, estoque e política de troca no varejo online
- Geração de dados sintéticos para casos raros
- Experiência com revisão humana em fila
- Docker e CI para rodar avaliação em pipeline
Como é trabalhar aqui:
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Toda mudança de modelo ou de prompt só é publicada com o relatório de avaliação anexado, e os critérios de nota ficam escritos e revisados em par. O ritmo é de ciclos curtos, com a leitura de conversas reais como hábito semanal. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante:
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com Total Pass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias envolvidas:
- Python
- LLMs
- Avaliação de LLMs
- RAG
- Lang Chain
- FastAPI
- Observabilidade
- Docker
Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction