Skip to content
×

Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem no E-commerce

Job in Boise, Ada County, Idaho, 83701, USA
Listing for: confidential
Full Time position Listed on 2026-11-08
Job specializations:
Salary/Wage Range or Industry Benchmark: 120000 - 180000 USD Yearly USD 120000.00 180000.00 YEAR

Job Description & How to Apply Below

Position: Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce)

Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Uma loja virtual troca de modelo de linguagem, muda o prompt do assistente de compras e atualiza o catálogo toda semana. Sem avaliação, ninguém sabe se a mudança melhorou ou piorou as respostas: o assistente recomenda produto sem estoque, erra voltagem, confunde tamanho de calçado ou responde política de troca com prazo errado.

O trabalho é construir a máquina de avaliação do produto. Isso inclui um conjunto de casos extraído de conversas reais, com resposta esperada e fonte; avaliadores automáticos, incluindo modelo como juiz com calibração contra pessoas; testes de regressão em cada mudança; e um modo de ver, para cada conversa, o que foi recuperado e por que o modelo respondeu o que respondeu.

Você é responsável por transformar opinião em número. O sucesso aparece quando a equipe decide trocar um modelo ou um prompt com base em evidência, quando regressões são pegas antes do lançamento e quando a nota automática concorda com a revisão humana.

O que você vai fazer:

  • Construir e manter o conjunto de avaliação a partir de conversas reais anonimizadas
  • Definir métricas por tipo de erro: fato de produto, política, tom, recusa indevida e alucinação
  • Implementar avaliadores com regras e com modelo como juiz, medindo sua concordância com revisão humana
  • Rodar avaliação automática em cada mudança de prompt, de modelo e de catálogo
  • Comparar custo, latência e qualidade entre modelos de mercado e abertos
  • Instrumentar rastreios para inspecionar cada conversa passo a passo
  • Criar painéis de qualidade e alertas para queda após lançamentos
  • Orientar a equipe sobre amostragem, viés de avaliação e leitura de resultado

Requisitos:

  • Avaliação de sistemas com modelos de linguagem, incluindo modelo como juiz
  • Python e testes automatizados
  • RAG e agentes, com entendimento de onde cada um falha
  • Estatística para dizer se uma diferença entre duas versões é real ou ruído
  • Cuidado com dados pessoais de clientes
  • Escrita clara de critérios que outras pessoas consigam aplicar

Diferenciais:

  • Ferramentas de observabilidade para aplicações de IAConhecimento de catálogo, estoque e política de troca no varejo online
  • Geração de dados sintéticos para casos raros
  • Experiência com revisão humana em fila
  • Docker e CI para rodar avaliação em pipeline

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Toda mudança de modelo ou de prompt só é publicada com o relatório de avaliação anexado, e os critérios de nota ficam escritos e revisados em par. O ritmo é de ciclos curtos, com a leitura de conversas reais como hábito semanal. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

  • Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
  • Trabalhe de qualquer lugar, com liberdade e flexibilidade
  • Conexão global: convivência com times de diferentes países e culturas
  • Apoio à saúde física com Total Pass e Mediquo
  • Cuidado com a saúde mental pelo programa Team Care
  • Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

  • Python
  • LLMs
  • Avaliação de LLMs
  • RAG
  • Lang Chain
  • FastAPI
  • Observabilidade
  • Docker

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.

To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction

Search for further Jobs Here:

SEARCH JOBS: 10+ Million Listings
(Try combinations for better Results! Or enter less keywords for broader Results)
Education Level
Experience Level (years)
Posted in last:
Salary