Especialista em Inteligência Artificial; Qualidade de IA no E-commerce

Vaga aberta de Especialista em Inteligência Artificial (Qualidade de IA no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

O e-commerce tem um assistente de compras que recomenda produtos, compara itens e responde dúvidas de pedido, além de uma busca por linguagem natural. As reclamações vão de recomendação de produto fora de estoque a resposta confiante sobre prazo de entrega que está errada. Ninguém tem uma visão única da qualidade: cada equipe confere do seu jeito, e a nota depende de quem olhou.

Você vai definir o que é qualidade para sistemas de IA da empresa e como medi-la: conjuntos de referência por tarefa, critérios de avaliação (fidelidade ao catálogo, utilidade, tom, segurança), uso de modelo como juiz calibrado por avaliação humana e monitoramento em produção. Também decide o que bloqueia uma versão e o que vira alerta.

O sucesso se vê quando uma troca de modelo ou de prompt vem com números comparáveis, quando regressões são pegas antes do cliente e quando negócio e jurídico entendem o risco residual. Como especialista sênior, você orienta engenheiros e responde pelas decisões de arquitetura de avaliação.

• Definir o padrão de qualidade para assistentes e busca com IA e os critérios por tarefa
• Montar conjuntos de avaliação a partir de conversas reais, com amostragem e anonimização
• Calibrar avaliação automática por modelo com revisão humana e medir a concordância
• Desenhar o monitoramento contínuo em produção, com amostras revisadas e alertas de queda
• Estabelecer portões de liberação para novas versões de modelo, prompt e dados
• Orientar engenheiros em testes, guardrails e análise de falhas
• Explicar o risco residual a negócio e jurídico, inclusive sobre promessa de prazo e preço

• Avaliação de modelos de linguagem com métodos quantitativos e qualitativos
• Visão de arquitetura de sistemas de IA, incluindo recuperação, ferramentas e dados
• Estatística para comparar versões e interpretar diferenças pequenas
• Python e práticas de MLOps, com versionamento de dados e modelos
• Entendimento de riscos de IA: alucinação, viés, vazamento de dados
• Comunicação com público técnico e com quem decide

• Testes A/B com métricas de produto e de qualidade
• Experiência com anotação de dados e guias de rotulagem
• Conhecimento de busca e recomendação
• Ajuste fino de modelos menores para tarefas específicas
• Participação em definição de políticas de uso de IA

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Seu trabalho é de influência: documentos curtos de decisão, revisões abertas e um relatório mensal de qualidade que o time inteiro lê. O ritmo é guiado pelas liberações de versão. Na candidatura, informe a sua pretensão salarial.

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

• Python
• LLMs
• MLOps
• Py Torch
• Avaliação de modelos
• Nuvem
• Testes A/B
• Git

tratado conforme a LGPD, com remoção a qualquer momento, a pedido.