Especialista em Inteligência Artificial; Qualidade de IA em Mobilidade

Vaga aberta de Especialista em Inteligência Artificial (Qualidade de IA em Mobilidade Urbana). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

O aplicativo de mobilidade urbana usa IA em vários pontos: assistente que responde sobre corrida, cobrança e objetos esquecidos, sugestão de rotas, classificação de relatos de segurança e apoio ao atendimento. Cada um foi construído por um time diferente, com testes diferentes, e quando a qualidade cai ninguém sabe se foi o modelo, o prompt, os dados ou a mudança no próprio aplicativo.

Você vai definir como a qualidade de IA é medida e garantida na empresa toda.

Isso começa por um critério por aplicação: o que é uma boa resposta para quem perdeu um objeto no carro e o que é uma resposta perigosa para quem relata uma situação de risco. Depois vem a infraestrutura: conjuntos-ouro versionados, avaliação automática e humana, monitoramento de qualidade em produção e um processo de incidente para quando a IA erra de forma grave, com análise de causa e plano de correção.

Como especialista sênior, você decide a arquitetura de avaliação, orienta os engenheiros e fala com negócio e jurídico sobre risco: o que a IA pode decidir sozinha, onde exige pessoa e o que deve ser registrado para auditoria.

O que você vai fazer:

• Definir critérios de qualidade e de segurança por aplicação de IA, com metas por segmento de usuário
• Construir conjuntos de avaliação versionados a partir de conversas reais anonimizadas
• Padronizar a avaliação automática, o juiz de modelo e a amostra de revisão humana
• Monitorar a qualidade em produção e alertar sobre queda por tema ou por região
• Conduzir análise de incidentes de IA e documentar as causas e as correções
• Estabelecer regras de uso de IA com jurídico e segurança: dados pessoais, decisões sensíveis, auditoria
• Orientar engenheiros e produto na leitura dos resultados e nas decisões de liberação

Requisitos:

• Avaliação de sistemas com LLMs e de modelos tradicionais: métricas, conjuntos de teste, juízes automáticos
• Arquitetura de aplicações de IA em produção e noções de MLOps
• Compreensão de riscos: alucinação, viés, vazamento de dados, injeção de instrução
• Estatística para comparar versões e interpretar variações
• Conversa com negócio e jurídico sobre risco, inclusive LGPD
• Capacidade de orientar equipes e de defender decisões difíceis
• Escrita técnica clara

Diferenciais:

• Experiência com governança e auditoria de modelos
• Avaliação de modelos de voz, de rota ou de previsão, além de linguagem
• Segurança ofensiva de modelos, como testes de abuso
• Desenho de métricas centradas na pessoa usuária
• Conhecimento do setor de transporte e de seus riscos

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Os critérios de qualidade são escritos, versionados e revisados por pares, e todo incidente grave termina em um relato sem culpados e com ações. Um painel de qualidade por aplicação é revisado toda semana com produto e engenharia. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• LLMs
• MLOps
• Avaliação de modelos
• Governança de IA
• Py Torch
• Nuvem
• Observabilidade
• Git

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.