Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem na Saúde
-
Research/Development
Job Description & How to Apply Below
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.
Nível: senior.
Modelo de trabalho: 100% Remoto.
Contratação: tempo integral, CLT ou PJ.
Sobre a vaga:Um assistente responde a profissionais de saúde com base em protocolos clínicos e bulas internas. Uma resposta que soa certa mas cita a dose errada, ou que ignora uma contraindicação presente no documento, é pior do que nenhuma resposta. Antes de qualquer mudança de modelo, de prompt ou de base de documentos, alguém precisa dizer com números se o sistema melhorou ou piorou.
Você vai construir essa régua: um conjunto de perguntas reais anonimizadas com resposta de referência revisada por especialistas, métricas separadas para recuperação do trecho certo, fidelidade ao documento e recusa quando não há base, e uma bateria que roda a cada mudança. O difícil é calibrar um juiz automático contra a opinião humana, detectar vazamento do conjunto de teste e tratar casos em que dois protocolos se contradizem.
O resultado se mede pela concordância entre o juiz automático e os revisores, pelo número de regressões barradas antes de ir ao ar e pela taxa de respostas sem sustentação no documento.
O que você vai fazer:- Montar e versionar o conjunto de avaliação com amostras de perguntas anonimizadas
- Definir métricas de recuperação, fidelidade, cobertura e recusa correta
- Calibrar o juiz automático comparando com a nota de revisores clínicos
- Rodar a bateria no pipeline e bloquear mudança que piore as métricas críticas
- Analisar falhas por categoria e transformar cada uma em caso de teste permanente
- Medir custo e latência por resposta junto da qualidade, para decidir trocas de modelo
- Acompanhar em produção uma amostra de conversas, respeitando a LGPD
- Escrever o relatório de cada rodada para o time e para quem responde pelo risco clínico
- Construção de sistemas com RAG e conhecimento de como cada etapa pode falhar
- Python sólido e uso de FastAPI ou equivalente
- Desenho de métricas e de conjuntos de teste sem vazamento
- Entendimento dos vieses de um modelo usado como juiz
- Cuidado com dado de saúde e anonimização
- Capacidade de conduzir revisão com especialistas não técnicos
- Experiência com ferramentas de rastreamento de execução de LLM
- Noção de terminologia clínica e de fontes como bulas e diretrizes
- Testes estatísticos para comparar duas versões do sistema
- Prática com modelos abertos hospedados internamente
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Cada mudança no prompt ou na base de documentos chega com o resultado da bateria anexado. O trabalho é acompanhado em revisão semanal com quem valida o conteúdo, e os critérios de aceite ficam escritos junto do código. Na candidatura, informe a sua pretensão salarial.
Benefíciosoferecidos pela empresa contratante:
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com Total Pass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
- Python
- LLMs
- RAG
- Avaliação de LLM
- LLM como juiz
- FastAPI
- Banco vetorial
- Docker
- Git
tratados conforme a LGPD, com remoção a qualquer momento, a pedido.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction