Skip to content
×

Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem na Saúde

Listing for: confidential
Full Time position Listed on 2026-11-08
Job specializations:
Salary/Wage Range or Industry Benchmark: 44000 - 65000 USD Yearly USD 44000.00 65000.00 YEAR

Job Description & How to Apply Below

Position: Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde)

Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Um assistente responde a profissionais de saúde com base em protocolos clínicos e bulas internas. Uma resposta que soa certa mas cita a dose errada, ou que ignora uma contraindicação presente no documento, é pior do que nenhuma resposta. Antes de qualquer mudança de modelo, de prompt ou de base de documentos, alguém precisa dizer com números se o sistema melhorou ou piorou.

Você vai construir essa régua: um conjunto de perguntas reais anonimizadas com resposta de referência revisada por especialistas, métricas separadas para recuperação do trecho certo, fidelidade ao documento e recusa quando não há base, e uma bateria que roda a cada mudança. O difícil é calibrar um juiz automático contra a opinião humana, detectar vazamento do conjunto de teste e tratar casos em que dois protocolos se contradizem.

O resultado se mede pela concordância entre o juiz automático e os revisores, pelo número de regressões barradas antes de ir ao ar e pela taxa de respostas sem sustentação no documento.

O que você vai fazer:
  • Montar e versionar o conjunto de avaliação com amostras de perguntas anonimizadas
  • Definir métricas de recuperação, fidelidade, cobertura e recusa correta
  • Calibrar o juiz automático comparando com a nota de revisores clínicos
  • Rodar a bateria no pipeline e bloquear mudança que piore as métricas críticas
  • Analisar falhas por categoria e transformar cada uma em caso de teste permanente
  • Medir custo e latência por resposta junto da qualidade, para decidir trocas de modelo
  • Acompanhar em produção uma amostra de conversas, respeitando a LGPD
  • Escrever o relatório de cada rodada para o time e para quem responde pelo risco clínico
Requisitos:
  • Construção de sistemas com RAG e conhecimento de como cada etapa pode falhar
  • Python sólido e uso de FastAPI ou equivalente
  • Desenho de métricas e de conjuntos de teste sem vazamento
  • Entendimento dos vieses de um modelo usado como juiz
  • Cuidado com dado de saúde e anonimização
  • Capacidade de conduzir revisão com especialistas não técnicos
Diferenciais:
  • Experiência com ferramentas de rastreamento de execução de LLM
  • Noção de terminologia clínica e de fontes como bulas e diretrizes
  • Testes estatísticos para comparar duas versões do sistema
  • Prática com modelos abertos hospedados internamente
Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Cada mudança no prompt ou na base de documentos chega com o resultado da bateria anexado. O trabalho é acompanhado em revisão semanal com quem valida o conteúdo, e os critérios de aceite ficam escritos junto do código. Na candidatura, informe a sua pretensão salarial.

Benefícios

oferecidos pela empresa contratante:
  • Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
  • Trabalhe de qualquer lugar, com liberdade e flexibilidade
  • Conexão global: convivência com times de diferentes países e culturas
  • Apoio à saúde física com Total Pass e Mediquo
  • Cuidado com a saúde mental pelo programa Team Care
  • Contratação e jornada definidas com a empresa contratante
Tecnologias envolvidas:
  • Python
  • LLMs
  • RAG
  • Avaliação de LLM
  • LLM como juiz
  • FastAPI
  • Banco vetorial
  • Docker
  • Git
Seus dados:

tratados conforme a LGPD, com remoção a qualquer momento, a pedido.

To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction

Search for further Jobs Here:

SEARCH JOBS: 10+ Million Listings
(Try combinations for better Results! Or enter less keywords for broader Results)
Education Level
Experience Level (years)
Posted in last:
Salary