Engenheiro de Machine Learning Sênior; Monitoramento de Modelos na Saúde

Position: Engenheiro(a) de Machine Learning Sênior (Monitoramento de Modelos na Saúde)

Vaga aberta de Engenheiro(a) de Machine Learning Sênior (Monitoramento de Modelos na Saúde). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Numa empresa de saúde, modelos de classificação de risco de internação, de previsão de absenteísmo em consultas e de apoio à triagem já estão em produção. Quase ninguém olha para eles depois da entrega. O perfil dos pacientes muda, um laboratório altera a unidade de um exame, um sistema passa a enviar um campo vazio, e o modelo continua respondendo com a mesma segurança aparente.

Você vai montar o monitoramento que mostra quando os modelos deixam de merecer confiança.

O desafio específico da saúde é que o desfecho real demora a aparecer: a internação ocorre semanas depois da previsão, então a degradação só se vê tarde. O monitoramento precisa trabalhar com sinais antecipados, como deriva de entrada, mudança na distribuição das previsões e qualidade dos dados, e com métricas de desempenho calculadas assim que o rótulo chega. Também deve observar o desempenho por subgrupo, pois um modelo pode ficar bom na média e ruim para uma faixa etária.

O sucesso se mede por tempo para detectar uma degradação, alertas acionáveis sem excesso de ruído e decisões documentadas de retreino ou aposentadoria. Sendo sênior, o padrão de monitoramento e o plano de resposta a incidentes são suas decisões.

O que você vai fazer:

• Definir para cada modelo as métricas de saúde: dados de entrada, previsões e desempenho com rótulo tardio
• Implementar detecção de deriva e de dado ausente ou fora de faixa nas variáveis de entrada
• Calcular desempenho por subgrupo, como faixa etária e unidade, quando o desfecho for conhecido
• Configurar alertas com limites ajustados para evitar ruído
• Construir painéis e relatórios periódicos de saúde dos modelos
• Escrever o plano de resposta: quando congelar, retreinar ou retirar um modelo
• Automatizar o retreino no Airflow com validação antes da troca, registrando no MLflow
• Orientar o time e conduzir a revisão de incidentes de modelo

Requisitos:

• Monitoramento de modelos em produção: deriva de dados, de conceito e de desempenho
• Python, scikit-learn e XGBoost, com registro e versionamento de modelos
• SQL para reconstruir previsões e desfechos ao longo do tempo
• Orquestração e contêineres em ambiente de produção
• Análise por subgrupo e noções de equidade
• Cuidado com dados de saúde sob a LGPD

Diferenciais:

• Experiência com modelos clínicos ou operacionais em saúde
• Conhecimento de ferramentas de observabilidade de modelos de código aberto
• Prática em calibração de probabilidades e sua monitoração
• Hábito de escrever relatórios curtos de incidente com lições aprendidas

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. Os alertas de modelo seguem uma rotina combinada de plantão e as mudanças no monitoramento passam por revisão de outra pessoa. Uma vez por mês, os modelos em produção são revistos em conjunto com as áreas que dependem deles. Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• scikit-learn
• XGBoost
• MLflow
• SQL
• Docker
• Airflow
• Git
• Monitoramento de modelos

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.