Cientista de Dados Sênior; Testes A​/B na Educação

Position: Cientista de Dados Sênior (Testes A/B na Educação)

Vaga aberta de Cientista de Dados Sênior (Testes A/B na Educação). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

A plataforma de ensino testa mudanças que afetam quem aprende: ordem das aulas, lembretes de estudo, tela de matrícula, preço de assinatura. Muita decisão está sendo tomada em testes interrompidos assim que o resultado parece bom, com grupos pequenos e várias métricas ao mesmo tempo. Daí vêm conclusões que desaparecem quando a mudança é lançada para todos.

Você vai desenhar e analisar os experimentos: escolha da métrica principal, cálculo de tamanho de amostra e de poder, randomização no nível certo (aluno, turma ou escola, para evitar contaminação), verificação de desequilíbrio entre grupos, correção para comparações múltiplas e análise sequencial para permitir olhar o teste sem inflar o erro. Efeito de novidade e efeito de calendário escolar também precisam entrar na leitura.

A entrega é a decisão: lançar, não lançar ou continuar testando, com a estimativa do efeito e o intervalo. Sucesso se mede por testes bem planejados, por menos reversão de lançamentos, por métricas de aprendizagem e não só de clique e por um padrão que o produto passe a seguir sem depender de você.

O que você vai fazer:

• Desenhar experimentos com hipótese, métrica principal, métricas de proteção e tamanho de amostra
• Escolher a unidade de randomização e evitar contaminação entre alunos de uma mesma turma
• Verificar validade do teste, com razão de amostras e equilíbrio de covariáveis
• Aplicar métodos sequenciais e correção de comparações múltiplas
• Reduzir variância com ajuste por covariável pré-experimento e estratificação
• Analisar efeito heterogêneo por perfil de aluno e por curso
• Escrever o relatório de decisão com efeito, incerteza e recomendação
• Padronizar o processo de experimentação e treinar produto e analistas

Requisitos:

• Estatística de experimentos: teste de hipótese, poder, intervalos e comparações múltiplas
• Python e SQL para análise e para checagem de qualidade de dados de eventos
• Desenho de randomização em contextos com interferência
• Julgamento para interpretar resultado ambíguo e comunicar incerteza
• Capacidade de definir padrão e de orientar outras pessoas
• Entendimento de métricas de engajamento e de aprendizagem

Diferenciais:

• Redução de variância e estimadores ajustados
• Experimentos em mercados de dois lados ou com efeito de rede
• Abordagens bayesianas para decisão sob incerteza
• Conhecimento de avaliação educacional e de medidas de aprendizagem

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Todo teste tem um plano escrito e revisado antes de começar, e o relatório de decisão é lido pela equipe de produto numa conversa curta. O time mantém uma lista dos testes feitos e do que cada um ensinou, para não repetir o que já se sabe.

Na candidatura, informe a sua pretensão salarial.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• Testes A/B
• Estatística
• SQL
• Poder estatístico
• Análise sequencial
• scikit-learn
• Jupyter

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.