Mid-Senior Data Engineer; Azure​/Databricks), Brasil

Overview

Somos especialistas em transformação tecnológica
, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 7.400 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.

Importante
: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Estamos buscando um(a) Engenheiro de Dados, apaixonado(a) por construir e otimizar soluções de dados em larga escala no ecossistema Azure e Databricks.

- Desenhar, desenvolver e manter a espinha dorsal da nossa plataforma de dados, garantindo que nossas informações sejam robustas, confiáveis e prontas para o consumo analítico e estratégico.

- Se você é movido(a) por desafios técnicos, tem experiência prática com a arquitetura Medalhão e quer aplicar o poder da IA para otimizar o desenvolvimento, esta é a sua oportunidade.

• Arquitetura de Dados (Medallion):
  Projetar, implementar e manter pipelines de dados escaláveis e eficientes, gerenciando todo o ciclo de vida dos dados através das camadas Bronze, Silver e Gold na plataforma Databricks.
• Desenvolvimento e Otimização de Pipelines:
  Construir e gerenciar fluxos de ETL/ELT complexos utilizando Azure Databricks (PySpark/SQL) e Azure Data Factory, garantindo a ingestão, transformação e armazenamento robusto dos dados.
• Eficiência com IA no Desenvolvimento:
  Otimizar ativamente o ciclo de desenvolvimento e a performance dos pipelines, aplicando ferramentas de IA generativa e assistentes de código (ex: Databricks Assistant, Git Hub Copilot) para acelerar a entrega e melhorar a qualidade do código.
• Gerenciamento do Data Lakehouse:
  Garantir a integridade, consistência e performance do nosso Data Lakehouse, utilizando Delta Lake como camada de armazenamento principal (ACID transactions, schema enforcement, time travel).
• Modelagem de Dados:
  Colaborar com analistas e áreas de negócio para desenhar e implementar modelos multidimensionais e agregados (camada Gold), otimizados para consumo de BI e análises avançadas.
• Integração de Sistemas:
  Construir e implementar APIs para facilitar a comunicação, ingestão e consumo de dados, garantindo a troca eficiente de informações entre sistemas (ex: Oracle, SQL Server, fontes externas).
• Colaboração e Governança:
  Trabalhar de forma colaborativa com equipes multifuncionais (BI, Data Science, Negócios) e aplicar as melhores práticas de engenharia e governança de dados.

• Experiência Sólida:
  Experiência como Engenheiro de Dados, com foco principal no ecossistema Azure Cloud.
• Expertise em Databricks:
  Conhecimento profundo em Azure Databricks, incluindo Spark, PySpark, Spark SQL e otimização de clusters.
• Orquestração de Dados:
  Forte conhecimento em Azure Data Factory (ADF) para criação e gerenciamento de pipelines.
• Linguagens:
  Domínio avançado em SQL e Python (voltado para engenharia de dados, ex: Pandas, PySpark).
• Conceitos Fundamentais:
  Excelente compreensão dos fluxos de ETL/ELT, arquitetura Medallion (Medallion Architecture) e dos fundamentos do Delta Lake.
• Modelagem de Dados:
  Experiência com técnicas de modelagem de dados (dimensional, relacional) e familiaridade com ferramentas como Erwin ou similares.
• Bancos de Dados:
  Conhecimento prático em bancos de dados relacionais, como Oracle e SQL Server.

• Experiência prática na aplicação de modelos multidimensionais (Kimball) em camadas Gold.
• Conhecimento em ferramentas de Governança de Dados e Data Catalog (ex: Azure Purview).
• Experiência com práticas de CI/CD (Dev Ops) aplicadas a pipelines de dados (ex: Azure Dev Ops).
• Vivência com ingestão de dados em tempo real (Streaming) usando Spark Structured Streaming ou Azure Event Hubs.
• Certificações Azure (ex: DP-203).

• Plano de saúde e odontológico;
• Vale alimentação e refeição;
• Auxílio-creche;
• Licença parental estendida;
• Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) Total Pass;
• Participação nos Lucros e Resultados (PLR);
• Seguro de Vida;
• Plataforma de aprendizagem contínua (CI&T…