Pessoa Engenheira de Dados Sênior - Big Data
Job in
San Diego, San Diego County, California, 92101, USA
Listing for:
Extractta
Full Time
position
Listed on 2026-11-05
Job specializations:
-
IT/Tech
Job Description & How to Apply Below
Buscamos uma pessoa Engenheira de Dados Sênior, para atuar em um dos maiores bancos digitais do Brasil, no coração de uma plataforma de dados de missão crítica e alta volumetria.
Você será responsável por projetar, construir e manter pipelines de dados robustos e de alta performance, processando grandes volumes transacionais e analíticos em ambiente distribuído, com foco em confiabilidade, qualidade e governança ao longo de todo o ciclo de vida do dado.
Esta posição exige domínio real de engenharia de dados em larga escala: buscamos um perfil técnico forte, autônomo e capaz de tomar decisões de arquitetura, tuning e otimização em cenários de Big Data.
Responsabilidades e atribuições:- Projetar, desenvolver e manter pipelines de dados batch e streaming em alta volumetria, com confiabilidade e governança de ponta a ponta.
- Processar e transformar grandes volumes de dados utilizando Apache Spark em ambiente distribuído.
- Otimizar jobs Spark em produção (tuning, particionamento, gerenciamento de memória, controle de shuffle) visando performance e custo.
- Modelar dados e construir processos de ETL/ELT, incluindo modelagem dimensional e relacional para consumo analítico e operacional.
- Integrar dados de múltiplas fontes respeitando os padrões de arquitetura corporativa do banco.
- Garantir qualidade, observabilidade, lineage e governança dos dados em toda a plataforma.
- Orquestrar e versionar workflows de dados (ex.: Airflow), com práticas de CI/CD aplicadas a pipelines.
- Colaborar com times de Analytics, Ciência de Dados, Produto e Engenharia na evolução da plataforma de dados.
- Apache Spark e Big Data em alta volumetria: experiência sólida e comprovada processando grandes volumes de dados com Spark em ambiente distribuído, incluindo tuning, particionamento, gerenciamento de memória e otimização de jobs em produção.
- Spark além do Databricks: a vivência com Spark não pode ter se limitado ao uso dentro do Databricks. Buscamos profissionais que trabalharam com Spark em ambientes abertos ou autogerenciados (ex.: Spark open source, Spark on Kubernetes, AWS EMR, GCP Dataproc, clusters Hadoop/YARN), demonstrando domínio da engine fora de uma plataforma que abstrai essa complexidade.
- Senioridade comprovada em Engenharia de Dados, preferencialmente em ambientes de missão crítica e/ou setor financeiro.
- Python em nível avançado aplicado a processamento e transformação de dados.
- SQL avançado (consultas complexas, performance e modelagem).
- Experiência com cloud (GCP e/ou AWS) em cargas de dados em escala.
- Modelagem de dados e construção de pipelines ETL/ELT (dimensional e relacional).
- Orquestração de workflows com Airflow ou ferramenta equivalente.
- Boas práticas de versionamento (Git), testes e CI/CD em pipelines de dados.
- Scala aplicado a Spark.
- Processamento em tempo real / streaming (Kafka, Spark Structured Streaming, Flink).
- Ecossistema GCP:
Big Query, Dataproc, Dataflow, Cloud Composer. - dbt e abordagem de Lakehouse (Delta Lake, Iceberg); experiência com Databricks é bem-vinda como complemento à vivência com Spark aberto.
- Governança de dados, data quality e catálogo de dados.
- Infraestrutura como código (Terraform) e containerização (Docker/Kubernetes).
- Vivência prévia no setor bancário ou financeiro, em ambientes regulados.
- Certificações em cloud (GCP ou AWS) e/ou em Big Data.
- Vale Alimentação e/ou Vale Refeição;
- Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
- Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
- Auxílio para Certificações;
- Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
- Oportunidade de trabalhar em uma empresa do mercado em plena expansão.
To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction