Pessoa Sre/Engenheira de Dados Sênior – Plataforma de Dados Aws e Gcp
-
IT/Tech
Job Description & How to Apply Below
Resumo da vaga:
Buscamos um(a) profissional sênior para atuar de forma dedicada em um banco digital de grande porte, em um squad de plataforma de dados responsável pela entrega governada de dados multi-cloud do banco, iniciativa originada das exigências do Open Finance.
O projeto envolve o desenvolvimento de pipelines para processamento de grandes volumes de dados no Google Cloud Platform (GCP) e disponibilização na AWS para uma arquitetura de Data Hub, utilizando AWS Glue, Amazon S3 Tables e Apache Iceberg.
Serão considerados profissionais de SRE com conhecimento em engenharia de dados ou engenheiros de dados com experiência em CI/CD e automação
. A atuação será em conjunto com desenvolvedores Go, QA e os times de dados, arquitetura e SRE do banco.
- Desenvolver, implantar e acompanhar pipelines para processamento e disponibilização de grandes volumes de dados.
- Contribuir para a integração entre o processamento no GCP e a disponibilização dos dados na AWS.
- Atuar com AWS Glue, Amazon S3 Tables e Apache Iceberg na implementação e evolução da plataforma.
- Estruturar e evoluir esteiras de CI/CD, automatizando testes e implantação de componentes.
- Contribuir para a confiabilidade, observabilidade, desempenho e operação dos pipelines e serviços de dados.
- Investigar falhas, identificar causas e implementar soluções em conjunto com os times envolvidos.
- Identificar dependências de infraestrutura, permissões e acessos, articulando a resolução de impedimentos.
- Participar das discussões de arquitetura e decisões técnicas, buscando referências e propondo soluções.
- Colaborar com desenvolvedores Go, QA e demais times do banco na implementação e validação das entregas.
- Atuar desde a discussão conceitual até a implementação, os testes e o acompanhamento em produção.
- Experiência sênior em SRE, Engenharia de Plataforma ou Engenharia de Dados.
- Conhecimento de engenharia de dados e pipelines, para profissionais de SRE, ou experiência em CI/CD e automação, para profissionais de Engenharia de Dados.
- Conhecimento sólido e experiência prática em AWS.
- Experiência com pipelines e processamento de grandes volumes de dados.
- Conhecimento de esteiras de CI/CD e automação de desenvolvimento e implantação.
- Domínio de Python para desenvolvimento e automação.
- Conhecimento de Apache Iceberg e sua utilização no ecossistema AWS.
- Conhecimento de GCP e capacidade de atuar em uma arquitetura que integra diferentes provedores de nuvem.
- Experiência em grandes empresas, com processos de governança e ambientes com restrições de acesso.
- Visão de ponta a ponta da solução, considerando processamento, armazenamento, integrações, implantação e operação.
- Experiência prática com AWS Glue e Amazon S3 Tables.
- Conhecimento de Cloud Composer, Apache Airflow e Dataflow.
- Conhecimento ou experiência com Delta Lake.
- Conhecimento da linguagem Go.
- Vivência em projetos de integração de dados entre GCP e AWS.
- Experiência em bancos, fintechs ou projetos relacionados a Open Finance.
Buscamos uma pessoa com maturidade profissional, autonomia e flexibilidade para atuar em ambientes corporativos complexos. É importante saber lidar com acessos restritos e dependências entre áreas, buscando os responsáveis, acompanhando solicitações e propondo alternativas dentro das regras do banco.
Esperamos alguém que contribua para discussões técnicas e conceituais com argumentos e referências e que também tenha atuação prática para desenvolver, implantar, testar e acompanhar os resultados. Boa comunicação, colaboração e iniciativa para resolver problemas são essenciais.
Informações adicionais:- Vale Alimentação e/ou Vale Refeição;
- Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
- Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
- Auxílio para Certificações;
- Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
- Oportunidade de trabalhar em uma empresa do mercado em plena expansão.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
View / Apply for Jobs
Matching My Jurisdiction