Senior cloud data engineer

Location: Trois-Rivières

En tant que Senior Cloud Data Engineer chez Progi, vous serez responsable de la transformation et orchestration de la plateforme de données cloud, avec un focus particulier sur les couches Silver et Gold (Big Query, Dataform, Cloud Composer).

Votre rôle sera central dans l’évolution de notre plateforme vers un modèle data-driven avancé, incluant l’optimisation des coûts, la performance des pipelines et la mise en place des premières capacités en Machine Learning / AI en production.

Vous agirez en propriétaire end-to-end des pipelines de données (architecture medallion) et contribuerez activement à bâtir une plateforme robuste, performante et prête pour les usages analytiques et prédictifs.

Responsabilités principales
Ownership de la plateforme data (Medallion)

Concevoir, construire et maintenir les couches  Silver et Gold dans Big Query

Assurer l’implémentation complète d’une architecture Medallion (bronze / silver / gold)

Garantir la qualité, la cohérence et la scalabilité des datasets

Orchestration & pipelines

Développer et maintenir des pipelines  ELT/ETL avec Dataform et Cloud Composer

Orchestrer les workflows de transformation et de chargement de données

Assurer un monitoring fiable des pipelines en production

Ingestion de données

Implémenter des stratégies d’ingestion via :

APIs

Bases de données (MySQL, etc.)

Standardiser les flux d’ingestion pour assurer leur robustesse et leur réutilisabilité

Optimisation Big Query (clé du rôle)

Optimiser les coûts et les performances des workloads Big Query

Mettre en place des bonnes pratiques :

partitioning / clustering

query optimization

data lifecycle management

Suivre et améliorer en continu l’efficacité de la plateforme

Data & Machine Learning enablement

Collaborer à la mise en place des premiers cas d’usage ML/AI

Préparer les données pour des pipelines de machine learning en production

Participer à l’intégration avec les outils GCP liés au ML (ex : Vertex AI)

CI/CD & bonnes pratiques

Contribuer à la mise en place et l’amélioration des pipelines  CI/CD (Git, automatisation)

Appliquer les standards d’ingénierie modernes (tests, versioning, documentation)

Collaboration

Travailler étroitement avec les équipes BI, produit et techniques

Participer à la définition des besoins analytiques et des modèles de données

Promouvoir une culture de data engineering orientée performance et valeur métier

Profil recherché Expérience

Minimum  5 ans d’expérience en data engineering

Minimum  2 ans sur Google Cloud Platform (GCP)

Compétences techniques

Excellente maîtrise de :

SQL (avancé)

Python

Expérience solide avec :

Big Query

Dataform

Cloud Composer

Bonne compréhension des architectures :

Data warehouse

Medallion architecture

Expérience pratique souhaitée

Construction de pipelines de données en production

Optimisation des coûts et performance Big Query

Migration ou modernisation vers le cloud

Expérience avec des projets de Machine Learning (atout fort)

Atouts

Expérience avec CI/CD et Git

Connaissance des outils d’ingestion (API, bases transactionnelles)

Expérience dans un environnement data à forte volumétrie

Ce qui différencie ce rôle

Ownership complet de la couche de transformation (pas juste builder)

Impact direct sur :

les coûts cloud

la performance data

la stratégie AI/ML

Rôle  hybride Data Engineer + Data Platform + AI en devenir

La connaissance de l'anglais est essentiel afin d'accomplir sa prescription de travail avec les différentes parties prenantes.

#J-18808-Ljbffr