Data Engineer GCP; IT​/Freelance

Contexte de la mission

Dans le cadre de l’évolution de ses plateformes data sur Google Cloud Platform, nous recherchons un Data Engineer expérimenté afin d’améliorer la qualité, la performance et l’optimisation des datasets Big Query.

La mission s’inscrit dans un contexte de forte croissance des volumes de données avec des enjeux majeurs autour de :

• la maîtrise des coûts cloud (Fin Ops)
• la fiabilité des données
• la performance des pipelines
• et la préparation des données pour les usages IA

• Réduire les coûts liés aux traitements et aux requêtes Big Query
• Améliorer la qualité et l’observabilité des données
• Optimiser les pipelines d’ingestion et de transformation
• Accompagner les projets IA via des datasets fiables et industrialisés

• Analyser les logs et identifier les requêtes coûteuses ou peu performantes
• Mettre en œuvre les bonnes pratiques Big Query:
  • partitionnement
  • clustering
  • optimisation des schémas
  • gestion des tables matérialisées et des vues
• Réduire les volumes de données scannées et améliorer les performances globales

• Optimiser les pipelines d’ingestion et de traitement des données
• Renforcer la robustesse des flux (gestion des erreurs, retry, montée en charge)
• Participer à l’industrialisation des traitements via Terraform et les pratiques Data Ops

• Déployer un framework de monitoring et de tests automatisés
• Définir les indicateurs de qualité:
  • fraîcheur des données
  • cohérence des schémas
  • volumétrie
  • validité des données
• Mettre en place des alertes proactives en cas d’anomalies

• Collaborer avec les équipes IA/ML pour fournir des datasets exploitables
• Participer à l’intégration des services GCP liés à l’IA (Big Query, Vertex AI, etc.)
• Être force de proposition sur les usages Data & IA