Data Engineer; Databricks

Ivy Partners est une société de conseil suisse qui accompagne les entreprises dans leurs défis stratégiques, technologiques et organisationnels.

Nous avons à cœur d’offrir à nos collaborateurs une carrière qui favorise leur épanouissement personnel et professionnel. Nous les accompagnons dans leur montée en compétences et leur ouvrons de réelles perspectives d’évolution.

• Étendre la couverture des ensembles de données de la plateforme Delta Flow en intégrant de nouveaux ensembles en utilisant les modèles de configuration établis.
• Concevoir de nouveaux ensembles de données.
• Rédiger les configurations TOML spécifiques à chaque ensemble de données.
• Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
• Valider les nouveaux ensembles de données selon le modèle de qualité/quarantaine.
• Déployer les changements à travers le pipeline CI/CD Azure Dev Ops existant (sans déploiement manuel).
• Vérifier les nouveaux ensembles de données selon les catégories du canevas DQ (complétude, unicité, validité, intégrité référentielle, cohérence inter-niveaux).
• Documenter chaque ensemble de données intégré conformément aux conventions d'inventaire existantes.

• Vous avez une solide expérience pratique de Unity Catalog, Delta Lake, Change Data Feed de Databricks.
• Vous êtes à l'aise pour rédiger et déboguer la logique des pipelines avec PySpark.
• Votre maîtrise de SQL est forte ; vous rédigerez directement la logique de transformation et les requêtes de validation.
• Vous savez travailler dans un pipeline CI/CD sur Azure Dev Ops existant, comprendre ses mécanismes et déboguer les échecs.
• Vous avez une connaissance fonctionnelle des données dans le domaine de la banque privée.
• Vous êtes capable de modéliser correctement un nouvel ensemble de données avant de rédiger la configuration TOML.
• L'expérience avec TOML ou d'autres modèles de pipeline configurables, ainsi qu'une exposition aux pipelines déclaratifs Kafka/Spark et une compréhension préalable des méthodologies de modélisation dimensionnelle (Kimball ou similaire) seraient des atouts.

• Bienveillance | Soucieux de nos employés, nous leur garantissons un environnement favorable où chacun est valorisé et soutenu avec des formations et de réelles perspectives d’évolution.
• Confiance | Nous avons à cœur de bâtir des relations solides et durables avec nos clients. Travailler avec nous, c’est développer un partenariat fondé sur la confiance, le professionnalisme et la transparence à chaque instant.
• Innovation | Nous allions technologie et créativité pour mener à bien des transformations numériques à fort impact.
• Responsabilité | La collectivité est à la base de tout ce que nous entreprenons, et nous prenons cette responsabilité au sérieux en mettant tout en œuvre pour avoir un impact positif.