Notre client dans le secteur Banque et finance recherche un/une Data Engineer Senior — Industrialisation & Migration Airflow/Astronomer H/F
Description de la mission :
Contexte de la mission
L'équipe data de l'organisation fonctionne actuellement sans outil d'orchestration ETL : l'ensemble des pipelines de données a été développé manuellement en Python, sans framework d'industrialisation. Dans une logique de scalabilité, de fiabilisation et de maintenabilité, la mission vise à migrer l'intégralité de l'existant vers Apache Airflow (Astronomer).
Le Data Engineer recruté sera responsable de concevoir et d'industrialiser from scratch la nouvelle architecture d'orchestration, en reprenant les pipelines Python existants pour les transformer en DAGs robustes, monitorés et déployables en continu.
Missions principales
• Auditer l'existant : cartographier les scripts Python actuels, identifier les dépendances, les points de fragilité et les priorités de migration
• Concevoir l'architecture cible Airflow / Astronomer : structure des DAGs, gestion des connexions, secrets et environnements
• Migrer progressivement les pipelines existants vers des DAGs industrialisés, testés et documentés
• Développer et maintenir des pipelines de données streaming avec Kafka ainsi que des pipelines batch / asynchrones classiques
• Mettre en place les bonnes pratiques DataOps : CI/CD des DAGs, tests, monitoring, alerting et gestion des environnements dev / staging / prod
• Travailler dans des environnements big data distribués et volumineux
• Participer à terme à l'intégration de Starburst dans l'architecture data, dans une logique de fédération de requêtes / lakehouse
• Être force de proposition sur les choix techniques et les standards de l'équipe
Compétences / Qualités indispensables :
Python avancé, Apache Airflow / Astronomer, Kafka, Kubernetes, DataOps (CI/CD, monitoring), Architecture data et industrialisation
Compétences / Qualités qui seraient un + :
Notions de bases de données graphe (type Neo4j)
Profil recherché
• Expérience significative et confirmée en data engineering, avec un niveau senior
• Python avancé impératif, avec capacité à reprendre et refactorer du code existant non industrialisé
• Maîtrise solide de Airflow / Astronomer : conception de DAGs, executors, déploiement Astro
• Expérience sur Kafka pour la conception et la maintenance de pipelines de données en streaming
• Bonnes compétences en Kubernetes pour le déploiement et la gestion des workloads
• Maîtrise des pratiques DataOps : CI/CD, monitoring et industrialisation des pratiques data
• Aisance dans les environnements big data, incluant volumétrie, distribution et optimisation
• Connaissance de Starburst / Trino appréciée, dans la perspective d'une évolution de l'architecture
• Autonomie totale exigée pour reprendre un existant non structuré et le faire évoluer seul vers une architecture industrialisée
• Capacité à faire des choix d'architecture et à les défendre
• Bon relationnel pour interagir avec les équipes data existantes, notamment analysts et scientists, et faire monter l'équipe en compétence sur les nouvelles pratiques
Data Engineer Senior — Industrialisation & Migration Airflow / Astronomer - Freelance • Montreuil, Seine-Saint-Denis, Val-de-Marne, FR
En tant qu'ingénieur de données senior, vous industrialiserez des solutions d'IA évolutives, développerez des pipelines de transformation de données à grande échelle et mettrez en place des... Voir plus
Ingénieur expérimenté pour développer et optimiser des traitements de données volumineuses en utilisant Python, Databricks et Power BI. Voir plus
Ingénieur Data spécialisé sur Snowflake pour concevoir, réaliser et exploiter des solutions Data innovantes.Vous assurerez la collecte, l'intégration et la qualité des données, ainsi que le dép... Voir plus
Un ingénieur données est recherché pour développer et maintenir des pipelines de données à Paris ou Marseille. Voir plus
Wewyse est un cabinet de conseil spécialisé en Data & IA.C'est aussi et surtout une communauté de passionnés partageant l'ambition de grandir ensemble et d'ouvrir le champ des possi... Voir plus
Ingénieur Data Senior recherché pour une plateforme de rencontres professionnelles afin de mettre en place des contrôles qualité, assurer la sécurité des données et optimiser les systèmes de stockage. Voir plus
Pulsover recrute : Lead Data & AI Engineer 🚀Chez Pulsover, partenaire Databricks et AWS, nous croyons qu'un bon lead ingénieur data se reconnaît moins à la liste de ses outils qu'à sa ... Voir plus
L'entreprise recherche un Data Engineer expérimenté sur Azure et Fabric pour développer des pipelines de données et concevoir des solutions. Voir plus
Senior Data Engineer to build and maintain scalable real-time and batch data pipelines, influencing the long-term design of the company's data foundation. Voir plus
Tenth Revolution recrute pour l'un de ses clients, un grand groupe français évoluant dans le secteur de l'énergie.Engagés dans une démarche d'innovation et de modernisation de leurs sys... Voir plus
Vous rejoignez la Direction Data & Études pour contribuer au déploiement européen de la plateforme Retail Ads Tech (RAT), une solution SaaS innovante au cœur du Retail Media en magasin.Votre mi... Voir plus
Ingénieur Data recherché pour concevoir et développer des pipelines de données.Maîtrise de SQL, Python, PySpark, Azure Data Factory et Databricks requise. Voir plus
Ingénieur expérimenté recherché pour gérer une plateforme de données et cloud multi-cloud, garantissant la haute disponibilité et la sécurité des infrastructures, avec une expertise AWS et Talend. Voir plus
Un ingénieur data est recherché pour développer des pipelines de données sur GCP.Expérience de 3 ans minimum et maîtrise de GCP, Python et DevOps sont requises. Voir plus
Concevoir et maintenir des pipelines de données géospatiales, industrialiser des workflows IA de télédétection, mettre en place orchestration et automatisation pour des projets à fort impact enviro... Voir plus
Ingénieur expérimenté en BI pour intégrer et transformer des données, modéliser des datamarts, développer des tableaux de bord Power BI et contribuer à l'architecture data Azure. Voir plus
Un Data Engineer recherché pour des projets Data Cloud et le développement de pipelines de données, basé à Levallois-Perret avec possibilité de télétravail. Voir plus
Ingénieur data expérimenté recherché pour concevoir des architectures robustes, gérer des pipelines de traitement massifs et moderniser des écosystèmes data, en travaillant sur des projets tech exi... Voir plus
Un ingénieur data recherché pour analyser les données et développer des algorithmes pour la santé à Paris, CDI, salaire compétitif. Voir plus
En tant qu'ingénieur de données, le candidat est responsable de la conception, du développement et de la maintenance de pipelines de données sur GCP, en collaboration avec diverses équipes. Voir plus
