Dans le cadre du programme de transformation, une grande entreprise du secteur de l’énergie met en œuvre une plateforme Data moderne basée sur des technologies cloud (AWS) et orientée Data Platform industrielle et scalable. La plateforme vise à :
Centraliser et industrialiser les flux de données (data ingestion, transformation, exposition)
Accélérer les usages métiers (reporting, analytics…)
Garantir la gouvernance et la qualité des données à l’échelle du groupe
La mission s’inscrit au sein de l’équipe Data Platform, avec un fort enjeu de :
Mise à l’échelle des pipelines
Industrialisation des pratiques Data Engineering
Intégration des usages IA
Développer un outil dans Databricks permettant de filtrer les clients selon des critères définis par le client
Livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour
Développer un ETL en utilisant les services AWS les plus adaptés, notamment :
AWS Step Functions pour l'orchestration / moteur de workflow
AWS Lambda pour des traitements légers
AWS Aurora ou RDS comme base de données relationnelle transactionnelle
Eventuellement Databricks pour des charges de traitements / transformations lourdes
Récupérer les données entrantes via des API ou des fichiers plats
Envoyer les données sélectionnées et transformées dans une vingtaine d'API
Cloud : services AWS
Data Platform : Databricks (Lakehouse)
Streaming : Kafka
Data Governance : Unity Catalog, Collibra
CI/CD : GitHub
Visualisation : Power BI
APIs
Data Engineer - AWS / Databricks - Freelance • Paris, Paris, FR
Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT en CDI (H/F)Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passion... Voir plus
Senior Data Engineer to build and maintain data pipelines, co-design data models, and ensure data integrity in a fast-paced environment. Voir plus
Data Analytics Engineer to join Data Platform Team, focusing on data access facilitation and Lakehouse management.Responsibilities include data modeling, transformation pipelines, governance, and p... Voir plus
Développement et maintenance de pipelines de données, conception de solutions d'analyse de données et collaboration avec les équipes métier. Voir plus
Software Engineer needed in Paris to build and maintain data analysis interfaces.Requires TypeScript and product delivery focus. Voir plus
Ingénieur Cloud recherché pour concevoir et développer des solutions performantes sur Azure, y compris des applications natives, des API et l'automatisation, en collaboration avec les équipes D... Voir plus
Le département Digital & IA d'Air Liquide IT a été créé pour soutenir les ambitions du Groupe en matière de gestion des données, fournir une expertise technologique pour le développement de... Voir plus
Kayrros is recruiting a Senior Software Engineer for its Paris office.You will develop large-scale data pipelines for remote sensing data, collaborating with researchers and engineers across geospa... Voir plus
Designs, builds, and maintains scalable data platforms for analytics and reporting, collaborating across teams. Voir plus
Fifty-Five recherche un Senior Data & Cloud Engineer pour concevoir et déployer des pipelines de données et des data platforms sur GCP/AWS/Azure.Vous travaillerez en étroite collaboration avec ... Voir plus
A leading technology company is seeking a Senior Data Platform Engineer skilled in Java and Apache Spark.This role involves building and maintaining data platform components for large-scale distrib... Voir plus
Data Reply est une filiale du groupe Reply offrant une large gamme de services d'analyse avancée et de données alimentées par l'IA.Nous opérons dans différents secteurs et fonctions commerc... Voir plus
Vous rejoignez la Direction Data & Études pour contribuer au déploiement européen de la plateforme Retail Ads Tech (RAT), une solution SaaS innovante au cœur du Retail Media en magasin.Votre mi... Voir plus
Le Data Engineer conçoit et optimise les pipelines de données, assurant une base solide pour les décisions stratégiques. Voir plus
Un ingénieur data est recherché pour développer des pipelines de données sur GCP.Expérience de 3 ans minimum et maîtrise de GCP, Python et DevOps sont requises. Voir plus
Un Data Engineer recherché pour des projets Data Cloud et le développement de pipelines de données, basé à Levallois-Perret avec possibilité de télétravail. Voir plus
En tant qu'ingénieur data, le rôle est de transformer les données en leviers de performance, concevant des algorithmes et des solutions d'IA. Voir plus
Ingénieur DevOps spécialisé en Big Data sur AWS pour une société de conseil technique dans le secteur de la finance.Expérience requise en Infrastructure as Code et outils EMR/Athena. Voir plus
En tant qu'ingénieur de données, le candidat est responsable de la conception, du développement et de la maintenance de pipelines de données sur GCP, en collaboration avec diverses équipes. Voir plus
Recherche d'un ingénieur de données pour optimiser les pipelines et assister les clients dans l'utilisation de leurs données. Voir plus
