Nous recherchons un Data Engineer confirmé / sénior avec une forte expertise sur Azure, Databricks, Spark, Scala, Python et SQL :
- Développement et l?implémentation de solutions Big Data Analytics
- Analyse du besoin, étude d'impacts et conception de la solution technique
- Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, ?)
- Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
- Développements de notebooks (ex : Databricks) de traitements avancés des données
- Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
- Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ?.)
- Revue de code
- Réalisation de tests unitaires
- Maintenance corrective et évolutive
- Livraison dans un environnement Devops, CI / CD et outils associésProfil candidat :
- Expérience Data minimum 5 ans
- Azure minimum 3 ans
- Expérience architecture Lakehouse minimum 2 ans
- Databricks minimum 5 ans
- Spark minimum 5 ans
- Scala, Python, SQL minimum 5 ans
- Maitrise de CI / CD, Azure DevOps minimum 3 ans
- Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an