Data Engineer | AWS | Databricks

Contexte

Dans le cadre de la mise en place et de l?évolution d?une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé.

Cette plateforme permet l?intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle.

Rôle et responsabilités

Développement et ingestion de données

Concevoir, développer et optimiser des jobs d?ingestion et de transformation de données en Python et Spark sur Databricks, avec gestion de gros volumes.

Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3.

Orchestration et supervision

Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements.

Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité.

Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies.

Maintien en condition opérationnelle

Assurer la disponibilité et la performance des jobs en production.

Analyser et corriger les incidents et anomalies détectées.

Contribution stratégique

Participer aux ateliers de conception technique et fonctionnelle.

Promouvoir les bonnes pratiques de développement et d?optimisation Big Data.

Documenter les processus, architectures et scripts.

Compétences techniques requises

MUST  : Python

Spark

Databricks

SQL

SHOULD  :

AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)

COULD  :

Big Data (gestion et traitement de très gros volumes de données)

WOULD  : Git

Méthodologies et outils  :

CI / CD avec GitLab

JIRA / Confluence

Méthodologie agile Scrum

Profil candidat :

Compétences techniques requises

MUST  : Python

Spark

Databricks

SQL

SHOULD  :

AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)

COULD  :

Big Data (gestion et traitement de très gros volumes de données)

WOULD  : Git