Data Engineer HF

Dans le cadre du lancement de notre nouveau projet Datahub V2 nous recherchons un/une Data Engineer pour assurer la phase de RUN et garantir la continuité opérationnelle. Vous rejoindrez une équipe dexperts ayant mené la construction de la solution et serez responsable de son maintien et de son évolution.

Le poste ne requiert pas une expertise pointue mais nous recherchons un professionnel solide et autonome capable de prendre en main les composants existants dassurer leur stabilité et les faire évoluer de manière durable.

Qualifications :

Vos missions

Développer et optimiser des traitements distribués sur Spark pour garantir la performance du Datahub V2

Orchestrer des workflows batch avec Airflow en intégrant les jobs nécessaires

Interroger et intégrer les données via SQL et Starburst (Trino)

Contribuer aux développements applicatifs en Java/Scala

Mettre en place et suivre les pipelines de déploiement dans un environnement DevOps

Superviser les activités grâce à la gestion des logs et la création de dashboards ELK

Veiller à la bonne utilisation des environnements Cloud et à la cohérence de larchitecture technique

Compétences recherchées

Spark 3

SQL / Starburst (Trino)

Airflow (Astronomer) / Python

Java

Scala

ELK (Log as a Service)

Cloud (compréhension des environnements cloud hébergeant le Datahub V2)

DevOps (gestion des pipelines de déploiement via des templates existants)

Informations supplémentaires :

Pourquoi nous rejoindre

Vous aurez lopportunité de travailler sur des projets stratégiques au sein dune institution bancaire de premier plan en contribuant directement à lamélioration de la qualité des services offerts aux utilisateurs et clients.

Si vous êtes passionné par le domaine de la data et souhaitez relever ce défi nous vous invitons à postuler dès maintenant.

Nous sommes impatients de découvrir votre candidature :-)

Remote Work :

No

Employment Type :

Full-time

Key Skills
Apache Hive,S3,Hadoop,Redshift,Spark,AWS,Apache Pig,NoSQL,Big Data,Data Warehouse,Kafka,Scala
Experience: years
Vacancy: 1