Data Engineer Spark

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA.

Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc.

Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.

https : / / www.dgtl-performance.com

Description du poste :

Description détaillée des tâches qui constituent la mission

• Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad)
• Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers
• Mettre en œuvre les tests unitaires et automatisés
• Déployer le produit dans les différents environnements
• Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents
• Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code

Attendu

Contribuer à la Fabrication des Produits des Squads de l'Entreprise dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data)

Etre force de proposition et expertise au sein du Chapitre sur les technologies manipulées

Profil recherché :

Site : Vannes, 3 jours sur site par semaine

Date de démarrage : asap

Nationalité et langues parlées : français

Durée mission : jusqu'au 31 / 12 / 2025

Mission : intervention pour le compte du Chapitre Data à Vannes

Nb années d'expérience : 5 à 7 ans

Profil : Data Engineer confirmé

Compétences techniques - Langage :

Spark - spark streaming et batch (requis),

Kafka (apprécié)

java (apprécié)

shell (apprécié)

Stack Hadoop Cloudera

Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB)

DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana

Scrum (cadre agile entreprise)

Compétences techniques souhaitées – appréciées

BDD Teradata,

xDI,

SQL

Data viz : Microstrategy