DATA ENGINEER SPARK BIG DATA - Banque

Dans le cadre des activités liées au financement et aux transactions bancaires, une direction des systèmes d'information est en charge du développement et de la gestion des systèmes d'information dédiés aux paiements et au cash management. Un centre de services Data regroupe des experts en technologies de la donnée pour développer des cas d?usage (collecte, normalisation, croisement et restitution de données issues de sources multiples), déployés dans les infrastructures techniques de l?organisation. Le bénéficiaire prévoit de mettre en ?uvre plusieurs évolutions fonctionnelles sur les cas d?usage Data liés aux activités de paiements et de cash management, incluant notamment la construction d?un patrimoine de données, ainsi que de solutions de Business Intelligence et de reporting. Le bénéficiaire souhaite également faire évoluer son socle technique. À ce titre, il souhaite bénéficier de l?expertise d?un prestataire en Data Engineering. La prestation consiste à contribuer à : L?intégration des cas d?usage dans le système d'information en collaboration avec l?architecture technique Le développement et l?implémentation des collectes de données, des traitements et du mapping (technologies Spark / Scala) La mise en place et l?amélioration de la chaîne de livraison continue (Jenkins, Sonar, Nexus, Kubernetes) La revue de code avec les membres de l?équipe L?accompagnement de l?architecture technique dans les choix d?implémentation La formulation de préconisations en matière d?architecture Big Data La mise en ?uvre de solutions techniques conformes aux orientations métier, aux normes et standards définis La maintenance technique des solutions déployées La définition et l?exécution des stratégies de test La veille technologique et la production de la documentation technique associée La co-élaboration du design technique des cas d?usage L?analyse des besoins utilisateurs et leur traduction en spécifications d?architecture technique L?assistance à la conduite du changement Profil candidat : Les livrables attendus sont : - Documentation d'architecture technique des uses cases -Documentation techniques et fonctionnelles des collectes et traitements incluant les sources de données et les traitements associes - Développement des jobs de Collecte & de Traitements des données - Développement des services de restitution (Rest APi, fichier sur Object Storage) - Automatisation du déploiement des Jobs (CI / CD)