Développeur Big Data Hadoop / PySpark / Python - 3 à 6 ans (IT) / Freelance

PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI

• ? Démarrage : ASAP
• ? Contexte  / Objectifs  :

Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI .

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en ?uvre techniquement les évolutions du datalake. Passionné par les données, capable de s?adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes.

• ?Principales missions :

Les tâches suivantes seront confiés au consultant :

• ? Mettre en ?uvre de nouvelles ingestions de données, data prep / transformation
• ? Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting)
• ? Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme
• ? Eventuellement mettre en ?uvre une couche d'APIs afin d'exposer nos données

Profil candidat :

• ? Expertises spécifiques :

Le consultant idéal devra posséder les compétences suivantes :

• ? Excellente maîtrise de la plateforme Hadoop, ainsi que du développement en Python / PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira, et du shell scripting sous Unix / Linux est également nécessaire.
• ? Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT.
• ? Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM.
• ? Connaissances et expériences avec des outils et technologies tels que Indexima, Alteryx, Altair, GCP / Big Query, ainsi que des bibliothèques Python orientées API seraient des atouts appréciables.
• ? Capacité à rédiger des spécifications techniques claires et précises.
• ? Dynamisme, excellent relationnel et capacité à travailler en équipe.
• ? Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies.