Big data • argenteuil 95
Développement de Pipelines de Données :.Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de dive... Voir plus
ATA lié à la modification du référentiel comptable AXA et à ses impacts sur les traitements opérationnels (modèles et reportings/outil d’analyse online) de la Direction de marché, à la migration du... Voir plus
Crée il y a 15 ans, Externatic est l'un des 1ers cabinets de recrutement spécialisés.Informatique, Data & Cybersécurité" à voir le jour en France.Près de 300 postes ouverts en permanence et 100% e... Voir plus
Tech reconnu pour ses activités de conseil, de services numériques et d’édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables.I... Voir plus
Vous souhaitez évoluer dans un environnement exigeant, international et au cœur des enjeux des marchés financiers ? Rejoignez une équipe dynamique où vous contribuerez au bon fonctionnement d'appli... Voir plus
Ton futur environnement de travail :.Tu intègres l'équipe en tant que Data Analyst pour l'un de nos grands comptes clients.Identifier, extraire et collecter des données provenant de différentes sou... Voir plus
Kaino, cabinet de recrutement spécialisé recrute un Data Ops en CDI pour un acteur mondial dans le domaine de la Santé à Paris.Vous rejoignez une équipe IT & Digital de plus de 200 personnes et par... Voir plus
METALINE est une ESN spécialisée dans l’infogérance, les services managés et le Digital Work Place.Fondée avec l’ambition d’accompagner les entreprises dans la gestion et l’optimisation de leurs in... Voir plus
Is it Onsite/Remote/Hybrid: Onsite.Design & Implement Data ingestion and Data lakes-based solutions using Big Data Technologies.The Tech Lead should be highly proficient in the use of Big Data ... Voir plus
Nous recherchons activement pour le compte d'un de nos partenaires.Data Engineer / Data Analyst / Data Scientist.Attention: Partenariat exclusif avec notre école.Sous la supervision de votre maitre... Voir plus
Dans le cadre d’un projet chez l'un de nos clients grands compte, nous recherchons un(e) D.Vous rejoindrez une équipe Agile en charge de la valorisation des données métiers, du développement de sol... Voir plus
L’ISCOD, spécialiste de la formation en Digital Learning, recherche pour un concessionnaire,.Data Engineer (data factory) en contrat d'apprentissage,.Etat de niveau 5 à niveau 7 (Bac+2, Bachelor/Ba... Voir plus
Nous recherchons un(e) Data Engineer Data Vault GCP pour rejoindre notre équipe et nous aider à développer des solutions de données innovantes.Type de Contrat: Freelance ou Pres... Voir plus
Fondée en 1969, Cegedim est une entreprise innovante de technologies et de services spécialisée dans la gestion des flux numériques de l’écosystème santé et BtoB, ainsi que dans la conception de lo... Voir plus
Offre d’Emploi : Data Engineer Expérimenté .Localisation : Levallois-Perret.Télétravail : 2 à 3 jours par semaine sur site.Langues: anglais courant indispensable... Voir plus
Nous recherchons un Ingénieur Cloud & Big Data Infrastructure de niveau Senior pour rejoindre une équipe technique responsable de l'exploitation et de l'évolution d'infrastructures de données à gra... Voir plus
En 5 ans, La Javaness s’est imposée comme leader français de l’IA pour les entreprises (BtoB).Sans tambour ni trompettes (mais avec beaucoup de R&D !), nous avons concentré nos forces à déploye... Voir plus
Créée en 2004, INVIVOO est le partenaire technologique et historique des institutions financières depuis plus de 20 ans.Nous mobilisons nos expertises technologiques et métiers au service de nos cl... Voir plus
Nous rejoindre, c’est intégrer un groupe multi-expert, solide et proche de ses clients, 1er bancassureur en Europe et 1er assureur en France.N... Voir plus
Développement de Pipelines de Données :
o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources.
o Implémenter des flux de données robustes et performants sur Cloudera.
o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées.
o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données.
2. Optimisation et Performance :
o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement.
o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase.
o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme.
3. Assurance Qualité et Déploiement (DevOps) :
o Écrire des tests unitaires et d'intégration pour garantir la qualité du code.
o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD).
o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement.
o Gérer les dépendances et les versions avec Maven.
4. Collaboration et Documentation :
o Documenter le code, les architectures et les processus.
o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.
• Expérience : Minimum de 6 ans d'expérience en développement Big Data et/ou Data Engineering. Expérience significative dans le domaine financier, idéalement en gestion des risques de crédit.
• Compétences Techniques Indispensables :
o Apache Spark 3.x : Excellente maîtrise du développement, optimisation et scalabilité des applications Spark Java .
o Java 8 : Maîtrise approfondie pour développement Spark.
o Scala : Souhaitable .
o Stack Cloudera : Expérience avérée avec Hadoop (HDFS,Hive, HBase ..).
o SQL : Maîtrise indispensable pour l'exploitation et l'analyse des données.
o Devops : CI/CD, SonarQube, checkmarx, XLD.
