Data Engineer

Expert de lécosystème Databricks vous concevez et industrialisez des architectures de données scalables pour soutenir les projets Analytics et IA. À lintersection du Software Engineering et du Cloud vous transformez des flux complexes en plateformes performantes automatisées et prêtes pour léchelle.

Missions détaillées

• Conception et développement de pipelines ETL/ELT complexes en batch et en streaming sur lécosystème Databricks / Cloud

• Tuning des clusters partitionnement des données et optimisation des requêtes pour garantir la scalabilité et maîtriser la facture

• Industrialisation des déploiements orchestration des jobs et mise en place de tests de qualité automatisés

• Monitoring des flux en production gestion du lignage des données et garantie de la cohérence technique entre les sources et les cibles.

Qualifications :

Compétences techniques

• Maîtrise avancée de SQL et Python une maitrise de Scala est un plus

• Expérience approfondie avec au moins une plateforme cloud (AWS Azure GCP) et sur Databricks

• Maitrise des frameworks de traitement de données distribuées (Spark PySpark)

• Maîtrise du cycle de vie logiciel (Git CI/CD via GitHub Actions/GitLab CI) et de la conteneurisation (Docker K8s)

• Expérience avec lIaC (Terraform)

Profil

• Issu(e) dune école dingénieur ou équivalent avec minimum 4 ans dexpérience en Data Engineering dont au moins 2 ans dans un écosystème Databricks
• Excellent relationnel et capacité à travailler en équipe
• Sens prononcé du service et engagement dans vos activités
• Aptitude à résoudre des problèmes complexes
• Rigueur et souci du détail

Informations supplémentaires :

Le Groupe Devoteam œuvre pour légalité des chances pour la promotion de ses collaboratrices et de ses collaborateurs au mérite et lutte activement contre toute forme de discrimination. Nous sommes persuadés que la diversité contribue à la créativité au dynamisme et à lexcellence de notre organisation.
Tous nos postes sont ouverts aux personnes en situation de handicap.

Remote Work :

No

Employment Type :

Full-time

Key Skills
Apache Hive,S3,Hadoop,Redshift,Spark,AWS,Apache Pig,NoSQL,Big Data,Data Warehouse,Kafka,Scala
Experience: years
Vacancy: 1