Data Engineer

Expert de lécosystème Databricks vous concevez et industrialisez des architectures de données scalables pour soutenir les projets Analytics et IA. À lintersection du Software Engineering et du Cloud vous transformez des flux complexes en plateformes performantes automatisées et prêtes pour léchelle.

Missions détaillées

Conception et développement de pipelines ETL / ELT complexes en batch et en streaming sur lécosystème  Databricks  / Cloud

Tuning des clusters partitionnement des données et optimisation des requêtes pour garantir la scalabilité et maîtriser la facture

Industrialisation des déploiements orchestration des jobs et mise en place de tests de qualité automatisés

Monitoring des flux en production gestion du lignage des données et garantie de la cohérence technique entre les sources et les cibles.

Qualifications :

Compétences techniques

Maîtrise avancée de SQL et Python une maitrise de Scala est un plus

• Expérience approfondie avec au moins une plateforme cloud (AWS Azure GCP) et sur Databricks

Maitrise des frameworks de traitement de données distribuées (Spark PySpark)

Maîtrise du cycle de vie logiciel (Git CI / CD via GitHub Actions / GitLab CI) et de la conteneurisation (Docker K8s)

Expérience avec lIaC (Terraform)

Profil

Informations supplémentaires :

Le Groupe Devoteam œuvre pour légalité des chances pour la promotion de ses collaboratrices et de ses collaborateurs au mérite et lutte activement contre toute forme de discrimination. Nous sommes persuadés que la diversité contribue à la créativité au dynamisme et à lexcellence de notre organisation.

Tous nos postes sont ouverts aux personnes en situation de handicap.

Remote Work : No

Employment Type : Full-time

Key Skills

Apache Hive,S3,Hadoop,Redshift,Spark,AWS,Apache Pig,NoSQL,Big Data,Data Warehouse,Kafka,Scala

Experience : years

Vacancy : 1