Data Engineer

Nous recherchons un Data Engineer pour travailler sur des projets de collecte, transformation et gestion des flux de données au sein de notre équipe. Le poste requiert des compétences techniques en Data Bricks , Python , SQL et Azure DevOps pour assurer le bon déroulement des pipelines de données. De plus, des connaissances de base dans l’utilisation de Power BI et une approche agile basée sur Scrum sont attendues.

Le Data Engineer jouera un rôle clé dans la mise en place et l'optimisation des processus de gestion des données, en s'assurant de la qualité, de la transformation et de l'intégration des données dans des environnements Azure.

Responsabilités :

Collecte et transformation des données : Concevoir et développer des pipelines de collecte de données et de transformation (ETL) à l’aide des technologies adaptées (notamment Data Bricks ).

Gestion des flux de données : Assurer l’intégration et la gestion fluide des flux de données entre les différentes sources et plateformes.

Développement Python & SQL : Créer des scripts Python et des requêtes SQL pour manipuler, nettoyer et transformer les données.

Support Azure DevOps : Utiliser Azure DevOps pour gérer les processus de déploiement et d’intégration continue (CI / CD).

Participation aux projets Power BI : Fournir un soutien de base pour les projets Power BI, notamment au niveau sémantique (compréhension des données et modèles).

Méthodologie Agile : Travailler en étroite collaboration avec l'équipe produit dans un cadre Agile (méthodologie Scrum) pour assurer la livraison rapide et efficace des projets.

Compétences requises :

Techniques :

Maîtrise des technologies Data Bricks , Python , SQL .

Expérience avec Azure DevOps pour la gestion des déploiements et de l’intégration continue.

Power BI : Connaissances de base en sémantique des données et modèle de données dans Power BI.

Connaissance des processus ETL pour la gestion de la collecte, transformation et stockage des données.

Agilité :

Bonne maîtrise des méthodes Agile , avec une expérience en Scrum .

Compétences en communication : Capacité à travailler efficacement en équipe, à échanger et à comprendre les besoins fonctionnels pour traduire ces besoins en solutions techniques.

Profil recherché :

Formation : Bac+5 en informatique, data science, ou dans un domaine similaire.

Expérience : Minimum 2 à 3 ans d’expérience en tant que Data Engineer ou sur un poste similaire avec des compétences en développement Python, SQL et gestion des données.

Autonomie et capacité à travailler dans un environnement dynamique et en constante évolution.

Compétences appréciées :

Expérience avec Azure Synapse , Azure Data Lake , ou autres outils cloud pour la gestion des données.

Bonne capacité à comprendre et à travailler avec des données complexes et variées.

Connaissance approfondie des bonnes pratiques en data engineering (qualité, transformation, gestion des données).

Collective is the platform to find work (freelance and permanent contracts) 🔥 Go and check us out, we are the biggest platform in terms of jobs published