Data Engineer (F/H)

Description du poste

Votre défi

Au cœur de notre Data Platform, vous prendrez en main des pipelines de données fiables, performants et prêts à grandir.

Sur une stack moderne (Dagster, S3, AWS), vous construirez une architecture medallion (bronze / silver / gold) en production.

Votre rôle est central : garantir une donnée de qualité, socle de nos équipes métiers, de nos modèles ML et de nos APIs.

Vos responsabilités

Ingestion & stockage

• Concevoir et maintenir des pipelines de données robustes avec Dagster (assets, sensors, partitions, lineage)

• Ingérer des sources hétérogènes : APIs REST, webhooks, fichiers, bases de données

• Implémenter l'architecture medallion S3 Bronze → Silver → Gold

• Administrer et optimiser les tables Postgre, MariaDB ... (schémas, index, TTL), et implémenter des stratégies de partitionnement adaptées aux volumes et aux patterns de requêtes

Qualité & observabilité

• Mettre en place des tests de qualité, des alertes de fraîcheur et des métadonnées de suivi (row count, anomalies)

• Superviser la santé des pipelines via Grafana (dashboards, alertes, SLOs)

• Documenter le dictionnaire de données et maintenir le lineage

Exposition & APIs

• Développer des APIs FastAPI pour exposer les données gold aux consommateurs internes

• Participer à la définition des contrats de données avec les équipes Product et métiers

Data product

• Concevoir des data products réutilisables (datasets versionnés, APIs documentées, semantic layer), en binôme avec les équipes Product & Analytics

Notre environnement technique

Orchestration : Dagster (assets, sensors, partitions, lineage)

Stockage & query : AWS S3 · Postrgres · ClickHouse · AWS Athena

Langage : Python · SQL · Pandas

Format données : Parquet · JSON · CSV

Exposition : FastAPI

Infrastructure : AWS (ECS, S3, Athena, SNS/SQS)

CI/CD & versioning : GitLab CI · Docker · Terraform

Monitoring : Grafana · Dagster UI

Qualifications

Indispensable

• 2 ans minimum d'expérience en data engineering avec Python, et solide connaissance de SQL

• Maîtrise de l'écriture de pipelines robustes (gestion d'erreurs, idempotence, retry)

• Expérience avec un orchestrateur de pipelines (Dagster, Prefect ou Airflow) et familiarité avec AWS / architectures lakehouse (S3, Parquet, Athena)

Apprécié

• Expérience spécifique avec Dagster et Postgres

• Connaissance de l'architecture medallion et des patterns de qualité de données

• Expérience avec FastAPI pour l'exposition de données

• Maîtrise de GitLab CI et pratique des pipelines CI/CD pour la data

Softskills

• Autonomie et sens des priorités dans un environnement proche des besoins métiers

• Goût pour la documentation et la transmission

• Mindset product : penser à l'utilisateur final de la donnée autant qu’au pipeline

• Communication claire avec des interlocuteurs non-techniques

Informations supplémentaires

Ce que nous offrons

• Une stack moderne toujours ouverte à de nouveaux outils

• Un vrai ownership, de la conception au monitoring

• Un environnement hybride et flexible

• Une équipe Data Platform soudée et bienveillante