Description du poste
Taux journalier (TJM): 670
Bonjour,
Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer/Data Ops
Missions
Vous interviendrez notamment sur les sujets suivants :
-
Concevoir et faire évoluer les chaînes de collecte, transformation, stockage et exposition des logs.
-
Accompagner les cas d’usage depuis la phase d’étude jusqu’à leur implémentation.
-
Concevoir et automatiser les pipelines d’ingestion de données en batch et temps réel.
-
Mettre en place les mécanismes de contrôle qualité permettant de garantir l’intégrité et la fiabilité des données.
-
Participer à la conception des solutions techniques et fonctionnelles liées à la gestion des données opérationnelles.
-
Gérer les flux de données ainsi que leur cycle de vie.
-
Développer et maintenir des traitements de données sur des environnements de streaming.
-
Accompagner les utilisateurs sur leurs besoins d’analyse de données, notamment autour :
-
de l’observabilité ;
-
du suivi opérationnel ;
-
de la détection d’événements de sécurité.
-
-
Contribuer au développement de dashboards et de cas d’usage Data / ML / IA.
-
Mettre en œuvre les solutions dans une démarche Agile / DevOps avec automatisation CI/CD.
-
Rédiger la documentation technique, fonctionnelle et d’exploitation.
-
Assurer le support technique et fonctionnel et participer à l’analyse et à la résolution des incidents.
-
Travailler en proximité avec les équipes Data, Log Management, Infrastructure et les équipes opérationnelles.
Environnement technique
-
Kafka
-
Elasticsearch / Kibana
-
Logstash
-
Apache Flink
-
OpenTelemetry
-
Python
-
Java
-
SQL
-
GitLab
-
Kubernetes
-
CI/CD
-
Architectures microservices
-
Environnements infrastructure / réseau / systèmes
Profil recherché
Profil recherché
-
Expérience confirmée en Data Engineering, traitement de logs, observabilité ou plateformes de données.
-
Bonne maîtrise des problématiques de streaming de données.
-
Expérience dans la conception de solutions de collecte, ingestion, transformation et stockage de données.
-
Très bonne connaissance de Kafka et/ou de technologies équivalentes de streaming.
-
Bonne maîtrise de Python et/ou Java ainsi que SQL.
-
Expérience avec la suite Elastic : Elasticsearch, Kibana, Logstash.
-
Connaissance d’Apache Flink et/ou d’OpenTelemetry appréciée.
-
Bonne compréhension des environnements infrastructure, systèmes et réseaux.
-
Maîtrise des pratiques DevOps / CI/CD, idéalement avec GitLab et Kubernetes.
-
Capacité à intervenir sur l’ensemble du cycle de vie d’un flux de données, de la collecte jusqu’à son exploitation.
-
Bon niveau d’anglais