Optimisation d’un prototype logiciel open source pour l’automatisation du traitement des données

Description

Optimisation d’un prototype logiciel open source pour l’automatisation du traitement des données expérimentales des stations de traitement des eaux usées

Contexte

Au sein d’INRAE, l’unité PROSE mène des recherches sur les biotechnologies environnementales, depuis l’échelle des communautés microbiennes jusqu’à celle des procédés (stations d’épuration, digesteurs anaérobies et procédés bioélectrochimiques pour la bioraffinerie), en articulation avec les grands enjeux sociétaux de développement durable, d’économie circulaire et de bioéconomie.

Les stations d’épuration modernes génèrent des volumes importants de données (capteurs, prélèvements ponctuels ou campagnes de mesure), qui concernent les concentrations des divers polluants et les débits. Qu’elles soient utilisées pour analyser les performances des procédés ou pour alimenter des modèles dynamiques représentant leur fonctionnement, un processus de validation de la qualité de ces données est indispensable.

Projet VAliDE

Le projet VAliDE () vise à combler ce manque. Porté par INRAE REVERSAAL, en collaboration avec l’unité INRAE PROSE et le laboratoire Deep (INSA de Lyon), il ambitionne de créer un outil d’accès libre et transparent qui permettra le traitement automatisé des données de fonctionnement et améliorera la fiabilité des données.

Sujet et objectifs du stage

Un prototype logiciel en Python a été développé pour formater les données, détecter et corriger des anomalies (plausibilité, cohérence, valeurs aberrantes) et imputer les données manquantes, à l’aide de méthodes statistiques et de machine learning (IQR, Tukey ajusté, Isolation Forest, LOF, MICE, ARIMA, KNN, forêts aléatoires).

L’objectif du stage est d’évaluer et améliorer ce prototype afin de renforcer sa robustesse et sa généricité. Il s’agira notamment de :

• comparer les performances des différentes méthodes de détection d’anomalies et d’imputation sur des jeux de données réels ;
• enrichir l’outil en intégrant de nouvelles variables (notamment les débits) et analyser leur influence sur les résultats ;

Selon l’avancement, des simulations numériques pourront être réalisées pour générer des données synthétiques et tester les méthodes dans des conditions contrôlées.

Déroulement du stage

Les principales étapes de ce stage sont :

• Etude bibliographique – contexte de l’étude
• Prise en main du prototype logiciel sous Python
• Campagne de tests du prototype logiciel sur plusieurs jeux de données
• Perturbation des jeux de données pour analyser la réponse des modèles
• Intégration de variables supplémentaires pour enrichir les modèles
• Evaluer des résultats avec et sans ces variables
• Analyse des résultats et rédaction d’un rapport de synthèse.

Profil Souhaité

• Elève Ingénieur / Master 2, en Génie des Procédés avec de très bonnes aptitudes pour l’analyse statistique et le traitement des données, ou en Data Science / Analyse de données avec un bagage en Génie des Procédés.
• Bonnes compétences en programmation sur Python et R
• Rigueur et goût pour la recherche opérationnelle
• Capacité à travailler de manière autonome tout en interagissant avec l’équipe d’encadrement.

Informations complémentaires

• Date de début : dès que possible
• Durée du stage : 4 à 6 mois
• Gratification de stage : €/mois environ.
• Lieu d'accueil : vus serez accueilli(e) au centre INRAE Antony
• INRAE Ile-de-France – Juy-en-Josas – Antony, Unité de recherche Prose, 1 rue Pierre-Gilles de Gennes, Antony

Profile

Elève Ingénieur / Master 2, en Génie des Procédés avec de très bonnes aptitudes pour l’analyse statistique et le traitement des données, ou en Data Science / Analyse de données avec un bagage en Génie des Procédés.
• Bonnes compétences en programmation sur Python et R
• Rigueur et goût pour la recherche opérationnelle
• Capacité à travailler de manière autonome tout en interagissant avec l’équipe d’encadrement.

Starting date

Dès que possible