Nettoyage des données : méthode et pièges

Cas d'école : un jeu de données censé être propre ne l'est pas. Inventaire des défauts fréquents et méthode en cinq étapes pour les traiter.

Cas d'école. L'exemple fil rouge est une situation type imaginaire (un jeu de données de maintenance industrielle). Les défauts décrits sont courants dans les données réelles.

« Les données sont propres, il n'y a qu'à les charger. » Cette phrase précède souvent de longues heures de préparation. Le nettoyage n'est pas une corvée préalable à l'analyse : c'est une partie de l'analyse, parce que chaque décision (supprimer, corriger, imputer) influence le résultat.

Le scénario

Une entreprise industrielle veut prédire les pannes de ses machines à partir de plusieurs années de rapports d'intervention saisis par les techniciens. Une première lecture montre des champs libres, des codes d'erreur dont la signification a changé d'une version de logiciel à l'autre, et des machines dont l'identifiant a été saisi de plusieurs façons.

Un inventaire des défauts fréquents

  • Valeurs manquantes : absentes au hasard, ou absentes pour une raison (champ non applicable, capteur en panne). Le traitement n'est pas le même.
  • Doublons : lignes identiques, ou quasi identiques (même intervention saisie deux fois).
  • Incohérences de format : dates, unités (degrés Celsius ou Fahrenheit), séparateur décimal, majuscules et accents dans les libellés.
  • Valeurs aberrantes : erreurs de saisie (une température de 9999), ou événements rares mais réels qu'il ne faut surtout pas supprimer.
  • Identifiants instables : la même machine sous plusieurs noms, ou deux machines sous le même nom.
  • Signification changeante : un code ou une colonne dont la définition évolue au fil du temps.

Une méthode en cinq étapes

  1. Profiler. Compter les valeurs manquantes, les doublons, les types de colonnes, les valeurs extrêmes. Mesurer avant de corriger.
  2. Définir les termes. Qu'appelle-t-on « panne » ? Quel est l'identifiant de référence d'une machine ? Écrire ces définitions avec les experts du métier.
  3. Corriger par des règles explicites. Chaque transformation est écrite dans un script, jamais faite à la main dans un tableur, pour pouvoir la rejouer sur de nouvelles données.
  4. Documenter. Noter ce qui a été supprimé, corrigé ou imputé et pourquoi.
  5. Valider. Contrôler l'effet du nettoyage sur les résultats : les conclusions changent-elles beaucoup selon le traitement choisi ?

Quelques lignes pour démarrer

import pandas as pd

df = pd.DataFrame({
    "machine": ["A1", "a1 ", "B2", "B2", "C3"],
    "temperature": [71.5, 70.2, None, 9999, 68.0],
})

# Harmoniser les identifiants
df["machine"] = df["machine"].str.strip().str.upper()

# Compter les valeurs manquantes et repérer les valeurs hors plage
print(df["temperature"].isna().sum(), "valeur(s) manquante(s)")
print(df[df["temperature"] > 200])

# Marquer la valeur impossible comme manquante au lieu de la garder
df.loc[df["temperature"] > 200, "temperature"] = None
print(df)

Accepter les limites

On ne résout pas toujours tous les problèmes. Une démarche pragmatique consiste à identifier un sous-ensemble fiable de données (un « jeu de référence » bien documenté), à construire d'abord un modèle simple dessus, puis à étendre prudemment. Mieux vaut un modèle entraîné sur moins de données mais sûres que sur beaucoup de données douteuses, à condition de dire clairement quelle part des données a été écartée et pourquoi.

À retenir

  1. Prévoir du temps pour la préparation des données dès le début d'un projet.
  2. Profiler avant de corriger, et corriger par scripts.
  3. Impliquer les personnes qui connaissent le métier pour comprendre les anomalies.
  4. Documenter toutes les décisions de nettoyage.