Cas d'école. L'exemple fil rouge est une situation type imaginaire (un jeu de données de maintenance industrielle). Les défauts décrits sont courants dans les données réelles.
« Les données sont propres, il n'y a qu'à les charger. » Cette phrase précède souvent de longues heures de préparation. Le nettoyage n'est pas une corvée préalable à l'analyse : c'est une partie de l'analyse, parce que chaque décision (supprimer, corriger, imputer) influence le résultat.
Le scénario
Une entreprise industrielle veut prédire les pannes de ses machines à partir de plusieurs années de rapports d'intervention saisis par les techniciens. Une première lecture montre des champs libres, des codes d'erreur dont la signification a changé d'une version de logiciel à l'autre, et des machines dont l'identifiant a été saisi de plusieurs façons.
Un inventaire des défauts fréquents
- Valeurs manquantes : absentes au hasard, ou absentes pour une raison (champ non applicable, capteur en panne). Le traitement n'est pas le même.
- Doublons : lignes identiques, ou quasi identiques (même intervention saisie deux fois).
- Incohérences de format : dates, unités (degrés Celsius ou Fahrenheit), séparateur décimal, majuscules et accents dans les libellés.
- Valeurs aberrantes : erreurs de saisie (une température de 9999), ou événements rares mais réels qu'il ne faut surtout pas supprimer.
- Identifiants instables : la même machine sous plusieurs noms, ou deux machines sous le même nom.
- Signification changeante : un code ou une colonne dont la définition évolue au fil du temps.
Une méthode en cinq étapes
- Profiler. Compter les valeurs manquantes, les doublons, les types de colonnes, les valeurs extrêmes. Mesurer avant de corriger.
- Définir les termes. Qu'appelle-t-on « panne » ? Quel est l'identifiant de référence d'une machine ? Écrire ces définitions avec les experts du métier.
- Corriger par des règles explicites. Chaque transformation est écrite dans un script, jamais faite à la main dans un tableur, pour pouvoir la rejouer sur de nouvelles données.
- Documenter. Noter ce qui a été supprimé, corrigé ou imputé et pourquoi.
- Valider. Contrôler l'effet du nettoyage sur les résultats : les conclusions changent-elles beaucoup selon le traitement choisi ?
Quelques lignes pour démarrer
import pandas as pd
df = pd.DataFrame({
"machine": ["A1", "a1 ", "B2", "B2", "C3"],
"temperature": [71.5, 70.2, None, 9999, 68.0],
})
# Harmoniser les identifiants
df["machine"] = df["machine"].str.strip().str.upper()
# Compter les valeurs manquantes et repérer les valeurs hors plage
print(df["temperature"].isna().sum(), "valeur(s) manquante(s)")
print(df[df["temperature"] > 200])
# Marquer la valeur impossible comme manquante au lieu de la garder
df.loc[df["temperature"] > 200, "temperature"] = None
print(df)
Accepter les limites
On ne résout pas toujours tous les problèmes. Une démarche pragmatique consiste à identifier un sous-ensemble fiable de données (un « jeu de référence » bien documenté), à construire d'abord un modèle simple dessus, puis à étendre prudemment. Mieux vaut un modèle entraîné sur moins de données mais sûres que sur beaucoup de données douteuses, à condition de dire clairement quelle part des données a été écartée et pourquoi.
À retenir
- Prévoir du temps pour la préparation des données dès le début d'un projet.
- Profiler avant de corriger, et corriger par scripts.
- Impliquer les personnes qui connaissent le métier pour comprendre les anomalies.
- Documenter toutes les décisions de nettoyage.