Cas d'école. Le scénario de cet article est une situation type, construite pour l'exemple : l'entreprise, les personnes et les chiffres sont imaginaires. Les bonnes pratiques décrites, elles, sont courantes en analyse de données.
Un projet de data science échoue rarement parce que l'algorithme est mal choisi. Il échoue plus souvent parce que les données ne décrivent pas ce que l'on croit. Ce cas d'école suit un projet imaginaire, puis en tire une méthode.
Le scénario
Une enseigne de vente de produits haut de gamme veut prédire les achats de ses clients à partir de cinq ans d'historique. Le délai annoncé est court et l'objectif de précision a été fixé avant même d'avoir regardé les fichiers. L'historique arrive sous la forme de plusieurs exports de tableur dont les noms laissent deviner l'histoire : des versions successives, des corrections manuelles, des fichiers « à ne pas utiliser, mais à garder ».
Ce que l'inspection des données révèle
Dans ce genre de situation, une première passe d'audit, avant toute modélisation, met généralement au jour les mêmes familles de défauts :
- Formats mélangés. Après un changement d'outil de gestion, une partie des dates est au format jour/mois/année et l'autre au format mois/jour/année. Une date comme 04/05 reste ambiguë tant qu'on ne connaît pas la source.
- Comptes génériques. Des ventes sont rattachées à un client « de passage » ou « à créer » parce que la fiche n'a pas été saisie. Ces ventes disparaissent de l'analyse par client, alors qu'elles peuvent concerner justement les plus gros montants.
- Événements non enregistrés. Une campagne de remises réservée à certains clients n'est marquée nulle part dans la base. Le modèle attribue alors au client un comportement qui vient de la promotion.
- Doublons de synchronisation. Un rapprochement périodique entre deux logiciels crée des lignes en double, corrigées plus tard à la main. Résultat : des pics d'achats à intervalle régulier, qui ne reflètent aucun comportement réel.
- Suppressions silencieuses. Un nettoyage « pour gagner de la place » a retiré les petites transactions. Les statistiques sur le panier moyen sont faussées sans que rien ne l'indique.
Les contrôles à lancer avant de modéliser
Quelques lignes de pandas suffisent pour mesurer ces défauts plutôt que de les deviner :
import pandas as pd
df = pd.read_csv("achats.csv")
# Dates illisibles avec le format attendu
dates = pd.to_datetime(df["date_achat"], format="%d/%m/%Y", errors="coerce")
print("Dates non conformes :", dates.isna().mean())
# Doublons de commande
print("Doublons :", df.duplicated(subset=["id_commande"]).sum())
# Clients les plus fréquents : un compte générique ressort tout de suite
print(df["id_client"].value_counts().head())
# Part de valeurs manquantes par colonne
print(df.isna().mean().sort_values(ascending=False))
Ces contrôles ne remplacent pas les questions aux personnes qui produisent la donnée : comptables, vendeurs, service informatique. Une anomalie statistique a presque toujours une explication d'organisation.
Reformuler l'objectif plutôt que forcer le modèle
Si, après nettoyage, la prédiction individuelle reste peu fiable, il est préférable de le dire et de proposer un objectif plus modeste mais défendable : par exemple regrouper les clients en segments (clustering) et décrire leurs comportements d'achat, en indiquant ce que la donnée permet de conclure et ce qu'elle ne permet pas. Une précision modérée annoncée honnêtement vaut mieux qu'un score flatteur obtenu avec des données biaisées.
À retenir
- Ne jamais accepter l'affirmation « les données sont propres » sans les avoir examinées.
- Mesurer les défauts (dates, doublons, valeurs manquantes, comptes génériques) avant de modéliser.
- Interroger les personnes qui produisent la donnée pour comprendre les anomalies.
- Documenter chaque décision de nettoyage pour qu'elle soit reproductible.
- Quand les données ne permettent pas de répondre à la question posée, changer la question plutôt que de truquer la réponse.