Avancées et applications en entreprise
Un système d’intelligence artificielle ne raisonne pas à partir d’une réalité abstraite. Il exploite des données collectées, stockées, transformées et annotées par des personnes et des logiciels. Lorsque ces données sont incomplètes, contradictoires ou mal représentatives, le système apprend des relations fragiles. La puissance de calcul, le choix d’un modèle ou la sophistication de l’interface ne corrigent pas automatiquement ces défauts.
Cette réalité concerne aussi bien un outil de prédiction qu’un assistant conversationnel, un dispositif de détection d’anomalies ou un moteur de recommandation. Une donnée erronée peut conduire à une mauvaise classification. Une donnée absente peut masquer un cas important. Une information trop ancienne peut rendre une prédiction inadaptée aux conditions actuelles.
La qualité des données ne se résume donc pas à l’absence de fautes de frappe. Elle couvre plusieurs dimensions : la précision, la complétude, la cohérence, l’actualité, la traçabilité, la pertinence et la représentativité. Ces critères doivent être définis en fonction de l’usage prévu. Une base peut être acceptable pour produire des statistiques descriptives, mais insuffisante pour automatiser une décision sensible.
Avant toute phase d’entraînement, il est utile de transformer la notion générale de qualité en critères vérifiables. Cette étape évite les discussions vagues et permet de fixer des seuils adaptés au projet.
| Dimension | Question à poser | Risque en cas de défaut |
|---|---|---|
| Exactitude | La valeur correspond-elle à la réalité observée ? | Prédictions erronées et décisions inadaptées |
| Complétude | Les champs nécessaires sont-ils renseignés ? | Perte de contexte ou biais lié aux valeurs manquantes |
| Cohérence | Les mêmes règles sont-elles respectées dans toutes les sources ? | Résultats contradictoires et doublons |
| Actualité | Les données reflètent-elles encore la situation étudiée ? | Modèle obsolète ou dérive des performances |
| Traçabilité | L’origine et les transformations sont-elles connues ? | Audit difficile et corrections incertaines |
| Représentativité | Les données couvrent-elles les cas réellement rencontrés ? | Résultats inégaux selon les profils ou les contextes |
Ces dimensions peuvent entrer en tension. Une collecte très récente peut être moins complète qu’un historique plus ancien. Une base exhaustive peut contenir des informations inutiles pour la tâche. La qualité doit donc être évaluée par rapport à une finalité clairement décrite, et non selon une note universelle.
La première étape consiste à formuler précisément ce que le système doit produire. Une demande telle que prédire les incidents reste trop imprécise. Il faut préciser l’événement recherché, l’horizon temporel, les utilisateurs concernés, les sources disponibles et les conséquences d’une erreur.
Cette description permet aussi d’éviter une erreur fréquente : utiliser des informations qui n’étaient pas disponibles au moment où la prédiction aurait dû être réalisée. On parle alors de fuite de données. Par exemple, une variable renseignée après un incident ne doit pas servir à prédire cet incident dans un scénario opérationnel.
Nettoyer les données sans les examiner peut supprimer des informations utiles ou masquer la cause d’un problème. Un audit initial doit produire une photographie documentée du jeu de données. Il peut être réalisé avec des outils de tableur pour un petit volume, ou avec des scripts et des solutions d’analyse adaptées à des ensembles plus importants.
Pour chaque colonne, relevez le type attendu, le nombre de valeurs absentes, les valeurs distinctes, les doublons, les valeurs extrêmes et le format utilisé. Vérifiez aussi les relations entre colonnes. Une date de clôture antérieure à une date d’ouverture, une quantité négative ou un identifiant associé à plusieurs entités peuvent révéler une anomalie de structure.
Conservez une copie intacte des données originales avant toute modification. Les opérations de nettoyage doivent être exécutées sur une version de travail et consignées dans un journal. Cette précaution rend possible un retour en arrière et facilite l’explication des résultats lors d’un contrôle.
Le nettoyage doit corriger les défauts connus tout en préservant le sens des données. Une valeur manquante n’est pas toujours une erreur. Elle peut signaler une absence de mesure, un refus de répondre, une fonctionnalité indisponible ou un événement qui ne s’applique pas au cas étudié. Remplacer toutes les valeurs absentes par zéro peut donc créer une information artificielle.
Pour chaque anomalie, choisissez une règle documentée. Les doublons peuvent être fusionnés lorsque la clé d’identification est fiable. Les formats peuvent être normalisés, par exemple en adoptant une convention unique pour les dates et les unités. Les valeurs manifestement impossibles doivent être corrigées à partir de la source ou marquées comme invalides si aucune vérification n’est possible.
La suppression constitue une décision à justifier, pas une solution par défaut. Éliminer les lignes rares peut retirer précisément les situations que le système doit apprendre à reconnaître. De la même façon, remplacer une valeur extrême par une moyenne peut réduire artificiellement la diversité du phénomène observé.
Chaque transformation devrait être associée à quatre informations : la règle appliquée, la date, la personne ou le processus à l’origine de la modification et le volume de lignes concernées. Cette traçabilité distingue un nettoyage maîtrisé d’une suite de manipulations impossibles à reproduire.
Dans un apprentissage supervisé, le modèle dépend fortement des étiquettes qui lui indiquent la réponse attendue. Une annotation ambiguë ou incohérente peut être plus dommageable qu’une donnée manquante. Le problème apparaît notamment lorsque plusieurs personnes interprètent différemment les mêmes consignes.
Rédigez un guide d’annotation avec des définitions, des exemples limites et une procédure pour les cas indécidables. Un échantillon doit être relu afin de repérer les désaccords et les erreurs récurrentes. Lorsque plusieurs annotateurs interviennent, mesurez leur niveau d’accord avec une méthode adaptée au type de tâche, sans réduire l’analyse à un indicateur unique.
Il faut aussi distinguer l’erreur de l’incertitude légitime. Certains documents ou signaux ne permettent pas de trancher. Dans ce cas, une catégorie inconnue ou une annotation multiple peut être plus fidèle qu’une réponse forcée. Les données dont l’étiquette est trop incertaine peuvent être réservées à l’évaluation qualitative plutôt qu’à l’entraînement.
Un jeu de données peut être techniquement propre tout en donnant une image déformée de la réalité. Le biais de sélection apparaît lorsque certaines situations sont beaucoup plus présentes que d’autres, ou lorsque des personnes n’ont pas les mêmes chances d’être observées. Un modèle entraîné sur ce déséquilibre risque de fonctionner correctement sur le groupe majoritaire et moins bien sur les autres.
Analysez la répartition des données selon les variables pertinentes pour l’usage : période, zone géographique, type d’appareil, langue, canal d’accès ou catégorie de situation. Cette analyse doit respecter les règles applicables aux données personnelles et éviter de créer des catégories inutiles. L’objectif est de comprendre les limites de couverture, non de multiplier les informations sensibles.
La séparation entre entraînement, validation et test doit également préserver l’indépendance des évaluations. Des lignes très proches, issues d’un même utilisateur ou d’un même événement, ne doivent pas être réparties dans plusieurs ensembles lorsque cela permettrait au modèle de mémoriser le contexte. Dans les données temporelles, une séparation chronologique est souvent plus représentative d’un usage réel qu’un mélange aléatoire.
La qualité ne doit pas être vérifiée une seule fois avant le lancement. Les sources évoluent, les formats changent et de nouvelles situations apparaissent. Une chaîne de contrôle régulière permet de détecter ces variations avant qu’elles ne dégradent les résultats.
Les contrôles peuvent être automatisés avec des tests qui bloquent un traitement lorsque des conditions critiques ne sont pas respectées. Par exemple, une arrivée de données sans colonne obligatoire, un taux de valeurs manquantes inhabituel ou une date hors période peuvent déclencher une alerte. Les seuils doivent être définis selon le risque du projet, puis révisés lorsqu’une évolution légitime de la source est confirmée.
Une documentation utile décrit davantage que le nom des fichiers. Elle explique l’origine des données, leur période de collecte, leur finalité initiale, leurs limites, les transformations réalisées et les conditions d’utilisation. Cette documentation aide les équipes techniques, mais aussi les personnes chargées de la sécurité, de la conformité et du suivi opérationnel.
Un registre de données peut contenir les éléments suivants :
Des fiches de données et des fiches de modèle peuvent compléter ce registre. Elles doivent rester compréhensibles par des personnes qui n’ont pas participé à la conception. Une documentation inaccessible ou trop générale ne permet pas d’évaluer correctement les risques.
Une performance globale peut masquer des erreurs importantes. Pour évaluer l’effet de la qualité des données, comparez plusieurs versions du jeu de données et observez les résultats sur des cas représentatifs. L’analyse doit associer des mesures quantitatives à une revue de cas concrets.
Pour une classification, la précision, le rappel et la matrice de confusion apportent des informations différentes. Pour une régression, l’erreur moyenne ne décrit pas forcément les écarts observés sur les valeurs rares. Pour un système génératif, il faut examiner la factualité, la pertinence, la couverture des consignes et les réponses dans les situations ambiguës. Le choix des indicateurs dépend de la tâche et du coût des différents types d’erreurs.
Effectuez aussi une analyse par sous-groupes lorsque cela est pertinent. Une moyenne satisfaisante peut cacher une dégradation sur une langue, une période ou une catégorie de documents. Les résultats ne doivent pas être interprétés sans tenir compte de la taille et de la qualité des échantillons évalués.
Une organisation progressive permet de traiter la qualité des données sans attendre la fin du développement. Voici une méthode applicable à de nombreux projets :
Cette démarche gagne à réunir les compétences techniques et métier. Les spécialistes des données repèrent les anomalies de structure, tandis que les personnes proches du terrain peuvent détecter une interprétation incorrecte d’un champ ou une situation absente des historiques.
Améliorer la qualité ne doit pas conduire à collecter ou conserver davantage d’informations sans justification. Les données doivent être limitées à ce qui est nécessaire pour l’objectif défini. Les accès doivent suivre le principe du moindre privilège, avec une séparation entre les environnements de développement, de test et de production.
Avant d’utiliser des données personnelles ou confidentielles, vérifiez la base légale applicable, les obligations d’information, les durées de conservation et les mesures de protection. La pseudonymisation réduit certains risques, mais elle ne rend pas automatiquement les données anonymes. Les jeux de test et les exports doivent bénéficier de protections adaptées, car ils sont souvent copiés dans des environnements moins contrôlés.
Les journaux de traitement doivent éviter d’exposer des informations sensibles. Les sauvegardes doivent être protégées et testées, notamment avant une opération de nettoyage ou de migration. Une politique de qualité cohérente relie donc les contrôles techniques à la gouvernance, à la sécurité et à la responsabilité humaine.
Non. Un volume important peut contenir des doublons, des erreurs, des biais ou des informations peu pertinentes. La couverture des cas utiles, la cohérence et la fiabilité des annotations sont souvent plus importantes que le seul nombre de lignes.
Non. Il faut d’abord comprendre pourquoi elles sont absentes. Une valeur manquante peut porter une information contextuelle. Selon le cas, elle peut être conservée, remplacée selon une règle justifiée, complétée depuis une source fiable ou exclue avec une trace de la décision.
À plusieurs moments : lors de la collecte, avant les transformations, avant l’entraînement, pendant l’évaluation et après la mise en production. Un contrôle unique ne détecte pas les changements qui apparaissent ensuite dans les sources ou dans les usages.
Pour chaque variable, demandez si sa valeur était disponible au moment où la prédiction devait être produite. Vérifiez aussi les doublons entre les ensembles d’entraînement et de test, ainsi que les variables calculées à partir de l’information cible ou d’un événement postérieur.
La responsabilité doit être partagée et clairement attribuée. Les équipes techniques contrôlent les formats et les traitements, les référents métier valident le sens des données, et les responsables de la gouvernance encadrent les accès, la conformité et la documentation.