10 min de lecture

Comment améliorer la qualité des données pour renforcer l’IA

William

Rédacteur prestataires et recrutement · Anaska

Pour améliorer la qualité des données utilisées par l’IA, commencez par définir la tâche attendue et les informations disponibles au moment de son exécution. Inventoriez les sources, établissez des contrôles métier, puis corrigez les anomalies en conservant leur historique. Séparez entraînement et test avant les transformations apprises. Automatisez les règles validées et suivez séparément la qualité des données et les résultats du système, sans supposer qu’un meilleur score technique garantit une meilleure réponse.

Résumer avec l'IA ChatGPT Perplexity Claude Google IA

Avant de changer de modèle d’intelligence artificielle, examinez les informations qui l’alimentent. Une catégorie mal définie, une donnée indisponible au moment de la prédiction ou un document dont la validité reste incertaine constituent des problèmes différents. Nous conseillons de les traiter séparément, avec des règles explicites et une vérification de leur effet sur l’usage attendu.

Pour Anaska, comparateur édité par WebGuard Agency, ce guide propose une méthode de travail allant du cadrage au suivi. Il porte sur les données utilisées dans un projet IA : leur sélection, leurs transformations et leur évaluation. Les recommandations pratiques sont des choix de méthode à adapter à votre contexte ; les fonctionnalités des outils cités restent celles décrites dans leur documentation.

1. Définir ce qu’une donnée de qualité doit permettre

Commencez par décrire la décision que votre système doit aider à prendre. « Exploiter nos données clients » reste trop vague pour établir des contrôles. « Orienter une demande vers le bon service à partir des informations disponibles lors de sa réception » précise le moment, les entrées et le résultat attendu. Cette formulation donne une base pour décider quelles données sont nécessaires.

Le cadre britannique de qualité des données propose une démarche proactive, fondée sur des preuves et ciblée, pour déterminer si les données conviennent à leur usage. Il vise notamment à structurer leur compréhension, leur documentation et leur amélioration. Cette orientation est présentée dans le Government Data Quality Framework.

Nous recommandons de rédiger une fiche de cadrage courte : utilisateur du résultat, tâche visée, données disponibles, erreurs acceptables et situations exigeant une validation humaine. Ajoutez ce qui reste hors périmètre. Un assistant chargé de retrouver une procédure ne doit pas être évalué comme un système chargé de décider si cette procédure convient à une situation particulière.

Exemple fictif : une entreprise souhaite classer ses demandes de maintenance. Elle peut commencer par distinguer les demandes suffisamment documentées de celles nécessitant un complément. Notre conseil serait de prévoir cette issue dans le projet, plutôt que d’exiger une catégorie précise pour chaque message incomplet.

2. Inventorier les sources et clarifier leur signification

Préparez ensuite un inventaire des données réellement candidates au projet. Pour chaque ensemble, indiquez son origine, son responsable, sa période couverte, son mode d’actualisation et les transformations déjà appliquées. Précisez aussi son statut : utilisable dans le périmètre retenu, à vérifier ou écarté. Cet inventaire doit déboucher sur des décisions, pas devenir un catalogue sans suite.

Ajoutez un dictionnaire des champs importants. Pour une colonne « date », demandez ce qu’elle représente : création du dossier, réception de la demande ou dernière modification. Pour une colonne « montant », précisez l’unité et le périmètre. Nous conseillons de joindre des exemples fictifs de valeurs attendues et de valeurs ambiguës afin que les équipes puissent discuter sur une base concrète.

Lorsque plusieurs systèmes fournissent une information similaire, désignez une référence et documentez les exceptions. IBM définit notamment l’exactitude par rapport à une source de référence convenue et distingue cette dimension de la cohérence entre ensembles de données. Voir son explication des dimensions de qualité.

Exemple fictif : un historique commercial et un outil de facturation ne donnent pas le même statut à une commande. Nous recommandons de conserver les deux statuts avec leur signification, puis de choisir celui qui répond à la tâche IA. Remplacer arbitrairement une valeur par l’autre ferait disparaître le désaccord sans expliquer son origine.

3. Transformer les critères de qualité en contrôles précis

IBM distingue l’exactitude, la complétude, la validité, la cohérence, l’unicité, la disponibilité dans le délai attendu et l’adéquation à l’usage. Ces dimensions constituent une grille de lecture ; elles ne définissent pas à elles seules les critères d’acceptation de votre projet. Leurs définitions figurent dans la présentation de la qualité des données par IBM.

Nous conseillons de traduire chaque dimension utile en une question vérifiable. Le tableau suivant propose des contrôles de travail, à adapter à votre métier. Les exemples sont fictifs et ne constituent ni des seuils universels ni des obligations.

Exemples de contrôles à construire pour un projet IA
DimensionQuestion à vérifierContrôle proposéDécision à préparer
ExactitudeLa valeur correspond-elle à la référence retenue ?Comparer un échantillon aux pièces de référence.Corriger ou demander un arbitrage.
ComplétudeLes informations nécessaires à la tâche sont-elles présentes ?Examiner les champs manquants par type de demande.Compléter ou prévoir une réponse limitée.
ValiditéLa valeur respecte-t-elle les règles définies ?Contrôler les formats et catégories autorisés.Accepter, convertir ou isoler.
CohérenceLes informations liées sont-elles compatibles ?Comparer les statuts et dates entre sources.Identifier la règle métier applicable.
UnicitéUne répétition représente-t-elle le même événement ?Examiner les identifiants et rapprochements suspects.Fusionner ou conserver des événements distincts.
ActualitéL’information est-elle disponible au moment utile ?Comparer date de disponibilité et moment de décision.Réviser la collecte ou exclure la variable.
AdéquationCes données permettent-elles de traiter le besoin ?Relire des cas représentatifs du périmètre.Restreindre ou compléter le projet.

Associez ensuite chaque contrôle à un responsable et à une action. Une alerte sans destinataire reste difficile à exploiter. Notre recommandation est également de distinguer une règle bloquante d’un avertissement : les deux peuvent être utiles, mais ils ne doivent pas entraîner automatiquement la même réponse.

4. Auditer les données avant de choisir les corrections

Organisez l’audit autour des questions précédentes. Nous recommandons de combiner un examen global des champs avec une lecture de dossiers complets. Le premier sert à repérer les valeurs absentes, les formats inattendus ou les catégories dominantes ; la seconde permet de discuter leur signification dans le contexte de la tâche. Conservez les observations et les hypothèses séparément.

TensorFlow Data Validation peut calculer des statistiques descriptives, proposer un schéma et détecter des anomalies sur les données d’entraînement et de service. Sa documentation décrit également le calcul de statistiques sur des sous-ensembles. Ces capacités sont détaillées dans le guide de démarrage de TFDV.

Pour votre audit, choisissez des sous-ensembles pertinents : canal de réception, famille de produits ou période, selon le projet. Notre conseil est de rechercher où se concentrent les défauts, plutôt que de s’arrêter à une moyenne générale. Notez aussi les sous-ensembles trop peu documentés pour permettre une conclusion fiable.

Terminez par un registre d’anomalies : description, données concernées, conséquence envisagée, origine probable et vérification nécessaire. Exemple fictif : des demandes issues d’un formulaire ne comportent jamais de catégorie. Avant de remplir cette colonne, nous conseillons de vérifier si le formulaire collecte réellement cette information ou si elle est attribuée ultérieurement par un agent.

5. Nettoyer sans effacer les informations utiles

Pour chaque anomalie confirmée, choisissez explicitement une action : corriger depuis une référence, uniformiser la représentation, isoler pour examen, conserver avec un indicateur ou exclure du périmètre. Nous conseillons de garder une copie de référence et un journal des transformations. Vous pourrez ainsi expliquer pourquoi une valeur diffère de celle du système d’origine.

Commencez par les corrections dont le sens est établi. Exemple fictif : plusieurs libellés désignent une catégorie métier identique. Une table de correspondance validée peut servir à les regrouper. En revanche, deux catégories proches mais utilisées différemment méritent un arbitrage avant fusion. L’objectif proposé est une règle compréhensible et réutilisable.

Traitez les valeurs manquantes selon leur signification. Nous recommandons de distinguer « inconnu », « non applicable » et « non collecté » lorsque cette distinction est justifiée. Documentez aussi toute méthode de remplacement. Si elle apprend des paramètres à partir des données, appliquez les précautions de séparation entre entraînement et test décrites plus loin.

Ne supprimez pas automatiquement une valeur rare. Demandez d’abord si elle correspond à une erreur ou à une situation réelle que le système devra traiter. Pour les doublons, définissez ce qui identifie un événement. Exemple fictif : deux demandes semblables envoyées par un même client peuvent représenter une relance ou deux interventions distinctes ; prévoyez une règle pour les départager.

6. Réviser les catégories et les annotations métier

Lorsque le projet utilise des catégories attribuées par des personnes, nous conseillons de documenter leur définition avant de multiplier les corrections. Préparez un guide indiquant ce qui entre dans chaque catégorie, ce qui en est exclu et comment traiter les cas ambigus. Ajoutez une possibilité d’escalade lorsque l’information disponible ne permet pas de décider.

Exemple fictif : pour classer des demandes de support, « accès », « facturation » et « incident » peuvent être envisagés. Mais une demande concernant un accès suspendu après un impayé exige une règle de priorité. Le guide devrait préciser si l’on classe le problème exprimé, sa cause confirmée ou l’équipe chargée de le résoudre.

Nous recommandons de faire relire un échantillon commun par les personnes concernées, puis d’examiner les désaccords. Conservez les motifs d’arbitrage. Si une définition change, identifiez les dossiers historiques à réexaminer au lieu de supposer qu’ils suivent déjà la nouvelle règle. Le livrable attendu est un référentiel utilisable par une autre personne.

Pour un assistant documentaire, appliquez une démarche comparable au choix des contenus : document de référence, statut de validation, période d’application et responsable. Notre conseil est de faire arbitrer les contradictions avant intégration. Ce travail concerne la matière utilisée par l’assistant ; la préparation de contenus pour être cités par l’IA répond à une autre intention.

7. Séparer l’entraînement du test avant les transformations apprises

Un contrôle essentiel concerne la manière d’évaluer le modèle. La documentation scikit-learn définit la fuite de données comme l’utilisation, lors de sa construction, d’informations qui ne seraient pas disponibles au moment de la prédiction. Elle explique que cela peut produire des estimations de performance trop optimistes. Voir les pièges courants et pratiques recommandées.

Cette documentation recommande de séparer les données d’entraînement et de test avant les étapes de prétraitement, puis d’apprendre les transformations uniquement sur l’entraînement. Le même prétraitement doit ensuite être appliqué aux autres ensembles, sans réapprendre ses paramètres sur le test. Les pipelines scikit-learn sont présentés comme un moyen de faciliter cette organisation et de limiter les fuites.

Exemple fictif : pour anticiper le besoin d’intervention dès la réception d’une demande, un commentaire rédigé après sa résolution ne serait pas une entrée admissible dans le scénario retenu. Nous conseillons donc d’ajouter au dictionnaire des champs leur moment réel de disponibilité, et pas seulement leur présence dans l’export final.

Préparez un protocole d’évaluation écrit : séparation des ensembles, transformations autorisées, indicateur retenu et situations examinées à part. Faites aussi vérifier les identifiants et rapprochements entre ensembles. Notre recommandation est de demander une justification du découpage par rapport à l’usage futur, plutôt que d’accepter une répartition simplement parce qu’elle est facile à produire.

8. Automatiser les règles dont le sens est validé

Une fois les contrôles définis, choisissez où les exécuter : à l’arrivée des données, après une transformation ou avant leur utilisation par le système. Nous conseillons de commencer par les règles compréhensibles et de prévoir pour chacune le comportement en cas d’échec. L’automatisation doit appliquer une décision métier explicite.

AWS Glue Data Quality permet de définir des règles avec DQDL et de réaliser des contrôles dans le Data Catalog ou dans des traitements ETL. La documentation distingue leurs capacités : l’identification des enregistrements ayant échoué aux contrôles est prise en charge côté ETL, mais pas côté Data Catalog. Les sources imbriquées ou de type liste nécessitent aussi une attention particulière, les règles ne pouvant pas les évaluer directement. Voir la documentation AWS Glue Data Quality.

TFDV constitue une autre possibilité pour les besoins qu’il documente : statistiques, schémas et anomalies. Son guide recommande fortement de revoir le schéma inféré afin d’y intégrer les connaissances métier que les heuristiques auraient manquées. Voir le guide TFDV.

Pour comparer les solutions, demandez une démonstration sur vos formats et vos anomalies types, avec un périmètre autorisé. Examinez la lisibilité des résultats, la gestion des exceptions et la récupération des règles. Nous recommandons de comparer le travail nécessaire pour diagnostiquer puis corriger un échec, au-delà de la seule présentation du tableau de bord.

9. Mesurer séparément la qualité des données et les résultats de l’IA

Préparez deux suivis distincts. Le premier décrit les données : contrôles échoués, champs manquants, anomalies ouvertes et corrections validées. Le second décrit le comportement du système sur la tâche retenue. Nous conseillons de conserver ce découpage pour examiner si une amélioration des données s’accompagne effectivement d’un changement utile du résultat.

Attention à la signification des scores. Dans AWS Glue Data Quality, le score correspond au pourcentage de règles du jeu de contrôles qui réussissent. Il ne s’agit donc pas d’une mesure directe de la performance du modèle. Cette définition figure dans la terminologie officielle du service.

Pour comparer deux versions d’un traitement, nous recommandons de garder un protocole d’évaluation commun et de documenter les changements. Examinez les cas corrigés, les erreurs persistantes et les éventuelles régressions. Une correction mérite d’être appréciée selon la décision qu’elle aide à prendre, pas uniquement selon la disparition d’une alerte technique.

Après mise en service, prévoyez une surveillance des évolutions. TFDV documente la détection d’écarts entre données d’entraînement et données de service, ainsi que de dérives entre différents jours de données d’entraînement. Son guide appelle à investiguer les écarts confirmés susceptibles d’affecter la performance. Voir la documentation des contrôles de dérive. Notre conseil est d’associer chaque alerte à une procédure d’examen, sans modifier automatiquement la règle pour la faire disparaître.

10. Organiser les responsabilités et les livrables du projet

Attribuez les rôles nécessaires : qui définit les catégories, qui corrige la source, qui maintient les transformations et qui accepte les exceptions. Nous conseillons de prévoir une revue lorsqu’une source ou une règle change. Pour chaque incident, consignez le symptôme observé, son périmètre, la décision prise et le contrôle permettant de vérifier sa résolution.

Le NIST présente son AI Risk Management Framework comme un cadre d’usage volontaire destiné à intégrer les considérations de confiance dans la conception, le développement, l’utilisation et l’évaluation des systèmes IA. Il ne s’agit pas d’une certification fournisseur. Cette portée est précisée sur la page officielle de l’AI RMF.

Si vous confiez le chantier à un prestataire, demandez des livrables vérifiables : inventaire des sources, dictionnaire, registre des anomalies, règles versionnées, journal des transformations et protocole d’évaluation. Faites préciser les dépendances envers vos équipes métier et les conditions de transfert. Un rapport devrait aussi nommer ce qui n’a pas pu être vérifié.

Pour démarrer, nous recommandons de choisir un usage limité et un ensemble de données accessible, puis de conduire toute la boucle : définir, auditer, arbitrer, corriger et évaluer. Décidez ensuite de l’extension du périmètre à partir des résultats observés. Pour préparer une consultation, décrivez dans votre dépôt de projet la tâche attendue, les données candidates et les livrables souhaités ; vous donnerez ainsi aux intervenants une base concrète de discussion.

Questions fréquentes

Quels critères utiliser pour évaluer la qualité des données ?

IBM distingue exactitude, complétude, validité, cohérence, unicité, disponibilité dans le délai attendu et adéquation à l’usage. Choisissez les contrôles correspondant à votre tâche, puis définissez les décisions à prendre en cas d’échec. Référence : https://www.ibm.com/think/topics/data-quality

Faut-il supprimer toutes les données incomplètes ou atypiques ?

Nous recommandons d’examiner leur signification avant toute suppression. Une information peut être inconnue, non applicable ou simplement non collectée. Documentez le traitement retenu et vérifiez ses conséquences sur le périmètre du projet.

Comment éviter les fuites de données pendant le prétraitement ?

Scikit-learn recommande de séparer entraînement et test avant le prétraitement, d’apprendre les transformations sur l’entraînement uniquement, puis de les appliquer au test sans les réapprendre. Référence : https://scikit-learn.org/stable/common_pitfalls.html

Un score de qualité élevé garantit-il une IA performante ?

Le score doit être interprété selon sa définition. Dans AWS Glue Data Quality, il mesure le pourcentage de règles réussies, et non la performance du modèle. Évaluez donc aussi le système sur sa tâche réelle. Référence : https://docs.aws.amazon.com/glue/latest/dg/glue-data-quality.html

Quels livrables demander à un prestataire ?

Nous conseillons de demander un inventaire des sources, un dictionnaire des données, un registre des anomalies, des règles versionnées, un journal des transformations et un protocole d’évaluation. Précisez également les responsables des corrections et les modalités de transfert.

Sources

Vous avez un projet ?Décrivez-le, vous êtes recontacté rapidement
Déposer mon projet
WilliamRédacteur prestataires et recrutement · Anaska

À lire ensuite

Comparer d'abord, signer ensuite.

Données publiques datées, notes toujours sourcées

Échap

Tapez au moins deux lettres : classements, fiches d'agences, logiciels et articles publiés.