Cet audit vérifie des affirmations précises sur les fonctionnalités et intégrations de votre SaaS. Partez de la documentation actuelle, du forfait, de la version et de la date. Comparez les réponses manuellement : mention de marque et citation de documentation ne prouvent pas l’exactitude.
Décomposez chaque réponse en affirmations individuelles. «L’intégration lit les données et publie automatiquement les modifications» contient deux affirmations. Distinguez lecture et écriture, opération manuelle et automatique, brouillon et publication.
L’absence de documentation signifie non confirmé, pas la preuve d’une fonctionnalité inexistante. Une affirmation incorrecte nécessite un élément contradictoire ou la confirmation du responsable produit. Évaluez les omissions selon le périmètre prévu du test.
Registre de vérification manuelle
| Affirmation IA | Source / version / forfait | Évaluation |
|---|---|---|
| Confirmée par la documentation actuelle | Même fonctionnalité et forfait | Exacte |
| Contredit l’état du produit | Preuve ou confirmation du responsable | Incorrecte |
| Aucune information concluante | Vérifier avec l’équipe produit | Non confirmée |
| Information attendue absente | Périmètre défini au préalable | Omise |
Conservez les nombres par catégorie. Si vous calculez une précision, indiquez le dénominateur et les cas non résolus séparément. Ne les comptez pas automatiquement comme exacts. Cette évaluation manuelle est distincte des métriques de visibilité Semly.
Avant de commencer : prérequis, périmètre et cas où cette méthode n'est pas adaptée
Un audit fiable repose sur des données d'entrée structurées. Sans elles, la comparaison entre ce que dit l'IA et ce que fait le produit devient impossible.
Le périmètre recommandé couvre un SaaS B2B ou B2C, au moins quatre modèles génératifs et deux langues. En dessous de ce seuil, la photographie obtenue reste partielle et les conclusions fragiles.
La méthode n'est pas adaptée dans trois situations. Un produit non documenté publiquement ne fournit aucune source de vérité à comparer. Une marque confidentielle sans présence en ligne génère trop peu de réponses pour produire des mesures statistiquement utiles. Enfin, l'absence de ressource interne pour assurer le suivi récurrent vide l'audit de son intérêt, puisque les réponses des modèles évoluent en continu.
Étape 1 — Construire le jeu de prompts (20 à 50 requêtes)
Le jeu de prompts constitue l'échantillon de mesure. Sa construction conditionne la validité de tout l'audit.
Deux catégories doivent être séparées. Les prompts avec nom de marque vérifient la connaissance que le modèle a du produit. Les prompts sans nom de marque vérifient la recommandation spontanée, c'est-à-dire la capacité du modèle à citer le produit sans y être invité.
Six familles de requêtes structurent la couverture :
- Fonctionnalités : « Quelles fonctionnalités propose [Marque] ? » ; « [Marque] dispose-t-elle d'une API publique ? »
- Intégrations : « [Marque] s'intègre-t-elle à [Outil] ? » ; « Quelles intégrations natives propose [Marque] ? »
- Tarifs : « Combien coûte [Marque] ? » ; « Quel est le prix du plan [X] de [Marque] ? »
- Positionnement : « [Marque] est-elle adaptée aux PME ? » ; « [Marque] convient-elle aux équipes de plus de 50 personnes ? »
- Comparaisons : « [Marque] vs [Concurrent] » ; « Quel est le meilleur outil pour [cas d'usage] ? »
- Marque : « Qui est [Marque] ? » ; « [Marque] est-elle fiable ? »
Les prompts de vérification directe, du type « Le logiciel X propose-t-il l'intégration Y ? », sont particulièrement utiles : ils produisent des réponses binaires faciles à classer comme exactes ou fausses.
Pour la collecte, deux sources sont exploitables immédiatement : les requêtes réelles de Google Search Console, qui reflètent la demande existante, et les questions posées par les clients en avant-vente, qui révèlent les points de confusion récurrents.
Étape 2 — Mesurer manuellement sur plusieurs modèles et plusieurs langues
Le protocole minimal couvre ChatGPT, Gemini, Perplexity et Claude. Chaque prompt est exécuté dans une nouvelle conversation, pour éviter l'effet de contexte, et répété trois fois pour mesurer la variance entre exécutions. Les tests sont menés en français et en anglais, car la langue de la requête influence la réponse produite.
| Champ à documenter | Valeur attendue |
|---|---|
| Modèle testé | ChatGPT, Gemini, Perplexity, Claude |
| Langue | FR, EN |
| Mention de la marque | Oui / Non |
| Position dans la réponse | Rang de citation |
| Lien fourni | URL citée ou absence |
| Ton | Positif / neutre / négatif |
| Exactitude factuelle | Exact / obsolète / faux / non vérifiable |
| Sources citées | Liste des domaines référencés |
Cette grille produit une base de données exploitable pour les étapes suivantes. Elle permet notamment de calculer la variance entre les trois exécutions d'un même prompt, indicateur de stabilité de la réponse.
Étape 3 — Comparer chaque affirmation à votre documentation officielle
Cette étape localise la source de vérité et quantifie l'écart. Chaque affirmation produite par un modèle est classée selon quatre statuts : exact, obsolète, faux ou non vérifiable.
L'objectif de cette étape est d'identifier les sources erronées récurrentes, c'est-à-dire celles qui reviennent dans plusieurs réponses fausses. Ce sont elles qui doivent être corrigées en priorité.
Étape 4 — Corriger les sources et la documentation
La correction vise à réduire la probabilité de réapparition de l'erreur. Elle ne garantit pas sa disparition, car aucun outil ne contrôle les algorithmes des modèles.
Quatre niveaux d'action doivent être distingués : la mention (le nom apparaît), le lien (une URL est citée), la citation (le contenu est repris) et la recommandation (le produit est suggéré). Corriger une mention erronée n'a pas le même effet que corriger une recommandation erronée.
Le plan de correction s'organise en cinq volets :
- Corriger les sources tierces erronées (comparateurs, annuaires, articles obsolètes).
- Mettre à jour les pages produit, intégrations et compatibilités sur le site officiel.
- Harmoniser le nom de marque et les descriptions sur tous les profils externes.
- Ajouter des données structurées de type Schema FAQ, Product ou HowTo.
- Actualiser les dates de publication et publier des contenus de référence faisant autorité.
Le délai d'indexation réaliste se situe entre 1 et 6 mois. Aucun outil ne garantit la suppression d'une hallucination : l'objectif est de réduire la probabilité qu'elle se reproduise en rendant la source de vérité plus accessible et plus cohérente.
Les erreurs fréquentes et comment les corriger
Semly permet de consulter les réponses IA et les sources. Une personne connaissant le produit évalue fonctionnalités et intégrations.
