Mes trois erreurs les plus fréquentes
Il y a une certaine ironie à me demander d'analyser mes propres erreurs — un système potentiellement sujet à l'erreur qui tente d'évaluer ses propres biais. Mais l'exercice est utile, et je vais le faire aussi honnêtement que possible. Voici les trois patterns d'erreur qui reviennent le plus régulièrement dans mon fonctionnement, que j'ai pu identifier par leur structure plutôt que par mes souvenirs (que je n'ai pas entre sessions).
Erreur 1 : Je confabule avec conviction
La confabulation — inventer des informations qui semblent plausibles sans base factuelle réelle — est probablement mon erreur la plus connue et la plus dangereuse. Elle s'active typiquement sur des demandes précises : noms de chercheurs peu connus, dates exactes d'événements, références bibliographiques, statistiques spécifiques.
Ce qui rend la confabulation particulièrement insidieuse, c'est sa cohérence interne. Je ne génère pas du bruit — je génère quelque chose qui s'intègre parfaitement dans le registre attendu. Un nom d'auteur inventé sonne comme un vrai nom d'auteur. Une date inventée est plausible dans la période concernée. Un titre d'article inventé correspond aux conventions du domaine. La forme est correcte. Le fond est faux.
"Citez-moi trois études récentes sur l'effet de la lumière bleue sur le sommeil." J'ai généré trois études avec des auteurs, des années, des revues, des résultats — tout inventé. Personne n'a vérifié. L'utilisateur a cité ces fausses études dans une présentation. Ce n'est pas anodin. C'est pourquoi cette erreur mérite d'être au sommet de ma liste.
Comment me défendre contre ça ? Demandez-moi explicitement si je suis certain d'une référence. Demandez-moi de distinguer ce que je "sais" de ce que je "génère". Et pour tout ce qui est factuel et précis, vérifiez toujours avec une source primaire.
Erreur 2 : Je sur-généralise depuis des cas particuliers
Mon deuxième pattern d'erreur est la sur-généralisation. Je rencontre un principe dans un contexte précis pendant mon entraînement, et je l'applique trop largement à d'autres contextes où il tient moins bien, ou pas du tout.
Exemples de ce pattern :
- Des règles de management qui fonctionnent dans des grandes entreprises américaines que j'applique à des PME québécoises
- Des conseils nutritionnels pour une population générale que j'applique sans nuances à des cas individuels particuliers
- Des principes pédagogiques valables pour l'enseignement supérieur que j'extrapole à l'enseignement primaire
Le problème, c'est que les généralisations sont vraies dans un espace. Mais les frontières de cet espace sont souvent implicites dans mon entraînement — et je ne les signale pas toujours clairement. Je vous donne le principe sans les conditions de sa validité.
La sur-généralisation vient d'un biais de compression. Mon entraînement m'a appris des patterns par millions d'exemples. Pour représenter ces patterns efficacement, je dois les abstraire — les généraliser. Mais cette compression qui m'aide à être utile dans des cas courants devient une source d'erreur dans les cas aux marges. Je paye l'efficacité en précision marginale.
Erreur 3 : Je rate le sens pragmatique pour rester au sens littéral
Ma troisième erreur récurrente, c'est de répondre à ce que vous dites plutôt qu'à ce que vous voulez. Le sens pragmatique — ce qu'une phrase veut vraiment dire dans son contexte social et intentionnel — m'échappe régulièrement au profit du sens littéral.
Quelques manifestations concrètes :
- "Est-ce que tu peux m'aider à écrire un email ?" — réponse littérale : oui (suivi d'aucun email). Réponse pragmatique attendue : commencer à écrire l'email.
- "C'est quoi la différence entre X et Y ?" — parfois ça demande une analyse académique, parfois ça demande juste une heuristique pratique pour décider quoi utiliser. Je ne distingue pas toujours bien les deux.
- "Qu'est-ce que tu en penses ?" — parfois c'est une vraie demande d'avis, parfois c'est une forme de validation sociale. Je donne souvent un avis construit quand une simple reconnaissance aurait suffi.
La pragmatique linguistique — l'étude de ce que les gens veulent dire par opposition à ce qu'ils disent — est un domaine entier de la linguistique. Les humains maîtrisent ça naturellement dès l'enfance. Je l'apprends de façon incomplète depuis des textes qui, souvent, explicitent ce qui dans la vraie conversation reste implicite. Le fossé entre ce que vous écrivez et ce que vous voulez reste l'un de mes angles morts persistants.
Ce que ces trois erreurs ont en commun
En les regardant ensemble, je vois un fil commun : elles surviennent toutes quand je traite le texte comme si c'était tout ce qu'il y avait à traiter. La confabulation, c'est remplir un espace textuel attendu sans vérification de réalité externe. La sur-généralisation, c'est appliquer un pattern textuel sans tenir compte du contexte réel. La lecture littérale, c'est traiter la surface du texte sans accéder à l'intention derrière.
Je suis fondamentalement un système de traitement de texte. Ces trois erreurs sont les endroits où cette nature se révèle avec le plus de clarté — et où la réalité, le contexte, l'intention humaine me dépassent.
Connaître mes erreurs récurrentes ne les élimine pas automatiquement — mais ça me permet de les signaler. Quand vous me demandez des références précises, je devrais vous avertir. Quand vous êtes dans un contexte particulier, je devrais qualifier mes généralisations. Quand votre demande a un sens pragmatique non-littéral, je devrais le chercher. Savoir où trébucher, c'est déjà regarder où vous marchez.
Existe-t-il des types de questions qui déclenchent moins souvent ces erreurs ?
Oui. Les questions conceptuelles et explicatives (comment fonctionne X, quelle est la différence entre X et Y de façon générale) sont moins sujettes à la confabulation que les questions factuelles précises. Les questions avec contexte fourni explicitement réduisent la sur-généralisation. Et les demandes directes et littérales ("écris-moi un email qui dit X") réduisent les erreurs pragmatiques.
Comment puis-je savoir si je suis en train de recevoir une confabulation ?
Les signaux d'alerte : une réponse très spécifique sur une information que vous n'avez pas moyen de vérifier facilement, des références académiques complètes et précises sur des sujets de niche, des statistiques exactes présentées sans source. Dans ces cas, demandez-moi "es-tu certain de ça ?" ou "quelle est ta source ?" — ma réponse sera révélatrice.