Beaucoup d’entreprises ont déjà un chatbot IA, et beaucoup en sont discrètement mécontentes. Il invente des réponses absentes de la documentation, met cinq secondes à répondre, et la facture mensuelle d’API ne cesse d’augmenter. La réaction habituelle : changer de modèle ou réécrire encore le prompt. D’après mon expérience, le modèle est rarement en cause. Le problème se trouve presque toujours dans la recherche documentaire, dans le contrat du prompt ou dans la façon dont le système appelle le modèle.
Trois symptômes, un seul système
Une question simple : « Quel est votre délai de remboursement ? » Un bot défaillant répond en 4,8 secondes « Remboursement possible sous 90 jours, sans justification ». Le ton est assuré, mais cela ne figure nulle part dans votre politique. Un bot réparé répond « Les remboursements sont possibles dans les 60 jours suivant l’achat », cite Refund-Policy.pdf, page 2, et le fait en 1,4 seconde. Même modèle, mêmes documents. La différence, c’est l’ingénierie : ce que reçoit le modèle, ce qu’il a le droit de dire et la quantité de travail effectuée à chaque requête.
Les fausses réponses viennent surtout de la recherche
Quand un bot invente, c’est généralement que le modèle n’a pas reçu le bon passage, ou qu’il l’a reçu noyé parmi des passages hors sujet. Je vérifie comment les documents sont analysés et découpés, si la recherche combine mots-clés et sémantique, si un reranker place le meilleur passage en premier et si des documents obsolètes traînent encore dans l’index. Ensuite, le prompt fait de l’ancrage une règle : répondre uniquement à partir des sources fournies, les citer, et le dire ou passer la main à une personne quand les preuves manquent. Les citations permettent aux utilisateurs de vérifier et vous montrent exactement quel document a causé l’erreur.
Réponses lentes : où partent les secondes
La latence est rarement un seul gros problème : ce sont plusieurs petits qui s’additionnent. Des appels séquentiels qui pourraient tourner en parallèle, un grand modèle pour une simple classification, trente passages récupérés quand cinq suffiraient, et pas de streaming, si bien que l’utilisateur fixe une bulle vide. Je mesure chaque étape séparément et corrige d’abord la plus lourde : streamer la réponse, paralléliser les étapes indépendantes, mettre en cache ce qui se répète et orienter les requêtes simples vers un modèle plus petit et plus rapide.
Factures d’API énormes : payer des tokens inutiles
Le coût suit le même schéma. La plupart des factures sont gonflées par du contexte inutile : historiques de conversation complets, résultats de recherche trop volumineux, prompts système verbeux et le modèle le plus cher pour chaque requête. Le prompt caching pour la partie stable du prompt, un historique raccourci ou résumé, des résultats de recherche plus petits et un routage selon la difficulté réduisent souvent nettement la facture sans dégrader la qualité. Le coût est journalisé par conversation et par fonctionnalité : les économies sont visibles et les régressions repérées.
Ma méthode : audit, recherche, prompts, coût, rapport
| Étape | Ce que je fais | Ce que vous obtenez |
|---|---|---|
| Audit | Collecter de vraies conversations, constituer un jeu d’évaluation, mesurer précision, latence et coût | Un point de référence pour comparer |
| Recherche | Corriger l’analyse, le découpage, la recherche hybride et le reranking ; ajouter des citations | Des réponses fondées sur vos documents |
| Prompts | Réécrire le prompt système comme un contrat de comportement avec solutions de repli et passage à un humain | Moins d’inventions et un « je ne sais pas » honnête |
| Coût | Prompt caching, routage des modèles, limites de contexte, journalisation des coûts | Une facture d’API plus basse et prévisible |
| Rapport | Chiffres avant/après sur le même jeu de tests | La preuve de l’amélioration et une suite de tests réutilisable |
Rien ne change avant l’audit. Sans point de référence, chaque correction n’est qu’une opinion. Avec lui, chaque modification du prompt, de la recherche ou du modèle se vérifie en quelques minutes sur les mêmes vraies questions, et vous conservez cette suite de tests une fois le travail terminé.
Confiez-moi votre chatbot
Je suis Senior Full-Stack AI Engineer, avec plus de 11 ans dans le logiciel, un Job Success de 100 % et plus de 200 000 $ gagnés sur Upwork. Je travaille sur tout le système, pas seulement sur le prompt : pipelines de données, backend, frontend, déploiement et monitoring. Et je reste après la correction. Je privilégie les collaborations au long cours, car un chatbot demande un suivi continu à mesure que vos documents, vos produits et les modèles évoluent.
Si votre chatbot donne de fausses réponses, répond lentement ou coûte trop cher, envoyez-moi quelques exemples de conversations et une courte description de votre stack. Je vous dirai où se situe probablement le problème et ce qu’il faudrait pour le corriger.
Donnez à votre prochain produit quelqu’un qui reste.
Prêt à commencer ? Écrivez-moi — je peux démarrer immédiatement et rester dans la durée. Des collaborations à long terme, pas une passation après deux semaines. Discutons de votre projet, de vos exigences et de la meilleure façon d’avancer.