Muchas empresas ya tienen un chatbot de IA, y muchas no están contentas con él. Inventa respuestas que no están en la documentación, tarda cinco segundos en contestar y la factura mensual de la API no deja de crecer. La reacción habitual es cambiar de modelo o reescribir el prompt otra vez. En mi experiencia, el modelo rara vez es la causa. El problema casi siempre está en la recuperación de información, en el contrato del prompt o en cómo el sistema llama al modelo.
Tres síntomas, un solo sistema
Una pregunta sencilla: «¿Cuál es vuestro plazo de devolución?» Un bot roto responde en 4,8 segundos «Devoluciones dentro de 90 días, sin preguntas». Suena seguro y no aparece en ninguna parte de tu política. Un bot arreglado responde «Las devoluciones están disponibles dentro de los 60 días posteriores a la compra», cita Refund-Policy.pdf, página 2, y tarda 1,4 segundos. Mismo modelo, mismos documentos. La diferencia es ingeniería: qué recibe el modelo, qué puede decir y cuánto trabajo se hace en cada petición.
Las respuestas incorrectas suelen ser un problema de recuperación
Cuando un bot se inventa algo, normalmente el modelo no recibió el pasaje correcto o lo recibió enterrado entre otros irrelevantes. Reviso cómo se procesan y dividen los documentos, si la búsqueda combina palabras clave y semántica, si un reranker coloca el mejor pasaje primero y si quedan documentos obsoletos en el índice. Después, el prompt convierte el anclaje en una regla: responder solo con las fuentes proporcionadas, citarlas y decirlo o pasar a una persona cuando falten pruebas. Las citas permiten a los usuarios verificar la respuesta y te muestran exactamente qué documento causó un error.
Respuestas lentas: adónde se van los segundos
La latencia rara vez es un gran problema; son varios pequeños que se suman. Llamadas secuenciales que podrían ir en paralelo, un modelo grande para una simple clasificación, treinta fragmentos recuperados donde bastarían cinco y sin streaming, así que el usuario mira una burbuja vacía. Mido cada paso por separado y arreglo primero el mayor: transmitir la respuesta en streaming, ejecutar en paralelo los pasos independientes, cachear lo que se repite y enviar las peticiones fáciles a un modelo más pequeño y rápido.
Facturas de API enormes: pagar tokens que nadie necesita
El coste sigue el mismo patrón. La mayoría de las facturas se inflan con contexto que no hace falta: historiales completos de chat, resultados de búsqueda demasiado grandes, prompts de sistema extensos y el modelo más caro para cada petición. El prompt caching para la parte estable del prompt, un historial recortado o resumido, resultados de búsqueda más pequeños y el enrutamiento por dificultad suelen reducir mucho la factura sin perder calidad. El coste se registra por conversación y por funcionalidad, de modo que el ahorro se ve y las regresiones se detectan.
Cómo lo arreglo: auditoría, recuperación, prompts, coste, informe
| Paso | Qué hago | Qué obtienes |
|---|---|---|
| Auditoría | Recopilar conversaciones reales, crear un conjunto de evaluación, medir precisión, latencia y coste | Una línea base para comparar |
| Recuperación | Corregir el procesamiento, la fragmentación, la búsqueda híbrida y el reranking; añadir citas | Respuestas basadas en tus documentos |
| Prompts | Reescribir el prompt de sistema como un contrato de comportamiento con alternativas y traspaso a una persona | Menos respuestas inventadas y un «no lo sé» honesto |
| Coste | Prompt caching, enrutamiento de modelos, límites de contexto, registro de costes | Una factura de API más baja y predecible |
| Informe | Cifras de antes y después con el mismo conjunto de pruebas | Prueba de la mejora y una batería de pruebas reutilizable |
Nada cambia antes de la auditoría. Sin una línea base, cada arreglo es una opinión. Con ella, cada cambio en el prompt, la recuperación o el modelo se comprueba en minutos con las mismas preguntas reales, y te quedas con esa batería de pruebas cuando termina el trabajo.
Contrátame para arreglar tu chatbot
Soy Senior Full-Stack AI Engineer con más de 11 años en software, un 100 % de Job Success y más de 200.000 $ ganados en Upwork. Trabajo en todo el sistema, no solo en el prompt: pipelines de datos, backend, frontend, despliegue y monitorización. Y me quedo después del arreglo. Prefiero colaboraciones a largo plazo, porque un chatbot necesita cuidado continuo a medida que cambian tus documentos, tus productos y los modelos.
Si tu chatbot da respuestas incorrectas, responde despacio o cuesta demasiado, envíame algunas conversaciones de ejemplo y una breve descripción de tu stack. Te diré dónde está probablemente el problema y qué haría falta para arreglarlo.
Dale al próximo producto alguien que se quede.
¿Listo para empezar? Envíame un mensaje: puedo comenzar ahora y quedarme. Colaboraciones a largo plazo, no una entrega de dos semanas. Hablemos de tu proyecto, requisitos y la mejor forma de avanzar.