Molte aziende hanno già un chatbot AI, e molte ne sono silenziosamente insoddisfatte. Inventa risposte che non sono nella documentazione, impiega cinque secondi a rispondere e la bolletta mensile delle API continua a crescere. La reazione tipica è cambiare modello o riscrivere ancora il prompt. Secondo la mia esperienza, il modello è raramente la causa. Il problema è quasi sempre nel retrieval, nel contratto del prompt o nel modo in cui il sistema chiama il modello.
Tre sintomi, un solo sistema
Una domanda semplice: «Entro quanto posso chiedere un rimborso?» Un bot rotto risponde in 4,8 secondi «Rimborsi entro 90 giorni, senza domande». Sembra sicuro e non compare da nessuna parte nella tua policy. Un bot sistemato risponde «I rimborsi sono disponibili entro 60 giorni dall’acquisto», cita Refund-Policy.pdf, pagina 2, e lo fa in 1,4 secondi. Stesso modello, stessi documenti. La differenza è ingegneria: cosa riceve il modello, cosa può dire e quanto lavoro si fa a ogni richiesta.
Le risposte sbagliate sono quasi sempre un problema di retrieval
Quando un bot inventa, di solito il modello non ha ricevuto il passaggio giusto, o l’ha ricevuto sepolto tra passaggi irrilevanti. Controllo come i documenti vengono analizzati e divisi in chunk, se la ricerca combina parole chiave e semantica, se un reranker mette il passaggio migliore per primo e se nell’indice restano documenti obsoleti. Poi il prompt rende l’ancoraggio una regola: rispondere solo dalle fonti fornite, citarle e dirlo o passare a una persona quando mancano prove. Le citazioni permettono agli utenti di verificare la risposta e ti mostrano esattamente quale documento ha causato un errore.
Risposte lente: dove finiscono i secondi
La latenza raramente è un unico grande problema: sono tanti piccoli che si sommano. Chiamate sequenziali che potrebbero girare in parallelo, un modello grande per una semplice classificazione, trenta chunk recuperati dove ne basterebbero cinque e niente streaming, così l’utente fissa una bolla vuota. Misuro ogni passo separatamente e sistemo prima il più pesante: streaming della risposta, passi indipendenti in parallelo, cache per ciò che si ripete e instradamento delle richieste facili verso un modello più piccolo e veloce.
Bollette API enormi: pagare token che non servono
Il costo segue lo stesso schema. La maggior parte delle bollette è gonfiata da contesto superfluo: cronologie di chat complete, risultati di ricerca troppo grandi, prompt di sistema prolissi e il modello più costoso per ogni richiesta. Prompt caching per la parte stabile del prompt, cronologia accorciata o riassunta, risultati di ricerca più piccoli e instradamento per difficoltà spesso riducono molto la bolletta senza peggiorare la qualità. Il costo viene registrato per conversazione e per funzionalità, così i risparmi sono visibili e le regressioni emergono.
Come lo sistemo: audit, retrieval, prompt, costi, report
| Passo | Cosa faccio | Cosa ottieni |
|---|---|---|
| Audit | Raccolgo conversazioni reali, creo un set di valutazione, misuro accuratezza, latenza e costi | Una baseline con cui confrontarsi |
| Retrieval | Sistemo parsing, chunking, ricerca ibrida e reranking; aggiungo le citazioni | Risposte basate sui tuoi documenti |
| Prompt | Riscrivo il prompt di sistema come contratto di comportamento con fallback e passaggio a una persona | Meno risposte inventate e un «non lo so» onesto |
| Costi | Prompt caching, instradamento dei modelli, limiti di contesto, logging dei costi | Una bolletta API più bassa e prevedibile |
| Report | Numeri prima e dopo sullo stesso set di test | La prova del miglioramento e una suite di test riutilizzabile |
Prima dell’audit non cambia nulla. Senza una baseline ogni correzione è un’opinione. Con una baseline, ogni modifica a prompt, retrieval o modello si verifica in pochi minuti sulle stesse domande reali, e quella suite di test resta a te a lavoro finito.
Affidami il tuo chatbot
Sono un Senior Full-Stack AI Engineer con oltre 11 anni nel software, Job Success al 100% e più di 200.000 $ guadagnati su Upwork. Lavoro sull’intero sistema, non solo sul prompt: pipeline di dati, backend, frontend, deploy e monitoraggio. E resto dopo la correzione. Preferisco collaborazioni a lungo termine, perché un chatbot richiede cure continue man mano che cambiano i tuoi documenti, i tuoi prodotti e i modelli.
Se il tuo chatbot dà risposte sbagliate, risponde lentamente o costa troppo, mandami qualche conversazione d’esempio e una breve descrizione del tuo stack. Ti dirò dove si trova probabilmente il problema e cosa servirebbe per risolverlo.
Dai al prossimo prodotto qualcuno che resti.
Pronto a iniziare? Scrivimi: posso cominciare subito e restare. Collaborazioni a lungo termine, non passaggi di consegne dopo due settimane. Parliamo del progetto, dei requisiti e del modo migliore per procedere.