Multe companii au deja un chatbot AI și multe sunt, în tăcere, nemulțumite de el. Inventează răspunsuri care nu există în documentație, răspunde în cinci secunde, iar factura lunară pentru API tot crește. Reacția obișnuită este schimbarea modelului sau rescrierea încă o dată a promptului. Din experiența mea, modelul este rareori cauza. Problema este aproape mereu în căutare, în contractul promptului sau în felul în care sistemul apelează modelul.
Trei simptome, un singur sistem
O întrebare simplă: „Care este termenul de rambursare?” Un bot defect răspunde în 4,8 secunde „Rambursare în 90 de zile, fără întrebări”. Sună sigur și nu apare nicăieri în politica ta. Un bot reparat răspunde „Rambursările sunt disponibile în 60 de zile de la achiziție”, citează Refund-Policy.pdf, pagina 2, și o face în 1,4 secunde. Același model, aceleași documente. Diferența este inginerie: ce primește modelul, ce are voie să spună și câtă muncă se face la fiecare cerere.
Răspunsurile greșite sunt de obicei o problemă de căutare
Când un bot inventează, modelul de obicei nu a primit pasajul corect sau l-a primit îngropat printre pasaje irelevante. Verific cum sunt analizate și împărțite documentele, dacă search-ul combină cuvinte-cheie și potrivire semantică, dacă un reranker pune cel mai bun pasaj primul și dacă în index au rămas documente învechite. Apoi promptul transformă ancorarea în surse într-o regulă: răspunde doar din sursele furnizate, citează-le și spune-o deschis sau predă conversația unui om când lipsesc dovezile. Citările le permit utilizatorilor să verifice răspunsul și îți arată exact ce document a produs o greșeală.
Răspunsuri lente: unde se duc secundele
Latența este rareori o singură problemă mare; sunt mai multe mici care se adună. Apeluri secvențiale care ar putea rula în paralel, un model mare pentru o simplă clasificare, treizeci de fragmente aduse unde ar ajunge cinci și lipsa streamingului, așa că utilizatorul se uită la o bulă goală. Măsor fiecare pas separat și îl repar întâi pe cel mai mare: răspuns în streaming, pași independenți în paralel, cache pentru ce se repetă și rutarea cererilor simple către un model mai mic și mai rapid.
Facturi API uriașe: plătești tokeni de care nu are nimeni nevoie
Costul urmează același tipar. Majoritatea facturilor sunt umflate de context inutil: istorice complete de chat, rezultate de căutare prea mari, prompturi de sistem stufoase și cel mai scump model pentru fiecare cerere. Prompt caching pentru partea stabilă a promptului, istoric scurtat sau rezumat, rezultate de căutare mai mici și rutare după dificultate reduc adesea serios factura fără a afecta calitatea. Costul este înregistrat pe conversație și pe funcționalitate, astfel încât economiile se văd, iar regresiile sunt prinse.
Cum îl repar: audit, căutare, prompturi, cost, raport
| Pas | Ce fac | Ce primești |
|---|---|---|
| Audit | Colectez conversații reale, construiesc un set de evaluare, măsor acuratețea, latența și costul | Un punct de referință pentru comparație |
| Căutare | Repar parsarea, fragmentarea, căutarea hibridă și reranking-ul; adaug citări | Răspunsuri bazate pe documentele tale |
| Prompturi | Rescriu promptul de sistem ca un contract de comportament, cu variante de rezervă și predare către un om | Mai puține răspunsuri inventate și un „nu știu” onest |
| Cost | Prompt caching, rutarea modelelor, limite de context, înregistrarea costurilor | O factură API mai mică și previzibilă |
| Raport | Cifre înainte și după pe același set de teste | Dovada îmbunătățirii și o suită de teste reutilizabilă |
Nimic nu se schimbă înainte de audit. Fără un punct de referință, fiecare reparație este o opinie. Cu el, fiecare schimbare a promptului, a căutării sau a modelului se verifică în câteva minute pe aceleași întrebări reale, iar suita de teste rămâne la tine după încheierea lucrului.
Angajează-mă să-ți repar chatbotul
Sunt Senior Full-Stack AI Engineer, cu peste 11 ani în software, 100% Job Success și peste 200.000 $ câștigați pe Upwork. Lucrez cu întregul sistem, nu doar cu promptul: pipeline-uri de date, backend, frontend, deployment și monitorizare. Și rămân după reparație. Prefer colaborările pe termen lung, pentru că un chatbot are nevoie de îngrijire continuă pe măsură ce se schimbă documentele, produsele și modelele.
Dacă chatbotul tău dă răspunsuri greșite, răspunde încet sau costă prea mult, trimite-mi câteva conversații exemplu și o scurtă descriere a stackului. Îți spun unde este cel mai probabil problema și ce ar presupune repararea ei.
Oferă-i următorului produs cuiva care rămâne.
Ești gata să începem? Trimite-mi un mesaj - pot începe acum și pot rămâne alături de produs. Colaborări pe termen lung, nu o predare în două săptămâni. Să discutăm proiectul, cerințele și cea mai bună cale de urmat.