Wiele firm ma już chatbota AI i wiele jest z niego po cichu niezadowolonych. Wymyśla odpowiedzi, których nie ma w dokumentacji, odpowiada po pięć sekund, a miesięczny rachunek za API stale rośnie. Typowa reakcja to zmiana modelu albo kolejne przepisanie promptu. Z mojego doświadczenia model rzadko jest przyczyną. Problem prawie zawsze leży w wyszukiwaniu, w kontrakcie promptu albo w tym, jak system wywołuje model.
Trzy objawy, jeden system
Proste pytanie: „Ile dni macie na zwrot?” Zepsuty bot w 4,8 sekundy odpowiada „Zwrot możliwy w ciągu 90 dni, bez pytań”. Brzmi pewnie, ale nie ma tego nigdzie w Twoim regulaminie. Naprawiony bot odpowiada „Zwroty są możliwe w ciągu 60 dni od zakupu”, powołuje się na Refund-Policy.pdf, strona 2, i robi to w 1,4 sekundy. Ten sam model, te same dokumenty. Różnica to inżynieria: co model dostaje, co wolno mu powiedzieć i ile pracy dzieje się przy każdym zapytaniu.
Błędne odpowiedzi to zwykle problem wyszukiwania
Gdy bot coś zmyśla, model zwykle nie dostał właściwego fragmentu albo dostał go zakopanego wśród nieistotnych. Sprawdzam, jak dokumenty są parsowane i dzielone na fragmenty, czy wyszukiwanie łączy słowa kluczowe z dopasowaniem semantycznym, czy reranker stawia najlepszy fragment na początku i czy w indeksie nie zostały nieaktualne dokumenty. Potem prompt czyni opieranie się na źródłach zasadą: odpowiadaj tylko na podstawie dostarczonych źródeł, cytuj je, a przy braku dowodów powiedz to wprost albo przekaż rozmowę człowiekowi. Cytaty pozwalają użytkownikom sprawdzić odpowiedź, a Tobie pokazują, który dokument spowodował błąd.
Wolne odpowiedzi: gdzie uciekają sekundy
Opóźnienie rzadko jest jednym dużym problemem; to kilka małych, które się sumują. Wywołania sekwencyjne, które mogłyby iść równolegle, duży model do prostej klasyfikacji, trzydzieści pobranych fragmentów tam, gdzie wystarczyłoby pięć, i brak streamingu, przez co użytkownik patrzy na pusty dymek. Mierzę każdy krok osobno i zaczynam od największego: streaming odpowiedzi, równoległe niezależne kroki, cache dla tego, co się powtarza, i kierowanie prostych zapytań do mniejszego, szybszego modelu.
Ogromne rachunki za API: płacenie za niepotrzebne tokeny
Z kosztami jest tak samo. Większość rachunków puchnie od niepotrzebnego kontekstu: pełnych historii czatu, zbyt dużych wyników wyszukiwania, rozwlekłych promptów systemowych i najdroższego modelu do każdego zapytania. Prompt caching dla stałej części promptu, skrócona lub podsumowana historia, mniejsze wyniki wyszukiwania i routing według trudności często wyraźnie obniżają rachunek bez utraty jakości. Koszt jest logowany na rozmowę i na funkcję, więc oszczędności widać, a regresje są wyłapywane.
Jak to naprawiam: audyt, wyszukiwanie, prompty, koszty, raport
| Krok | Co robię | Co dostajesz |
|---|---|---|
| Audyt | Zbieram prawdziwe rozmowy, buduję zestaw ewaluacyjny, mierzę trafność, opóźnienie i koszt | Punkt odniesienia do porównań |
| Wyszukiwanie | Naprawiam parsowanie, podział na fragmenty, wyszukiwanie hybrydowe i reranking; dodaję cytaty | Odpowiedzi oparte na Twoich dokumentach |
| Prompty | Przepisuję prompt systemowy jako kontrakt zachowania ze scenariuszami awaryjnymi i przekazaniem człowiekowi | Mniej zmyślonych odpowiedzi i uczciwe „nie wiem” |
| Koszty | Prompt caching, routing modeli, limity kontekstu, logowanie kosztów | Niższy i przewidywalny rachunek za API |
| Raport | Liczby przed i po na tym samym zestawie testów | Dowód poprawy i zestaw testów do ponownego użycia |
Przed audytem nic się nie zmienia. Bez punktu odniesienia każda poprawka to opinia. Z nim każdą zmianę promptu, wyszukiwania czy modelu sprawdza się w kilka minut na tych samych prawdziwych pytaniach, a ten zestaw testów zostaje u Ciebie po zakończeniu pracy.
Zatrudnij mnie do naprawy chatbota
Jestem Senior Full-Stack AI Engineer z ponad 11 latami w branży, 100% Job Success i ponad 200 000 $ zarobionymi na Upwork. Pracuję z całym systemem, nie tylko z promptem: pipeline’y danych, backend, frontend, wdrożenie i monitoring. I zostaję po naprawie. Wolę długoterminową współpracę, bo chatbot wymaga stałej opieki, gdy zmieniają się Twoje dokumenty, produkty i modele.
Jeśli Twój chatbot udziela błędnych odpowiedzi, odpowiada wolno albo kosztuje za dużo, wyślij mi kilka przykładowych rozmów i krótki opis stacku. Powiem Ci, gdzie najpewniej leży problem i czego wymagałaby naprawa.
Daj kolejnemu produktowi kogoś, kto zostanie.
Chcesz zacząć? Napisz do mnie — mogę rozpocząć od razu i zostać na dłużej. Długoterminowa współpraca, nie przekazanie projektu po dwóch tygodniach. Omówmy projekt, wymagania i najlepszy sposób realizacji.