Mnoho firem už AI chatbota má a mnohé s ním nejsou potichu spokojené. Vymýšlí odpovědi, které v dokumentaci nejsou, odpovídá pět sekund a měsíční účet za API stále roste. Obvyklou reakcí je vyměnit model nebo znovu přepsat prompt. Podle mé zkušenosti je model příčinou jen zřídka. Problém je téměř vždy ve vyhledávání, v kontraktu promptu nebo ve způsobu, jakým systém model volá.
Tři symptomy, jeden systém
Jednoduchá otázka: „Jak dlouho mohu vrátit zboží?“ Rozbitý bot za 4,8 sekundy odpoví „Vrácení do 90 dnů bez udání důvodu“. Zní to sebejistě, ale ve vašich podmínkách to nikde není. Opravený bot odpoví „Vrácení peněz je možné do 60 dnů od nákupu“, odkáže na Refund-Policy.pdf, strana 2, a zvládne to za 1,4 sekundy. Stejný model, stejné dokumenty. Rozdíl je v inženýrství: co model dostane, co smí říct a kolik práce proběhne při každém požadavku.
Špatné odpovědi jsou obvykle problém vyhledávání
Když si bot vymýšlí, model obvykle nedostal správnou pasáž, nebo ji dostal zasypanou nerelevantními. Kontroluji, jak se dokumenty parsují a dělí na části, zda vyhledávání kombinuje klíčová slova a sémantiku, zda reranker dává nejlepší pasáž na první místo a zda v indexu nezůstaly zastaralé dokumenty. Pak prompt udělá z opory ve zdrojích pravidlo: odpovídat jen z dodaných zdrojů, citovat je a při chybějících důkazech to přiznat nebo předat konverzaci člověku. Citace umožní uživatelům odpověď ověřit a vám ukážou, který dokument chybu způsobil.
Pomalé odpovědi: kam mizí sekundy
Latence je zřídka jeden velký problém; je to několik malých, které se sčítají. Sekvenční volání, která by mohla běžet paralelně, velký model na jednoduchou klasifikaci, třicet načtených částí tam, kde by stačilo pět, a žádný streaming, takže uživatel zírá na prázdnou bublinu. Měřím každý krok zvlášť a začínám tím největším: streamování odpovědi, paralelní nezávislé kroky, cache pro to, co se opakuje, a směrování jednoduchých dotazů na menší a rychlejší model.
Obří účty za API: platíte za tokeny, které nikdo nepotřebuje
S náklady je to stejné. Většinu účtů nafukuje zbytečný kontext: celé historie chatu, příliš velké výsledky vyhledávání, rozvláčné systémové prompty a nejdražší model pro každý požadavek. Prompt caching pro stabilní část promptu, zkrácená nebo shrnutá historie, menší výsledky vyhledávání a směrování podle obtížnosti často výrazně sníží účet bez ztráty kvality. Náklady se logují po konverzacích a funkcích, takže úspory jsou vidět a regrese se zachytí.
Jak to opravuji: audit, vyhledávání, prompty, náklady, report
| Krok | Co dělám | Co získáte |
|---|---|---|
| Audit | Sbírám skutečné konverzace, sestavuji evaluační sadu, měřím přesnost, latenci a náklady | Výchozí bod pro srovnání |
| Vyhledávání | Opravuji parsování, dělení na části, hybridní vyhledávání a reranking; přidávám citace | Odpovědi opřené o vaše dokumenty |
| Prompty | Přepisuji systémový prompt jako kontrakt chování se záložními scénáři a předáním člověku | Méně vymyšlených odpovědí a poctivé „nevím“ |
| Náklady | Prompt caching, směrování modelů, limity kontextu, logování nákladů | Nižší a předvídatelný účet za API |
| Report | Čísla před a po na stejné testovací sadě | Důkaz zlepšení a znovu použitelná sada testů |
Před auditem se nic nemění. Bez výchozího bodu je každá oprava jen názor. S ním lze každou změnu promptu, vyhledávání nebo modelu ověřit během minut na stejných skutečných otázkách a tato sada testů vám po dokončení práce zůstane.
Najměte si mě na opravu chatbota
Jsem Senior Full-Stack AI Engineer s více než 11 lety v softwaru, 100% Job Success a výdělkem přes 200 000 $ na Upworku. Pracuji s celým systémem, nejen s promptem: datové pipeline, backend, frontend, nasazení a monitoring. A po opravě zůstávám. Dávám přednost dlouhodobé spolupráci, protože chatbot potřebuje průběžnou péči, jak se mění vaše dokumenty, produkty i modely.
Pokud váš chatbot odpovídá špatně, pomalu nebo stojí příliš mnoho, pošlete mi několik ukázkových konverzací a krátký popis vašeho stacku. Řeknu vám, kde je problém nejspíš a co by jeho oprava obnášela.
Dejte příštímu produktu někoho, kdo zůstane.
Chcete začít? Napište mi – mohu začít hned a zůstat. Dlouhodobé retainery, ne dvoutýdenní předání. Proberme váš projekt, požadavky a nejlepší cestu vpřed.