Көптеген компанияларда AI-чатбот бар, және көбі оған іштей көңілі толмайды. Ол құжаттамада жоқ жауаптарды ойдан шығарады, жауап беруге бес секунд кетеді, ал API үшін айлық шот өсе береді. Әдеттегі реакция - модельді ауыстыру немесе промптты тағы бір рет қайта жазу. Менің тәжірибемде себеп сирек модельде болады. Мәселе әрдайым дерлік іздеуде, промпт келісімінде немесе жүйенің модельді қалай шақыратынында.
Үш симптом, бір жүйе
Қарапайым сұрақ: «Тауарды қанша күн ішінде қайтаруға болады?» Бұзылған бот 4,8 секундта «90 күн ішінде, ешқандай сұрақсыз қайтаруға болады» деп жауап береді. Сенімді естіледі, бірақ бұл сіздің ережелеріңіздің ешбір жерінде жоқ. Жөнделген бот «Ақшаны сатып алғаннан кейін 60 күн ішінде қайтаруға болады» деп жауап береді, Refund-Policy.pdf, 2-бетке сілтеме жасайды және мұны 1,4 секундта істейді. Сол модель, сол құжаттар. Айырмашылық - инженерияда: модель не алады, не айтуға рұқсат етілген және әр сұрауда қанша жұмыс атқарылады.
Қате жауаптар әдетте іздеу мәселесі
Бот бірдеңені ойдан шығарғанда, модель әдетте дұрыс үзіндіні алмаған немесе оны қатысы жоқ үзінділердің арасында алған. Мен құжаттардың қалай талданып, бөліктерге бөлінетінін, іздеу кілт сөздер мен семантиканы біріктіре ме, reranker ең жақсы үзіндіні бірінші қоя ма және индексте ескі құжаттар қалмады ма - соны тексеремін. Содан кейін промпт дереккөзге сүйенуді ережеге айналдырады: тек берілген дереккөздерден жауап беру, оларға сілтеме жасау, ал дәлел жоқ болса, мұны ашық айту немесе әңгімені адамға беру. Сілтемелер пайдаланушыларға жауапты тексеруге мүмкіндік береді, ал сізге қатені қай құжат тудырғанын дәл көрсетеді.
Баяу жауаптар: секундтар қайда кетеді
Кідіріс сирек бір үлкен мәселе болады; бұл бірігіп кететін бірнеше кішкентай мәселе. Параллель жүруі мүмкін тізбекті шақырулар, қарапайым жіктеуге арналған үлкен модель, бесеуі жеткілікті жерде алынған отыз бөлік және стримингтің жоқтығы, сондықтан пайдаланушы бос көпіршікке қарап отырады. Әр қадамды бөлек өлшеп, алдымен ең үлкенін түзетемін: жауапты стримингпен беру, тәуелсіз қадамдарды параллель орындау, қайталанатынды кэштеу және қарапайым сұрауларды кішірек, жылдамырақ модельге бағыттау.
Үлкен API шоттары: ешкімге керек емес токендер үшін төлем
Құн да осындай заңдылыққа бағынады. Шоттардың көбін қажетсіз контекст ұлғайтады: толық чат тарихы, тым үлкен іздеу нәтижелері, ұзын жүйелік промпттар және әр сұрауға ең қымбат модель. Промпттың тұрақты бөлігіне prompt caching, қысқартылған немесе түйінделген тарих, кішірек іздеу нәтижелері және күрделілікке қарай бағыттау сапаны төмендетпей шотты айтарлықтай азайтады. Құн әр әңгіме мен әр функция бойынша тіркеледі, сондықтан үнем көрінеді, ал регрессиялар анықталады.
Қалай түзетемін: аудит, іздеу, промпттар, құн, есеп
| Қадам | Не істеймін | Не аласыз |
|---|---|---|
| Аудит | Нақты әңгімелерді жинау, бағалау жинағын құру, дәлдікті, кідірісті және құнды өлшеу | Салыстыруға арналған бастапқы нүкте |
| Іздеу | Талдауды, бөліктеуді, гибридті іздеуді және reranking-ті түзету; сілтемелер қосу | Құжаттарыңызға негізделген жауаптар |
| Промпттар | Жүйелік промптты қосалқы сценарийлер мен адамға беру бар мінез-құлық келісімі ретінде қайта жазу | Ойдан шығарылған жауаптардың азаюы және адал «білмеймін» |
| Құн | Prompt caching, модельдерді бағыттау, контекст шектеулері, құнды тіркеу | Төменірек әрі болжамды API шоты |
| Есеп | Бір тест жинағындағы бұрын және кейінгі сандар | Жақсарудың дәлелі және қайта қолдануға болатын тест жинағы |
Аудитке дейін ештеңе өзгермейді. Бастапқы нүкте болмаса, әр түзету жай пікір ғана. Ол болса, промптқа, іздеуге немесе модельге енгізілген әр өзгерісті сол нақты сұрақтар бойынша бірнеше минутта тексеруге болады, ал бұл тест жинағы жұмыс біткеннен кейін сізде қалады.
Чатботыңызды түзету үшін мені жалдаңыз
Мен Senior Full-Stack AI Engineer-мін: бағдарламалық жасақтамада 11 жылдан астам тәжірибе, Upwork-те 100% Job Success және 200 мың доллардан астам табыс. Тек промптпен емес, бүкіл жүйемен жұмыс істеймін: деректер пайплайндары, бэкенд, фронтенд, деплой және мониторинг. Әрі түзетуден кейін де қаламын. Ұзақ мерзімді ынтымақтастықты қалаймын, өйткені құжаттарыңыз, өнімдеріңіз бен модельдер өзгерген сайын чатботқа тұрақты күтім керек.
Егер чатботыңыз қате жауап берсе, баяу жауап қайтарса немесе тым қымбатқа түссе, маған бірнеше мысал әңгіме мен стегіңіздің қысқаша сипаттамасын жіберіңіз. Мәселе қай жерде болуы ықтимал екенін және оны түзетуге не қажет екенін айтамын.
Келесі өнімге онымен бірге қалатын адамды беріңіз.
Бастауға дайынсыз ба? Маған жазыңыз — қазір бастап, әрі қарай қалуға дайынмын. Екі апталық тапсыру емес, ұзақ мерзімді келісімдер. Жобаңызды, талаптарды және алға жылжудың ең тиімді жолын талқылайық.