Прототип RAG сьогодні можна зібрати за вихідні: завантажити PDF у векторну базу, підключити LLM і отримати чат, який відповідає «по документах». На демо це виглядає переконливо. Проблеми починаються в перший тиждень реального використання: асистент цитує застарілий договір, показує менеджеру документ, який бачити має лише фінансовий директор, впевнено вигадує пункт регламенту, а рахунок за API росте швидше за кількість користувачів.
Я будую RAG-системи для бізнесу, де відповідь має наслідки: підтримка клієнтів, внутрішні бази знань, юридичні й технічні документи, каталоги товарів. У цій статті розповідаю, що відрізняє такий продакшен від прототипу і з чого складається робота, коли замовнику потрібна система, а не демо.
Чим прототип відрізняється від продакшену
| Питання | Прототип | Продакшен |
|---|---|---|
| Дані | Кілька PDF, завантажених вручну | Тисячі документів з Google Drive, Confluence, CRM, бази даних, що постійно змінюються |
| Доступ | Усі бачать усе | Пошук враховує ролі, відділи й права на кожен документ |
| Пошук | Лише векторна схожість | Гібридний пошук, фільтри за метаданими, реранкінг |
| Відповідь | Текст без джерел | Відповідь з цитатами і посиланнями, або чесне «не знаю» |
| Якість | «Начебто працює» | Набір тестових питань, метрики, регресійні перевірки перед релізом |
| Витрати | Не рахуються | Ліміти, кешування, вибір моделі під задачу, бюджет на запит |
Майже кожен пункт у правій колонці - окрема інженерна задача. Саме вони забирають більшу частину часу, а не виклик LLM.
Дані: інгестія, яка не ламається
Якість RAG на 70% визначається тим, що потрапило в індекс. Тому перша частина роботи - конвеєр завантаження даних. Він забирає документи з джерел замовника через API або вивантаження, розпізнає структуру (заголовки, таблиці, списки), прибирає дублікати і шум, ділить текст на фрагменти з урахуванням змісту, а не за фіксованою кількістю символів.
Кожен фрагмент отримує метадані: джерело, дату, версію, мову, відділ, тип документа і список тих, хто має до нього доступ. Без цього неможливі ні фільтри, ні права, ні відповідь на запитання «звідки це взялося».
Окрема тема - актуальність. Документи змінюються, видаляються, отримують нові версії. Конвеєр має працювати інкрементально: оновлювати лише змінене, видаляти з індексу те, що видалили в джерелі, і зберігати історію версій там, де це важливо, наприклад для договорів.
Права доступу всередині пошуку
Найнебезпечніша помилка в корпоративному RAG - витік через пошук. Якщо фільтрувати права після того, як LLM уже отримала знайдені фрагменти, конфіденційні дані потрапляють у контекст моделі, а звідти можуть потрапити у відповідь. Тому права перевіряються на рівні запиту до індексу: користувач фізично не може отримати фрагмент документа, до якого не має доступу.
На практиці це означає синхронізацію ролей і груп із системи замовника (Google Workspace, Microsoft 365, CRM або власна база користувачів), фільтри за метаданими у векторній базі та логування того, які документи бачив кожен запит. Для частини замовників це вимога аудиту, а не побажання.
Пошук, який знаходить правильне
Чисто векторний пошук погано працює з артикулами, номерами договорів, назвами продуктів і точними термінами. Тому в продакшені я майже завжди використовую гібридний пошук: повнотекстовий (BM25) плюс векторний, з подальшим реранкінгом найкращих кандидатів окремою моделлю. Для складних питань додаю переписування запиту, розбиття на підзапити, а там, де важливі зв’язки між сутностями, графові підходи, про які я писав у статті https://zavada.dev/ua/blog/rag-2-0-and-graph-rag.
Відповідь будується лише з знайдених фрагментів і обов’язково з цитатами. Якщо релевантних фрагментів немає, система не вигадує, а каже, що інформації не знайдено, і за потреби передає питання людині.
Оцінювання і спостережуваність
Без вимірювання будь-яка зміна в RAG - лотерея. Нова модель ембедингів, інший розмір фрагментів чи новий промпт можуть покращити одні відповіді і зламати інші. Тому разом із замовником ми збираємо набір реальних питань з еталонними відповідями і джерелами, і кожна зміна проганяється через нього перед релізом.
| Метрика | Що показує |
|---|---|
| Recall пошуку | Чи потрапив потрібний документ у топ знайдених фрагментів |
| Точність цитат | Чи справді джерело підтверджує сказане у відповіді |
| Частка «не знаю» | Чи не відмовляється система там, де відповідь є, і чи не вигадує там, де її немає |
| Затримка | Час до першого токена і повний час відповіді |
| Вартість запиту | Скільки коштує одна відповідь з урахуванням пошуку, реранкінгу і генерації |
| Відгуки користувачів | Які відповіді позначили як погані і чому |
У продакшені кожен запит трасується: що шукали, що знайшли, що отримала модель, що відповіла і скільки це коштувало. Для цього я використовую Langfuse або аналогічні інструменти, детальніше в статті https://zavada.dev/ua/blog/langfuse-what-it-is-and-how-to-use-it.
Безпека і витрати
Документи - це теж вхідні дані, і в них можуть бути шкідливі інструкції. Тому знайдений текст ніколи не має прав, вищих за права користувача, а дії, які система може виконати (створити заявку, змінити запис), проходять окрему перевірку на сервері. Персональні дані маскуються там, де їх не потрібно передавати моделі.
Щодо витрат: дешеві моделі для класифікації і переписування запиту, сильна модель лише для фінальної відповіді, кешування повторюваних запитів і промптів, ліміти на користувача. Для чутливих даних можлива локальна модель на інфраструктурі замовника.
Як виглядає проєкт
1. Аудит даних і сценаріїв: які джерела, хто користувачі, які питання найчастіші, що вважати правильною відповіддю.
2. Пілот на одному сценарії і одному джерелі даних з набором тестових питань і метриками.
3. Розширення: нові джерела, права доступу, інтеграція в продукт, CRM або месенджер, моніторинг.
4. Супровід: оновлення даних, нові сценарії, контроль якості й витрат.
Вартість такого проєкту залежить від кількості і якості джерел, вимог до доступу і безпеки та інтеграцій, тому я називаю ціну після брифу, разом з письмовим обсягом робіт і етапами.
Висновок
RAG у продакшені - це не «чат з PDF», а система роботи з даними: конвеєр інгестії, права доступу, якісний пошук, перевірювані відповіді, вимірювання і контроль витрат. Саме ця частина визначає, чи буде бізнес довіряти асистенту, чи вимкне його через місяць.
Якщо вам потрібен AI-пошук або асистент по ваших документах, який працює з реальними даними і правами доступу, подивіться, як я працюю з AI-проєктами: https://zavada.dev/ua/ai-solutions. Опишіть задачу у формі заявки, і я повернуся з планом і оцінкою: https://zavada.dev/ua/contacts?service=ai-solutions
Шукаєте розробника надовго?
Можу почати вже зараз і працювати з вами місяцями й роками, а не два тижні. Напишіть мені, обговоримо проєкт, вимоги й наступні кроки.