RAG у продакшені: як зробити AI-пошук по документах, якому довіряє бізнес

2026-11-14

Прототип RAG сьогодні можна зібрати за вихідні: завантажити PDF у векторну базу, підключити LLM і отримати чат, який відповідає «по документах». На демо це виглядає переконливо. Проблеми починаються в перший тиждень реального використання: асистент цитує застарілий договір, показує менеджеру документ, який бачити має лише фінансовий директор, впевнено вигадує пункт регламенту, а рахунок за API росте швидше за кількість користувачів.

Я будую RAG-системи для бізнесу, де відповідь має наслідки: підтримка клієнтів, внутрішні бази знань, юридичні й технічні документи, каталоги товарів. У цій статті розповідаю, що відрізняє такий продакшен від прототипу і з чого складається робота, коли замовнику потрібна система, а не демо.

Чим прототип відрізняється від продакшену

Прототип і продакшен-RAG
ПитанняПрототипПродакшен
ДаніКілька PDF, завантажених вручнуТисячі документів з Google Drive, Confluence, CRM, бази даних, що постійно змінюються
ДоступУсі бачать усеПошук враховує ролі, відділи й права на кожен документ
ПошукЛише векторна схожістьГібридний пошук, фільтри за метаданими, реранкінг
ВідповідьТекст без джерелВідповідь з цитатами і посиланнями, або чесне «не знаю»
Якість«Начебто працює»Набір тестових питань, метрики, регресійні перевірки перед релізом
ВитратиНе рахуютьсяЛіміти, кешування, вибір моделі під задачу, бюджет на запит

Майже кожен пункт у правій колонці - окрема інженерна задача. Саме вони забирають більшу частину часу, а не виклик LLM.

Дані: інгестія, яка не ламається

Якість RAG на 70% визначається тим, що потрапило в індекс. Тому перша частина роботи - конвеєр завантаження даних. Він забирає документи з джерел замовника через API або вивантаження, розпізнає структуру (заголовки, таблиці, списки), прибирає дублікати і шум, ділить текст на фрагменти з урахуванням змісту, а не за фіксованою кількістю символів.

Кожен фрагмент отримує метадані: джерело, дату, версію, мову, відділ, тип документа і список тих, хто має до нього доступ. Без цього неможливі ні фільтри, ні права, ні відповідь на запитання «звідки це взялося».

Окрема тема - актуальність. Документи змінюються, видаляються, отримують нові версії. Конвеєр має працювати інкрементально: оновлювати лише змінене, видаляти з індексу те, що видалили в джерелі, і зберігати історію версій там, де це важливо, наприклад для договорів.

Права доступу всередині пошуку

Найнебезпечніша помилка в корпоративному RAG - витік через пошук. Якщо фільтрувати права після того, як LLM уже отримала знайдені фрагменти, конфіденційні дані потрапляють у контекст моделі, а звідти можуть потрапити у відповідь. Тому права перевіряються на рівні запиту до індексу: користувач фізично не може отримати фрагмент документа, до якого не має доступу.

На практиці це означає синхронізацію ролей і груп із системи замовника (Google Workspace, Microsoft 365, CRM або власна база користувачів), фільтри за метаданими у векторній базі та логування того, які документи бачив кожен запит. Для частини замовників це вимога аудиту, а не побажання.

Пошук, який знаходить правильне

Чисто векторний пошук погано працює з артикулами, номерами договорів, назвами продуктів і точними термінами. Тому в продакшені я майже завжди використовую гібридний пошук: повнотекстовий (BM25) плюс векторний, з подальшим реранкінгом найкращих кандидатів окремою моделлю. Для складних питань додаю переписування запиту, розбиття на підзапити, а там, де важливі зв’язки між сутностями, графові підходи, про які я писав у статті https://zavada.dev/ua/blog/rag-2-0-and-graph-rag.

Відповідь будується лише з знайдених фрагментів і обов’язково з цитатами. Якщо релевантних фрагментів немає, система не вигадує, а каже, що інформації не знайдено, і за потреби передає питання людині.

Оцінювання і спостережуваність

Без вимірювання будь-яка зміна в RAG - лотерея. Нова модель ембедингів, інший розмір фрагментів чи новий промпт можуть покращити одні відповіді і зламати інші. Тому разом із замовником ми збираємо набір реальних питань з еталонними відповідями і джерелами, і кожна зміна проганяється через нього перед релізом.

Що я вимірюю в RAG-системі
МетрикаЩо показує
Recall пошукуЧи потрапив потрібний документ у топ знайдених фрагментів
Точність цитатЧи справді джерело підтверджує сказане у відповіді
Частка «не знаю»Чи не відмовляється система там, де відповідь є, і чи не вигадує там, де її немає
ЗатримкаЧас до першого токена і повний час відповіді
Вартість запитуСкільки коштує одна відповідь з урахуванням пошуку, реранкінгу і генерації
Відгуки користувачівЯкі відповіді позначили як погані і чому

У продакшені кожен запит трасується: що шукали, що знайшли, що отримала модель, що відповіла і скільки це коштувало. Для цього я використовую Langfuse або аналогічні інструменти, детальніше в статті https://zavada.dev/ua/blog/langfuse-what-it-is-and-how-to-use-it.

Безпека і витрати

Документи - це теж вхідні дані, і в них можуть бути шкідливі інструкції. Тому знайдений текст ніколи не має прав, вищих за права користувача, а дії, які система може виконати (створити заявку, змінити запис), проходять окрему перевірку на сервері. Персональні дані маскуються там, де їх не потрібно передавати моделі.

Щодо витрат: дешеві моделі для класифікації і переписування запиту, сильна модель лише для фінальної відповіді, кешування повторюваних запитів і промптів, ліміти на користувача. Для чутливих даних можлива локальна модель на інфраструктурі замовника.

Як виглядає проєкт

1. Аудит даних і сценаріїв: які джерела, хто користувачі, які питання найчастіші, що вважати правильною відповіддю.

2. Пілот на одному сценарії і одному джерелі даних з набором тестових питань і метриками.

3. Розширення: нові джерела, права доступу, інтеграція в продукт, CRM або месенджер, моніторинг.

4. Супровід: оновлення даних, нові сценарії, контроль якості й витрат.

Вартість такого проєкту залежить від кількості і якості джерел, вимог до доступу і безпеки та інтеграцій, тому я називаю ціну після брифу, разом з письмовим обсягом робіт і етапами.

Висновок

RAG у продакшені - це не «чат з PDF», а система роботи з даними: конвеєр інгестії, права доступу, якісний пошук, перевірювані відповіді, вимірювання і контроль витрат. Саме ця частина визначає, чи буде бізнес довіряти асистенту, чи вимкне його через місяць.

Якщо вам потрібен AI-пошук або асистент по ваших документах, який працює з реальними даними і правами доступу, подивіться, як я працюю з AI-проєктами: https://zavada.dev/ua/ai-solutions. Опишіть задачу у формі заявки, і я повернуся з планом і оцінкою: https://zavada.dev/ua/contacts?service=ai-solutions

Шукаєте розробника надовго?

Можу почати вже зараз і працювати з вами місяцями й роками, а не два тижні. Напишіть мені, обговоримо проєкт, вимоги й наступні кроки.

Запитайте про досвід чи послуги