AI-агент стає ризикованим, коли текст із документів або вебсторінок може вплинути на дії з привілейованими інструментами. Сприймайте зовнішній контент як недовірений і не дозволяйте йому змінювати політики доступу.
Для кожного інструмента визначте власника, дозволені операції та межі даних. Перевіряйте аргументи й авторизацію на сервері. Для платежів, видалення даних і зміни прав доступу вимагайте підтвердження людини. Не передавайте секрети в промпти.
Тестуйте атаки prompt injection, доступ між клієнтами, помилкові відповіді й нескінченні повтори. Додайте журнал подій, ліміти запитів, бюджетів і викликів, аварійне вимкнення та процедуру відновлення. Безпека — це контроль наслідків, а не лише налаштування моделі.
Дайте наступному продукту того, хто лишається.
Готовий стартувати зараз і лишитись. Довготермінові ретейнери, не злив за два тижні. Напишіть - обговоримо проєкт, вимоги і як рухатись далі.