Главная жалоба на чат-ботов всегда одна: «он меня не помнит». Своей памяти у LLM нет, и всё, что она якобы помнит, кладём в контекст мы сами. Рассказываю, как устроена память ассистента в проде на 16 тысячах раундов: файлы, PostgreSQL с pgvector, судья на дешёвой модели, выжимки, политика доступа…
Пять слоёв памяти ИИ-ассистента: что реально работает в проде, а что осталось в библиотеке
Это краткое изложение. Полный текст материала доступен на сайте источника.