Про стенд для тестов систем памяти AI-агентов.
Когда мне в руки попадает очередное решение для памяти AI-агентов, я радуюсь, как ребёнок собираю с ним стандартный тестовый стенд в docker:
1. База для векторов – Qdrant. Поддерживается большинством фреймворков для организации памяти.
2. База для хранения графов – Neo4j. Один из старейших игроков векторных БД. Также имеет обширную поддержку среди решений.
3. API для LLM. Использую модели через Cerebras. Нравится их скорость. А on-prem-модели позволяют выявить слабые места, которые нивелируют большие SOTA-модели.
4. Embedding-модель. Использую один из эмбеддингов от OpenAI. Почему? Исторически так сложилось.
5. Отображение чата с LLM. Open WebUI. Универсальный фреймворк для работы с чатом, в котором есть всё, что можно от него захотеть.
6. Searxng. Поисковый движок для агента, который поддерживает Open WebUI. Не требует внешних API-ключей. Поднимается как Docker-контейнер и хорошо отрабатывает в рамках тестов.
Это базовая версия стенда, на котором можно провести базовые тесты по записи/извлечению памяти. Можно его расширить инструментами, чтобы протестировать специфические кейсы или узнать больше информации.
Добавить комментарий