🚀 Открыта регистрация:
Agentic Legal RAG Challenge 2026
Тут мои друзья запилили соревку, даже Дядю уважили и пригласили экспертом. 📦
Поэтому, если вы строите RAG / agentic pipelines (ingestion → retrieval → generation) и вам важны метрики, близкие к реальному продакшену, это соревнование для Вас.
Что именно оценивают:
✅ Answer quality — насколько ответ корректный по сути
✅ Grounding / faithfulness — подтверждён ли ответ конкретными фрагментами из юридических источников (c citations / chunk-level evidence)
✅ Latency / TTFT — скорость, включая time-to-first-token (как быстро система начинает отдавать ответ)
Формат: Online участие / Live leaderboard + финальная проверка на private test set (без возможности “подгонки под паблик”)
Данные: 300+ юридических документов и 1 000+ вопросов
🏆 $32 000 призовой фонд — один из крупнейших в мире в сегменте Legal RAG/Agentic
✈️ ТОП-3 команд поедут в Дубай на Machines Can See во время Dubai AI Week для офлайн награждения
📅 Период соревнования: 11 — 25 марта 2026 (регистрация уже открыта)
👉 Детали и регистрация: www.agentic-challenge.ai
Если у вас команда и уже есть свой стек (embeddings / vector DB / rerankers / LLM / tooling) — отличный шанс сравнить подходы на нормальной постановке и метриках. А ещё Дядя тут поучаствовал в составлении концепции и методологии. 📦😎
Добавить комментарий