Не понимаю, почему так мало пишут про авторисерч Карпаты
Мне кажется, самое важное направление года. Первые значимые сигналы до меня дошли еще во время ERC3, когда Леша Остриков дал модельке самой оптимизировать промпт напрямую об евалы
А сейчас вот сам Андрей Карпаты выложил рабочий репо, да еще и так, что можно брать и за пол часа переносить на любую предметную область.
Короче, рассказываю, во что у меня превратился AI Engineering сразу в нескольких проектах:
1. Записи разговоров с клиентами вытягиваем из гранолы, складываем в репо в папку calls/. И транскрипты и саммари.
2. Берем у клиента человеческое описание процесса, который автоматизируем и вообще всю релевантную документацию
3. И обязательно, размеченные примеры вход/выход. Это будет наш базовый бенчмарк. Не забываем 20-30% примеров вообще убрать из репо – отложим на чистовое тестирование (см. data leakage)
4. «Claude/GPT, а сходи, посмотри как у Карпаты авторисерч устроен и подготовь наш репо так же, но только под нашу клиентскую задачку (смотри *.md файлы в репо)».
5. «Пока сотку не выбьешь, не возвращайся»
———
Ладно, конечно там все не так просто.
Пока все еще нужно руку держать на пульсе – уж где модельки пока реально слабы, так это в строительстве систем с LLMками под капотом. Но с
— самодельным скелетом решения
— четкими ограничениями «что нельзя трогать»
— structured logs всех промежуточных артефактов прямо в файлы (нужно для анализа проблем агентом)
— минимальным ревью его «гениальных» идей
, решение реально начинает сходиться!
Впервые за долгое время снова испытал вот это ощущение «черт, это сейчас какая-то магия происходит»
Добавить комментарий