Промпт-инжиниринг умер… или нет?
Действительно, нынешние модели (reasoning версии, прежде всего) теперь менее капризны и придирчивы к промптингу, но тем не менее все еще остается множество нюансов, которые следует учитывать при создании/отладке промпта. И часть из них совсем неочевидны.
Мы в CodeAlive постоянно улучшаем наши промпты и какое-то время назад прямо через промпт сделали файлы, на основе которых генерируется ответ кликабельными (LLM просто оборачивает название файла в ссылку). Сделали, написали тест — все ок.
Но через какое-то время мы заметили, что чатик периодически выплёвывает сырые XML-теги прямо в ответ. Пользователь спрашивает про код, а ему в ответе почти рандомно вылетает <repository_links>. Вроде мелочь, но выглядит как баг — надо фиксить.
Короче, как вы уже поняли, проблема оказалась в промпте — мы активно используем технику с XML-тегами для структурирования инпута в LLM, и в некоторых местах, когда нужно сослаться на конкретную секцию писали что-то вроде «в секции <smthng> лежат ссылки на репозитории» — так вот, этот нюанс, что мы ссылались именно через тэг и создавал тот неприятный артефакт в ответе от LLM.
В принципе, починилось это простым выпиливанием скобок (типа «см. секцию repository_links»).
Ну, в общем, чтоб во всех этих техниках, ошибках и мис-юзах не утонуть, я, уже по традиции, соорудил скилл для вашего агента, который умеет как писать новые промпты, так и проводит аудит существующих — техник и ошибок там довольно много всяких с четким описанием юзкейсов, так что в должно быть полезно всем, кто хоть как-то соприкасается с промптингом.
Скилл: https://github.com/CodeAlive-AI/prompt-engineering-skill
Ставится одной командой: npx skills add CodeAlive-AI/prompt-engineering-skill
—
Кстати, про автоматизированную отладку и улучшение промптов (мета-промптинг) я уже рассказывал в своем посте — ведь как бы здорово вы не написали промпт, все равно нужно провести ряд экспериментов конкретно на вашей LLM, чтобы убедиться, что все работает корректно.
Расскажите в комментариях о ваших факапах с промптингом и неочевидными техниками, которые пришлось применить, чтобы достичь желаемого результата.
Добавить комментарий