Вредные советы от LLM или «у вас vibe-coding прохудился».
В моём скромном проекте для анализа видео с помощью мультимодальных моделей есть отдельный модуль, позволяющий получить список актуальных моделей из API перед тем, как их отображать в интерфейсе. Это решение позволяет мне не обновлять проект каждый раз, когда Google или Openrouter выпускает/обновляет/переименовывает модели.
Сегодня был удивлён, когда в одном из проектов на 16 тысяч github-звёзд с 30+ интеграциями с разными LLM-провайдерами обнаружил список доступных моделей, захардкоженный в виде массива строк. И у значительной части этих провайдеров в конфиге висели outdated-модели, уже просто не доступные по API.
Вообще, AI-coding-агенты очень любят привносить в программы хрупкость, добавляя туда:
1. Массивы заранее захардкоженных строк, добавленных туда просто потому что «AI-агент так решил», а пользователь так написал (описав при этом далеко не все возможные случаи).
2. Поиск по вхождению захардкоженной строки. «Чтобы определить, что пользователь задал вопрос, поищем символ вопроса в том, что он нам прислал».
3. Кастомный самописный regex-поиск. Похоже на п.2, но отягощено регулярками.
Ещё веселее, когда агенты пытаются использовать эти паттерны при написании систем AI-агентов. Так можно получить детерминированное поведение LLM совсем не там, где его ожидаете.
Выводы, которые можно сделать из озвученных особенностей:
Если программа может взаимодействовать/интегрироваться с другими системами, позаботьтесь о том, чтобы обновление внешней системы не требовало обязательного обновления вашей кодовой базы. Потому что если таких систем будет 50 штук, все ваши обновления будут посвящены тушению пожаров.
А в пользовательскую инструкцию придётся добавить актуализированную фразу из старого анекдота, которую я вынес в медиа поста.
Добавить комментарий