Метрики внедрения AI coding инструментов в компаниях
В комментах к одному из прошлых постов спросили про метрики внедрения AI coding инструментов. Решил написать свою точку зрения.
Мерить эффективность работы программистов готовыми метриками — очень сложно. А эффект от внедрения AI coding инструментов — еще сложнее:
1⃣ бизнесу важны деньги — сэкономленные или заработанные. Но связь между кодом и финансовым результатом появляется только через месяцы или годы, поэтому нужно использовать прокси-метрики.
2⃣ нормальных метрик на уровне одного разработчика практически нет. Данные шумные, люди хачат KPI, а сами измерения меняют поведение.
3⃣ популярные показатели вроде LoC, числа коммитов, пулл-реквестов, закрытых задач, субъективных оценок ускорения очень часто не репрезентативны. Также как и количество принятых изменений от AI coding агентов.
4⃣ черри-пикинг отдельных удачных кейсов (например миграция с legacy на новый тех стек) может показывать крутые отдельно взятые бизнес-результаты, но не всегда масштабируется на всю организацию.
Я считаю, что важнее мерить импакт на уровне команды или бизнеса-юнита:
1⃣ time to market для фичей (время от попадания в бэклог до прода);
2⃣ размер и количество заделиверенных изменений (проще если есть стори-пойнты или другой способ оценки размера ченжей);
3⃣ change failure rate (процент релизов с откатом или инцидентом);
4⃣ количество post release багов.
Именно эти 4 метрики в совокупности являются взаимодополняемыми и сбалансированными. Плюс полезно мерить уровень удовлетворенности разработчиков AI тулами (NPS), но это вторичный показатель, влияющий лишь на выбор инструментов.
Добавить комментарий