Cloudflare запустили Markdown for Agents — и тут есть что обсудить.
Помните мой разбор LLMs.txt? Тогда я сделал рисерч и пришел к выводу, что идея скорее мертворожденная: 0.3% адаптация среди топ-100к сайтов, ни один крупный провайдер официально не поддерживает. Собственно, так и вышло: cейчас почти никто не делает LLMs.txt.
А вот тут совсем недавно Cloudflare зашли с другой стороны: релизнув Markdown for agents — когда AI-агент отправляет запрос с заголовком Accept: text/markdown, Cloudflare на лету конвертирует HTML в чистый MD. Плюс в ответе будет приходить заголовок x-markdown-tokens с оценкой токенов. Агент может заранее понять, влезет ли страница в контекстное окно, до того как ее обработает. По сути это context window management на уровне HTTP.
Кстати, Claude Code и OpenCode уже отправляют Accept: text/markdown — они буквально просили об этом, просто никто не слушал.
Контекст шире, чем кажется. Cloudflare за полтора года развернулись на 180 градусов. Июль 2024 — дали кнопку «блокировать AI-краулеров одним кликом». Июль 2025 — все новые домены блокируют AI по умолчанию, 416 миллиардов заблокированных запросов. И вот февраль 2026 — запускают Markdown for Agents и приглашают тех же агентов обратно.
Девелоперское комьюнити принимает с энтузиазмом, предложили воркэраунд для бесплатных планов, появились Spatie-пакет для Laravel, плагин для Caddy, WordPress-плагин от создателя Yoast.
SEO-шникам же идея не очень зашла. Джон Мюллер из Google прямо назвал идею «stupid». Некоторые предупреждают о «shadow web» — сайты могут вставлять скрытые инструкции в markdown-версию.
Меня лично бесит, когда Claude Code не может получить ответ с какого-то сайта, потому что тот решил блокировать AI-агентов. Особенно этим грешит OpenAI. Я понимаю владельцев сайтов — никому не хочется оплачивать трафик ботов, которые выкачивают контент. Но универсального решения пока нет, и от этого страдают все.
Идея Cloudflare мне нравится больше, чем LLMs.txt да и Cloudflare настолько большой провайдер (~20% веба), что может задать тренд, если эксперимент получится удачным. Если Vercel и Fastly, Netlify и др. подхватят — получим де-факто стандарт. Но проблема, что этот же заголовок становится маркером «я AI-агент», что упрощает и блокировку.
А вы как думаете — это шаг в правильном направлении или наоборот нужно оставить веб таким, каким его видят люди и не пытаться его подогнать под требования агентов?
Добавить комментарий