Cloudflare上线Markdown for Agents 优化AI读取网页内容效率

Cloudflare上线Markdown for Agents 优化AI读取网页内容效率

当地时间2月12日，全球云服务巨头Cloudflare正式推出Markdown for Agents功能，从源头将网页的HTML格式内容转换为更适配AI爬虫与智能体的Markdown格式。这一举措直指当前AI读取网页内容的核心痛点——HTML结构化不足导致Token消耗过高，有望帮助内容方在生成式AI浪潮中抢占内容分发的主动权。

长期以来，网页内容的HTML格式都是为人类用户的浏览体验设计的，包含大量与核心信息无关的冗余元素：样式标签、导航栏、广告模块、互动按钮……这些元素对人类用户来说是浏览体验的一部分，但对AI爬虫和智能体而言，却是读取有效内容的“障碍”。AI要从杂乱的HTML中提取出核心文本，需要处理大量无关代码，直接导致Token消耗量激增。Cloudflare的内部测试数据显示，提取相同篇幅的核心博客内容，HTML格式所需的Token量是Markdown格式的6到8倍，这意味着AI调用成本也会随之攀升数倍。

在生成式AI成为主流信息获取渠道的今天，Token成本的高低直接影响着AI开发者是否愿意将某一网站的内容纳入训练数据集或实时调用范围。对于内容运营方而言，自己的内容能否被AI高效读取、准确理解，决定了其在AI生成的回答、推荐中是否能获得曝光，进而影响流量获取。此前，不少内容方为了让AI更好地抓取内容，要么手动将内容同步为Markdown格式发布，要么开发复杂的结构化数据标记系统，这对技术资源有限的中小网站来说门槛极高。

Markdown for Agents的出现，恰好解决了这一痛点。作为部署在网络边缘的云服务，Cloudflare可以在AI爬虫请求网页内容时，实时将HTML转换为干净的Markdown格式——只保留核心文本、标题层级、列表等结构化信息，自动过滤掉所有冗余的样式与交互元素。整个过程无需内容方做任何代码修改，仅需在Cloudflare控制台开启功能即可，大幅降低了内容AI友好化的技术门槛。