关于 CXGN-Bot 爬虫

主要用途

CXGN-Bot 是 AI创作导航（cxgn.cn）用于分析和收录AI工具网站的官方爬虫，主要用途包括：

• 抓取AI工具网站的公开信息
• 分析工具功能、特点、定价等信息
• 用于生成和更新本站的工具信息介绍
• 新收录或更新已收录工具的最新信息

所有信息仅用于帮助创作者更好地了解和选择AI工具。

行为特点

CXGN-Bot 被设计为对目标网站友好的爬虫：

为什么需要爬虫？

AI创作导航（cxgn.cn）致力于为创作者提供准确、全面的AI工具信息。为了确保信息的最新性和准确性，我们需要定期更新收录工具的信息。CXGN-Bot就是我们为此目的开发的专用爬虫。

与传统爬虫不同，CXGN-Bot：

• 目标明确：只针对AI工具类网站
• 用途透明：所有抓取信息仅用于生成工具介绍
• 行为克制：最大程度减少对目标网站的影响
• 合规标识：使用标准的爬虫标识格式

数据使用原则

我们严格遵守以下数据使用原则：

• 公开信息：只抓取网站公开可访问的内容
• 合理使用：信息仅用于生成工具介绍文章
• 不商业化：不会出售或不当使用抓取数据
• 准确性：确保生成的内容客观准确
• 引用来源：所有内容都会标注来源网站
• 尊重隐私：不收集个人隐私信息

如何识别我们的爬虫

在您的服务器日志中，CXGN-Bot 的访问记录通常包含以下特征：

• User-Agent包含 "CXGN-Bot/1.5" 标识
• Referer通常为 https://cxgn.cn/
• 自定义头部：X-Crawler-Info: CXGN-Bot v1.5
• 请求频率很低，通常为单次访问
• 只访问网站首页，不访问深层链接
• 不包含From邮箱字段，避免在访问日志中显示邮箱信息

如果您不希望被爬取

我们充分尊重网站所有者的选择。如果您不希望CXGN-Bot访问您的网站，可以：

User-agent: CXGN-Bot
Disallow: /