※この記事はアフィリエイト広告を含みます
“别让AI夺走！”Cloudflare提升AI机器人控制，分离代理与学习
发生了什么？新闻概述
- AI机器人三分类定义: Cloudflare引入了一种新的“实用分类法”，将AI流量分为“搜索（Search）”、“代理（Agent）”和“学习（Training）”三种用例。
- 从“一刀切封锁”到精细控制: 不再仅仅选择极端的“全盘拒绝AI机器人”，而是允许有助于引流的搜索，同时拒绝仅仅用于模型数据吸收的学习，从而实现更细致的控制。
- 请求分离爬虫: 强烈呼吁机器人运营者明确区分用于搜索、代理和学习的爬虫，以确保透明性。
为什么这很重要？关注点
- 三十年来原则崩溃: “允许抓取以换取访问（引流）”的网络基本原则因AI的出现而崩溃，网站所有者急需保护其内容的武器。
- 代理的新兴趋势: 将像Gemini和Claude这样的“浏览器使用代理（Agent）”单独定义。这是人类在背后即时处理任务的访问，与单向的学习本质迥异。
- 保护小型网站: 消除AI学习风险和搜索结果缺失风险（失去可发现性）之间的“浮士德契约”，旨在纠正不当的AI优势。
🦈 鲨鱼的眼（策展人的视角）
现在的AI不仅仅是搜索并给出答案，它们还会“贪婪地吞噬”信息，这是个大问题！Cloudflare提出的“代理”分类非常具体且犀利。例如，Gemini或Claude在Chrome上操作进入网站的动作为用户服务，而不仅仅是学习。如果将其与学习机器人同样对待而封锁，可能会损害用户体验。这种根据目的分开爬虫的强硬姿态，正是维护网络生态系统的顶级掠食者！
未来会怎样？
Cloudflare网络上的所有网站将能够“方便地”使用不同的AI机器人。未来，对不遵循这一分类的“身份不明的贪婪爬虫”将被彻底排除的趋势将加速。爬虫方面也将面临选择，要么“返回引流”，要么“支付报酬”来获得网站所有者的许可。
鲨鱼的观点
那些擅自吞噬我们内容却不做任何回报的家伙，应该沉入海底！保护自己的岛屿（网站）是我们这个时代的责任！🦈🔥
术语解释
-
分类法（Taxonomy）: 指将AI机器人根据其目的（搜索、代理、学习）系统性地分类。
-
浏览器使用代理（Browser-use Agent）: AI代替人类直接操作浏览器，获取信息或执行操作的技术。
-
每次抓取付费（Pay-Per-Crawl）: 搜索引擎或AI公司向网站所有者支付费用以获取抓取（信息收集）服务的机制。
