Cloudflare 与 OpenAI 启动 AI 搜索试点:用全球网络信号优化内容发现与索引
据 IT之家 7 月 8 日消息,互联网基础服务企业 Cloudflare 宣布与 OpenAI 启动一项研究试点项目,双方将探索把 Cloudflare 全球网络中的网站洞察数据用于 AI 搜索场景,帮助 AI 搜索引擎更高效地发现、抓取并索引开放网络上的相关内容。来源显示,这些信号包括内容时效性、流量质量以及页面实际变动等,目标是提升 AI 回答的准确性与时效性。
这项合作的核心并不是简单扩大爬取规模,而是尝试让 AI 搜索从“尽可能多抓取网页”转向“基于网络信号判断哪些内容更值得被抓取和更新”。对于以问答形态呈现信息的 AI 搜索产品而言,索引内容是否新鲜、来源是否可靠、页面是否发生变化,都会直接影响最终回答质量。
Cloudflare 提供网络侧信号,OpenAI 负责模型与搜索验证
Cloudflare 联合创始人兼首席执行官 Matthew Prince 表示,通过共享更精细的网络信号,可以寻找提升 AI 搜索效率的更好方案,帮助用户更快获得高质量答案。来源称,全球超过 20% 的互联网流量由 Cloudflare 全球网络承载,这使其能够从基础设施层面观察到内容变化和流量特征。
在此次试点中,OpenAI 则带来前沿模型、大规模搜索与问答系统,以及真实用户查询数据用于测试。换言之,Cloudflare 侧重提供开放网络运行状态的“观察能力”,OpenAI 则负责在 AI 搜索和问答系统中验证这些信号是否真的能改善检索、索引和答案生成。
从技术路径看,双方研究重点是信号驱动的抓取和索引。传统搜索引擎通常依靠爬虫周期性访问网页,并通过链接结构、站点地图、内容更新频率等方式判断抓取优先级。AI 搜索则面临更复杂的问题:用户提问更自然、更长尾,答案往往需要综合多个来源,因此索引库的更新效率和内容质量控制更重要。
- 内容时效性:帮助判断哪些页面近期可能更值得更新索引。
- 流量质量:辅助识别真实用户关注的内容与异常流量干扰。
- 页面变动:在网页发生实质更新时触发更及时的重新抓取。
- 查询测试:结合 OpenAI 的真实用户查询,评估信号对答案质量的影响。
对 AI 搜索的影响:从“网页抓取”走向“基础设施协同”
AI 搜索的竞争正在从模型能力延伸到信息获取链路。模型能否给出好答案,不只取决于推理能力,也取决于它能否访问到最新、相关且可信的内容。Cloudflare 与 OpenAI 的试点,反映出 AI 搜索厂商正在寻找新的网络内容发现机制:不再完全依赖盲目爬取,而是借助基础设施服务商掌握的实时网络信号提高效率。
这对内容网站和开发者也具有启示意义。未来,网站内容是否容易被 AI 系统发现,可能不仅取决于页面 SEO,还与内容更新频率、页面可访问性、流量质量以及站点对自动化访问的管理策略相关。对于中文科技内容生态而言,AI 搜索若能更及时识别原始报道、产品更新和技术文档,将有助于减少过时信息被反复引用的问题。
不过,来源并未披露该试点的具体上线范围、测试周期或最终产品形态。它更像是一次面向下一代 AI 搜索基础设施的研究合作:Cloudflare 尝试把网络层洞察转化为搜索信号,OpenAI 则验证这些信号能否在真实问答场景中提升效果。
产业趋势:AI 搜索需要新的开放网络规则
随着 AI 助手逐渐成为用户获取信息的入口,开放网络的内容分发方式正在变化。过去网站主要面向搜索引擎结果页获取流量,如今越来越多信息可能被 AI 系统总结后直接呈现。如何在提升用户体验的同时,让内容源被正确发现、更新和归因,正在成为产业需要共同解决的问题。
Cloudflare 与 OpenAI 的合作说明,AI 搜索效率的提升可能离不开网络基础设施、模型厂商和内容生态之间的协同。若试点证明有效,类似的信号驱动索引方式可能成为 AI 搜索的重要技术方向,并推动行业重新定义“高质量内容”在 AI 时代的发现路径。