网址收录工具：源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /40139a79e7c0.html
📄
网址收录工具：源站正常而边缘节点异常时应保留哪些证据
先给结论：当网址收录工具在源站返回正常、但边缘节点返回异常时，你要保留的不是“收录结果”本身，而是能证明“同一 URL 在不同网络路径下表现不一致”的对照证据。核心是三组：源站直连响应、边缘节点响应、以及请求的时间与网络路径标记。只有这三组同时存在，才能让后续判断站得住脚。
两种条件决定你保留证据的取舍
并非所有边缘异常都值得完整留证。先判断属于哪一种条件，再决定留多少。
条件一：异常只在边缘出现，源站完全正常
这种情况下，证据的重点是“对照”。你需要同时保存源站直连的响应和边缘节点的响应，让两者形成可比较的差异。如果只留边缘异常截图，别人无法排除源站本身也出了问题。
条件二：源站和边缘都异常，但表现不同
这种情况下，重点转向“区分”。你要证明两类异常不是同一个原因，否则会被当成单一故障处理。此时时间戳和请求头比响应体更重要。
选择依据很简单：如果异常会影响收录工具对页面的抓取判断，就按条件一完整留证；如果异常只影响部分用户访问、不影响抓取，可以按条件二保留最小对照集。
必须保留的三类证据及具体动作
以下动作按顺序执行，每一步的结果都会影响下一步该保留什么。
- 源站直连响应：绕过边缘节点，直接请求源站。保存完整的 HTTP 状态行、响应头和响应体前若干字节。动作结果是确认源站是否真的正常。
- 边缘节点响应：通过正常访问路径请求同一 URL。保存同样的字段。动作结果是拿到可对照的异常样本。
- 请求标记：记录请求时间（精确到秒）、请求使用的 IP 或节点标识、请求头中的 Host 和 User-Agent。动作结果是让两份响应可以对齐到同一次请求条件。
如果源站直连正常、边缘异常，且两者响应体差异明显，那么下一步应该优先检查边缘节点的缓存和回源配置，而不是去改源站内容。反过来，如果源站直连也异常，那边缘只是放大了问题，处理顺序要反过来。
一个假设例子说明对照怎么用
假设某页面在源站直连时返回 200 并带有完整正文，通过边缘节点请求时返回 200 但正文被替换成一段错误提示。此时保留两份响应体，并标注请求时间相差几秒。这个对照能说明：源站内容存在，边缘返回了不同内容。下一步应检查边缘是否缓存了旧版本或错误版本，而不是重新提交收录。这个例子是假设的，用于说明对照方法，不代表任何真实站点。
哪些证据不必留，哪些必须留
不必留的：与本次异常无关的历史快照、没有时间标记的截图、只显示“收录 0”或“收录下降”的结果页。这些无法说明原因。
必须留的：能证明“同一 URL、同一时间窗、不同网络路径”下响应不一致的原始记录。如果缺少网络路径标记，两份响应就无法被认定为对照。
例外情况：如果边缘异常只持续极短时间且无法复现，优先保留请求日志和监控告警记录，而不是反复抓取。反复抓取可能改变边缘缓存状态，反而破坏证据。
留证之后怎么影响下一步
证据齐全后，下一步动作取决于对照结果：源站正常、边缘异常且可复现，就修边缘；源站和边缘都异常，就修源站；两者都正常但收录工具仍显示异常，则要检查收录工具自身的抓取路径和频率，而不是继续改站点。robots.txt 的抓取限制不等于可靠的索引移除，站点地图也不保证收录，这些都不能替代上面的对照证据。不同搜索引擎对边缘异常的处理方式需要分别核查，不能用一个引擎的表现推断另一个。
把证据按“源站直连、边缘节点、请求标记”三栏整理成一份可复查的记录，是让后续判断不被反复推翻的最实际做法。
