死链接检测：批量页面只有一部分被发现时怎样划分对照组

📍 WDQWDWQD987AAAAA:216.73.216.188
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /df534c9dbe6d.html
📄

死链接检测：批量页面只有一部分被发现时怎样划分对照组

先给结论：当死链接检测只能覆盖一部分批量页面时，不要按“已发现”和“未发现”直接分组，而要先确定发现机制是否与页面属性相关。如果相关，就按同一批次的页面模板、URL 结构和上线时间做配对分组；如果不相关，才可以用随机抽样做对照。缺少完整数据或权限时，最小可执行动作是：从已知被发现的页面中，按可观测特征各选一小组，再用相同特征去找未被发现的页面，比较两组的链接状态差异。

先判断发现机制是否与页面属性相关

批量页面只有一部分被发现，通常来自三种情况：站点地图只提交了一部分、内链只覆盖了部分模板、抓取预算被高价值页面占用。这三种情况对对照组的要求不同。

判断依据不是猜测，而是可观测证据：把已发现页面的 URL 路径、模板类型、入链数量、最后修改时间列出来，再看未发现页面在这些维度上是否明显不同。如果差异集中在一个维度，就按这个维度配对；如果多个维度都不同，优先按模板配对，因为模板通常决定链接结构和内容更新方式。

条件一：有站点地图或内链数据时，按模板配对

假设你能拿到站点地图里已提交的 URL 列表，也能从页面 HTML 中提取内链。此时不要直接比较“站点地图里的页面”和“不在站点地图里的页面”，因为这两组可能连模板都不同。

  1. 从已发现的页面中，按模板各选 5 到 10 个，记录它们的死链接数量、外链数量、最后修改时间。
  2. 在同一模板下，从未被发现的页面中选同样数量，尽量让 URL 深度、参数数量、上线时间接近。
  3. 对两组分别做死链接检测，比较的是“同一模板下发现与未发现的差异”，而不是“全站已发现与未发现的差异”。

这样做的结果是：如果两组死链接比例接近，说明发现与否和死链接状态无关，下一步可以把检测重点放在扩大发现范围，而不是修复链接。如果未发现组的死链接明显更多，说明这些页面可能因为链接失效而更难被爬到，下一步应优先修复未发现组中的死链接，再观察发现量是否变化。注意，这只是相关性，不能直接推出“修复死链接就会带来收录”。

条件二：没有站点地图和内链数据时，用 URL 特征做最小对照

缺少完整数据或权限时，仍然可以执行最小动作：只利用 URL 本身和页面可访问性。把批量页面按 URL 路径长度、是否带参数、目录层级分成若干层，然后在每一层里各取已发现和未发现页面做对照。

例如，假设某批页面共 200 个，其中 40 个能被站内搜索或导航发现，160 个不能。你可以从 40 个中按“带参数/不带参数”各选 5 个，再从 160 个中按同样条件各选 5 个，分别检测死链接。这个例子只说明分组方法，不代表真实站点数据。

这个动作的结果会影响下一步：如果带参数的未发现页面死链接集中，而带参数的已发现页面没有，那么优先检查参数处理规则；如果不带参数的未发现页面也有大量死链接，则问题可能不在参数，而在更基础的链接维护。此时不能推出的结论是：不能因为未发现组死链接多，就认定死链接是唯一原因，因为抓取限制、内容质量、重复页面都可能同时存在。

例外：robots.txt 限制和站点地图不能当作分组依据

有一种常见误判：把 robots.txt 禁止抓取的页面和允许抓取的页面分成两组，然后比较死链接。这样做没有意义，因为 robots.txt 的抓取限制不等于可靠的索引移除，被禁止抓取的页面可能仍然出现在其他来源的链接中。站点地图也不保证收录，所以“已提交到站点地图”不能直接当作“已发现”的可靠代理。

如果必须用站点地图，只能把它当作发现来源之一，而不是分组标签。更稳妥的做法是：把站点地图中的 URL 和实际有内链指向的 URL 分开记录，分别与未发现组对照。这样即使站点地图不完整，也能看出内链覆盖是否和死链接状态相关。

实施时先固定一个变量，再决定是否扩大检测

无论选哪种条件，第一步都是固定一个变量：要么固定模板，要么固定 URL 深度，要么固定参数形态。固定之后，两组之间只保留“发现与否”这一个差异。检测完一组后，不要立刻全站铺开，而是先看这一组的死链接类型是否集中。如果集中在一类链接，例如分页链接或筛选参数，下一步就针对该类链接做小范围修复试验；如果分散，说明需要先补齐发现数据，而不是继续扩大死链接检测范围。

最后要记住：请求量、抓取量或某个链接状态统计归零，不能单独证明分组正确或修复有效。它们可能来自抓取波动、缓存、权限变化或检测工具本身的限制。只有把分组条件、检测动作和后续发现变化放在一起比较，才能判断下一步该扩大检测还是先修复链接。

图1 图2
nginx