网站采集器教程：旧笔记在规模化后失效，怎样修订才不误导自己
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b6f81558b3d4.html
📄
网站采集器教程：旧笔记在规模化后失效，怎样修订才不误导自己
先给结论：不要在原笔记上打补丁，而是把失效内容拆成“仍然成立的条件、被规模化推翻的假设、需要重新验证的动作”三层，再按验证结果决定是改写、降级为备注还是删除。下面用一个假设情境把决策过程走完。
假设情境：从三个测试页到三百个页面的落差
假设你曾用网站采集器教程里的方法，在三个结构相似的页面上跑通了抓取，于是写下一条操作笔记：“选择列表容器，提取标题和链接，直接导出即可。”后来你把同一套配置套到三百个页面上，发现部分页面标题为空、部分链接重复、还有页面把导航文字也带了进来。
这时最危险的做法，是立刻在笔记里补一句“遇到空标题就跳过”。因为你还不知道空标题是页面结构不同、加载时机不同，还是选择器本身过宽导致的。补丁会把一个未查清的原因固化成规则，下次换一批页面又会出错。
第一步：先判断失效的是条件还是动作
修订前先做区分。原笔记里通常混着两类内容：一类是前提条件，比如“页面结构一致”“列表项数量少”“无需翻页”；另一类是操作动作，比如“选容器”“取属性”“导出”。规模化后出问题，多数是前提条件不再满足，而不是动作本身写错了。
可以按下面的顺序排查：
- 把出错的页面单独存下来，和当初跑通的样本页面对比，看结构差异出现在哪一层。
- 检查列表项是否被分页、懒加载或折叠隐藏，导致一次抓取拿不全。
- 确认标题为空是选择器没命中，还是命中了一个空节点。
- 确认链接重复是页面本身重复，还是提取规则把同一目标抓了多次。
如果对比后发现，样本页面里标题和链接始终在同一个父节点下，而出错页面把它们拆到了不同层级，那结论就是：“选容器再取子节点”这个动作依赖“标题与链接同层”这个条件，条件不成立时动作失效。这时要改的是条件描述，而不是动作本身。
第二步：把笔记改成带边界的写法
确认原因后，修订的目标不是让笔记更短，而是让它在新页面上也能被正确使用。推荐把一条旧笔记拆成“适用条件 + 动作 + 失效信号”三段。
仍以上面的假设为例，修订后可以写成：
- 适用条件：列表项结构一致，标题与链接位于同一父节点，页面一次性加载完成。
- 动作：定位列表容器，逐项提取标题文本与链接地址，去重后导出。
- 失效信号：出现空标题、导航文字混入或链接重复时，说明条件可能不成立，先回到样本对比，不要直接加过滤规则。
这样改的好处是，下次遇到异常时，你能立刻知道该回到哪一步验证，而不是在一个已经不可靠的规则上继续叠加例外。
第三步：用一次小规模复测决定去留
修订完不要马上全量重跑。先挑十个页面做一次复测，这十个页面里要有当初跑通的样本、出错的页面，以及一批没见过的页面。复测结果决定下一步：
- 如果十页里只有原样本通过，说明条件描述仍然过窄，需要继续补充边界。
- 如果十页里多数通过、少数失败，记录失败页面的共同特征，把它写成新的失效信号。
- 如果十页里失败原因各不相同，说明这套动作本身不适合当前这批页面，应考虑换提取思路，而不是继续修订文字。
复测的动作会直接影响下一步：通过率低时，优先改条件或换方案；通过率高但仍有零星失败时，优先补失效信号，并把失败样本留作回归验证的材料。
第四步：给旧笔记留一份可追溯的记录
修订不是覆盖。建议保留旧版本，并注明它是在什么条件下成立的。这样做的实际价值是：当别人拿你的笔记去用却失败时，你能快速判断是对方的使用场景超出了原条件，还是笔记本身写错了。
可追溯的记录至少包含三项：原笔记写下的场景、这次发现的反例、修订后的适用边界。三项都写清楚，笔记才从“一次性经验”变成“可判断的经验”。如果只保留最新结论，下次再遇到类似异常，你又会重新走一遍排查。
最后提醒一点：规模化后出现例外，不等于原方法错误，也不等于新方法一定更好。它只说明原来的适用条件没有被写出来。修订操作笔记的核心动作，是把隐含条件显式化，再用小规模复测验证这个条件是否稳定。
