📍 WDQWDWQD987AAAAA:216.73.216.243
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e369901528fd.html
📄

关键词指数查询自动导出遗漏分页时怎样检查完整性

检查自动导出完整性的关键不是看总行数，而是看分页边界：先确认导出工具是否把“页”当成固定条数，再核对最后一页是否被截断。小样本时通常没问题，一旦结果跨几十页、排序又随时间变化，遗漏就会集中出现在页边和末页。

先判断你面对的是固定分页还是滚动加载

两种条件下的检查动作完全不同，选错方向会白费时间。

• 固定分页：接口或页面给出页码、每页条数、总条数。此时完整性可以算：预期条数 = 总条数，逐页抓取后去重，比较去重前后数量。
• 滚动或游标加载：没有稳定页码，靠“加载更多”或游标推进。总条数往往不直接给出，只能靠末页特征判断，比如出现“没有更多”提示、返回空数组、游标不再变化。

判断依据是导出日志里有没有可复现的页码参数。如果每页请求都带 page=1,2,3...，按固定分页处理；如果请求里是 cursor=... 或 offset 递增但总数未知，按游标处理。

固定分页的完整性检查动作

假设某次查询显示总条数为 480，每页 50 条，那么预期是 10 页。导出后先看去重前的原始行数：如果正好 480，仍不能直接判定完整，因为排序变化可能让同一行在两页重复、另一行被跳过。

1. 记录导出开始和结束时间，作为后续复查的时间戳。
2. 对结果按唯一标识（如词条本身）去重，比较原始行数与去重后行数。
3. 若去重后少于预期，优先怀疑跨页重复挤掉了其他行；若原始行数就少于预期，优先怀疑末页未抓取或中途请求失败。
4. 单独重抓最后一页，确认其条数与“总数对每页条数取余”的结果一致。

这个动作的结果会直接决定下一步：去重后数量吻合，说明可以进入使用；去重后仍缺，就要回到分页参数而不是继续加大抓取量。

游标加载的完整性检查动作

游标场景没有总条数可对，检查重点转向“是否真的走到了终点”。

• 确认最后一次请求返回的是空结果或明确的结束标志，而不是超时、限流或异常中断。
• 检查相邻两次请求返回的唯一标识是否有重叠，重叠过多说明游标没有正确前进。
• 把导出结果按抓取顺序排列，观察末尾是否出现明显不合理的截断，比如同一前缀的词突然中断。

如果最后一步是异常中断而非正常结束，那么无论行数看起来多整齐，都不能视为完整。此时应记录中断时的游标值，从该点续抓，而不是从头重来。

小样本成立不代表规模化后成立

样本只有两三页时，固定分页和游标加载往往都能一次抓完，看不出差异。规模化后例外集中在三处：

1. 排序不稳定：查询结果按指数或时间排序，抓取期间数据更新，页与页之间发生位移，导致重复和遗漏同时出现。这种遗漏不能靠增加页数解决，只能缩短单次抓取窗口或固定排序快照。
2. 末页边界：总数恰好是每页条数的整数倍时，多抓一页会得到空结果；不是整数倍时，末页条数少于每页条数。把这两种情况混为一谈，容易误判为遗漏。
3. 限流与超时：请求频率高时部分页返回失败，但导出脚本可能跳过失败页继续执行，最终行数只差几行，不逐页核对很难发现。

因此，个别样本通过只能说明脚本能跑通，不能说明分页逻辑正确。需要至少构造一次跨页数超过十页的测试，专门观察页边和末页。

一个可复用的核对清单

每次自动导出后，按以下顺序核对，任何一步不通过都先停下：

• 导出日志是否记录了每一页或每一次游标请求的返回状态。
• 原始行数、去重后行数、预期行数三者是否一致（游标场景可省略预期行数）。
• 末页是否以正常结束标志收尾，而非异常中断。
• 是否存在跨页重复的唯一标识，重复数量是否异常。
• 抓取时间窗口内数据是否可能发生更新，是否需要固定排序或快照。

只有这些条件都满足，导出结果才适合进入下一步分析；否则应先修复分页或抓取逻辑，再重新导出，而不是对不完整的数据做二次加工。