当筛选参数可以任意叠加,有效地址集合不能靠“穷举全部组合”来定义,而应先约定一条可判定的规则:哪些参数会改变页面主体内容,哪些只改变展示方式。前者进入有效集合,后者一律折叠为同一地址。百度收录时间是否稳定,取决于这条规则能否被不同角色用同一份证据核对,而不是取决于提交了多少条地址。
假设一个列表页有排序、每页条数、筛选品牌、筛选价格区间、来源渠道五类参数。排序和每页条数通常只改变同一批内容的位置与数量,不产生新的信息主体;品牌与价格区间会改变返回的商品集合,属于内容分支。来源渠道则要看它是否真的对应不同数据集,而不是同一数据打标签。
两种条件下的选择不同:
判断依据不是参数名称,而是关闭该参数后页面主体是否发生实质变化。若关闭后正文、列表项和标题都相同,它就不该产生新地址。
多个角色对同一事实理解不同,通常是因为各自看的是不同层:开发看请求参数,运营看落地页,SEO看收录结果。解决办法是把争论落到一张登记表上,每行一个参数,字段包括:参数名、取值示例、是否改变主体内容、允许同时出现的参数、对应规范地址、负责人。
实施动作可以这样安排:先由开发导出近一段时间内实际出现过的参数组合及请求量,再由内容负责人标注每组返回的数据是否与默认页不同,最后由SEO把标注结果与已收录地址比对。这个动作的结果决定下一步:如果大量已收录地址落在“不改变主体内容”的行里,优先做收敛;如果落在“改变主体内容”但未登记的行里,优先补规则而不是删地址。
需要提醒的是,请求量归零或抓取量下降不能单独证明收敛正确。它也可能是统计口径变化、日志采样调整或抓取预算临时转移造成的。要结合返回内容比对,而不是只看数量。
规则应能回答三个问题:允许哪些参数、允许几个、顺序是否影响。一个可用的写法是:
这样定义后,有效集合的大小是可计算的,而不是随组合爆炸。可以用一个短例子说明假设的比较方法:假设有四个内容型参数,每个取三种值,若允许任意叠加,组合数是3的4次方;若限制最多两个同时出现,组合数降到按维度两两配对的规模。数字只用于说明限制维度会显著改变集合大小,不代表任何真实站点的实测值。
有些参数看似展示型,实际承载了独立需求,例如时间范围筛选在新闻或价格场景下会返回不同主体。这类参数应单独评估,而不是直接归入展示型。反之,某些内容型参数若取值极多且长尾无检索价值,也可以只保留主分支,其余交给站内搜索。
实施顺序建议从影响面最大的一类开始:先收敛展示型参数,再为内容型参数建立规范地址,最后用站点地图只提交规范后的地址。站点地图不保证收录,它只是提交候选;robots.txt 的抓取限制也不等于可靠的索引移除,已收录地址仍需通过规范信号或移除工具处理,具体支持情况要分别核查。
当规则落地后,用同一份登记表复查:不同角色是否对同一参数给出相同标注,规范地址是否与实际返回内容一致。若仍有分歧,回到“关闭该参数后主体是否变化”这一条上重新判定,而不是继续争论收录时间的长短。