· · 内容维护：凯乐丰
新产品页已经进入导航，销售也开始转发，网站运营一周后检查却发现页面仍带着noindex。原因不是搜索系统没来抓，而是开发时从预览模板复制了索引指令，发布动作只替换正文，没有切换页面状态。另一边，站内搜索结果和表单完成页又被放进sitemap。判断哪些页面应收录，不能靠文件名或一句经验，要把页面用途、HTTP状态和发布阶段放在同一张控制表里。
按页面用途决定是否允许索引
正式产品页、分类页、技术资料说明和具备独立答案的文章，满足内容完整、返回200且有自引用canonical时，通常应允许索引。后台预览、测试页面、内部筛选组合、登录后内容、空搜索结果及真实的表单完成页，不承担公开搜索入口，可以使用noindex或访问控制。这里说的是实际功能页，不是解释这些业务问题的公开文章。
404和410页面要先返回正确HTTP状态，不能继续返回200再靠noindex补救。已删除产品若存在明确替代型号，应一跳301到最相关页面；没有替代内容时返回404或410，并提供客户可用的导航。空白详情页返回200会形成软404，处理方式可参考产品下架后的状态码与替代路径。测试环境则应使用身份验证或网络限制，robots.txt不是保密措施。
同时检查HTML、响应头和站点信号
页面源码没有noindex，不代表响应结果允许收录。服务器、CDN或安全插件可能通过X-Robots-Tag响应头再次下发noindex，而且响应头会影响搜索系统的最终判断。排查时应保存最终URL、状态码、meta robots、X-Robots-Tag、canonical和重定向链，具体方法可结合响应头noindex检查。只在浏览器开发者工具里搜索源码，容易漏掉这一层。
sitemap应只放规范、可索引且返回200的URL。一个页面既写noindex又进入sitemap，会同时发出“不要索引”和“这是重要规范页”两种信号。canonical也不能用来替代noindex：重复页需要合并时指向规范地址，明确不希望进入搜索的功能页才使用noindex。站点地图文件的类型和响应检查可参考sitemap响应格式核对。
把索引状态写进发布与变更流程
页面控制表至少记录URL、页面类型、发布状态、预期HTTP状态、预期robots、canonical、是否进入sitemap、负责人和复核日期。产品ID为P-0247的详情页若从草稿转为正式，发布流程要同时完成内容批准、robots切换、canonical生成、主题入口和sitemap加入；任何一步失败，都不应显示“发布完成”。功能页改成公开知识页时，也要重新判断内容是否具备独立价值，不能只移除noindex。
上线验收可以准备几类固定样本：正式产品页应返回200并允许索引，预览页应需要权限，站内搜索零结果页不进入sitemap，已删除且无替代内容的URL返回404或410。再从外部请求一次响应头，避免本机缓存掩盖配置。每次部署只需核对受影响页面和直接链接；模板、服务器规则或CDN配置发生变化时，再扩大到全站扫描。
误伤通常发生在状态切换，而不是写robots标签本身。把页面用途和发布状态设为数据字段，让模板据此输出robots、canonical与sitemap，再保留一份上线后的请求结果，正式页就不会长期带着预览指令。需要屏蔽的页面也能讲清原因，不必在出问题后靠人工逐页猜测。