检查目标

Sitemap 和 Robots 是搜索引擎发现站点的基础。IDCForum 当前已经有公开 Robots 和 Sitemap，后续需要定期检查它们是否可访问、是否包含核心页面、是否误屏蔽重要内容。

一、固定地址

text
Robots：https://www.idcforum.com/robots.txt
Sitemap：https://www.idcforum.com/sitemap.xml

二、Robots 检查

建议确认：

• 是否返回 200
• 是否允许公开页面抓取
• 是否屏蔽 /api/
• 是否屏蔽 /write
• 是否声明 Sitemap
• 是否没有误屏蔽 /help、/zones、/boards、/announcements

当前建议：

text
User-Agent: *
Allow: /
Disallow: /api/
Disallow: /write
Sitemap: /sitemap.xml

三、Sitemap 检查

建议确认：

• 是否返回 200
• Content-Type 是否为 XML
• 首页是否存在
• 四大频道是否存在
• 核心帮助文档是否存在
• 重要公告和帖子是否逐步出现
• URL 是否使用 https://www.idcforum.com

四、提交后检查

搜索平台读取 Sitemap 后，重点看：

• 已发现页面数量
• 已索引页面数量
• 被排除原因
• 抓取异常
• robots 阻止情况
• 404 或软 404

五、什么时候重新提交

• 新增大量频道或长期文档
• 站点结构明显调整
• 域名从未备案变为已备案
• 搜索平台提示 Sitemap 错误
• 大量 URL 状态变化

不要每天频繁提交。保持内容稳定更新，比反复提交更重要。