sitemap.xml 与 robots.txt 怎么写

一句话：robots.txt 控制抓取范围，sitemap.xml 提供页面清单，并在 robots.txt 里用 Sitemap 行声明。两个文件都在域名^释域名云服务器是可按需租用的虚拟计算资源；域名是网站的访问地址；带宽决定单位时间内能传输的数据量。三者构成网站运行的基础资源。根目录。

robots.txt 基本写法

示例如下，含义是允许所有爬虫抓取，但排除后台、搜索页与临时目录，并声明站点地图：

User-agent: *
Disallow: /admin/
Disallow: /search
Disallow: /cart
Allow: /
Sitemap: https://example.com/sitemap.xml

1. 确认路径必须是 https://域名/robots.txt，返回 200 与 text/plain。
2. 写规则Disallow 写路径前缀，注意大小写敏感。
3. 声明 sitemap用完整 URL，不要写相对路径。
4. 验证用搜索资源平台的 robots 测试工具跑一遍。

注意：最危险的一行是 Disallow: /。本意可能是「禁止抓测试环境」，结果上线时忘了删，整站从索引里消失，恢复要几周。上线检查清单里必须有这一项。

sitemap.xml 基本结构

标准格式是一个 urlset，每条包含 loc 与 lastmod，可选 changefreq 与 priority。条目上限 5 万条或 50MB，超过要拆成索引文件。

• 只放返回 200 的公开页面，别放 404、重定向、需要登录的页面。
• lastmod 用真实更新时间，不要每次生成都改成当前时间。
• 内容更新后同步更新 sitemap，不要只加不删。

动态站点怎么生成

用接口^释接口API（Application Programming Interface，应用程序编程接口）是系统之间约定好的调用方式：调用方按约定传入参数，服务方返回结果。它是软件之间协作的接口。或定时任务^释定时任务定时任务是按预设时间自动执行的程序，用于对账、报表、清理、同步等周期性工作；日志是程序运行时产生的记录，用于排查问题、审计与监控。从数据库^释数据库数据库是结构化存储与管理数据的系统。MySQL 是关系型数据库，用表与行组织数据、支持事务；Redis 是键值型内存数据库，常用于缓存、计数与队列。取页面清单，生成 XML 并缓存^释缓存缓存是把访问频繁的数据临时存放在更快的存储介质中，以减少对慢速数据源的访问。常见位置有浏览器、CDN、应用内存、Redis。。文章类站点还应提供 RSS/Atom，部分平台更认 feed。生成后记得在 robots.txt 里声明，并提交到各搜索平台。

资料来源

• RFC 9309：Robots 排除协议。
• sitemaps.org 协议规范：urlset 结构与大小限制。
• 百度搜索资源平台《robots 使用说明》与《sitemap 规范》。