内容SEO让页面值得排名，技术SEO让搜索引擎“够得着”页面。robots、sitemap、爬虫控制——技术SEO的基础，这篇讲透。
robots.txt
- 作用：告诉爬虫哪些能抓、哪些不能（协议）；
- 位置：网站根目录（/robots.txt）；
- 写法：User-agent（针对谁）、Allow/Disallow（允许/禁止）；
- 注意：别误禁重要页面（检查语法）。
sitemap
作用：告诉爬虫网站的页面清单（加快收录）；格式：XML（标准格式）；内容：URL、更新时间、优先级；提交：搜索引擎资源平台（或robots里声明）；更新：新内容加入sitemap。
爬虫控制
抓取频率：控制爬虫访问频率（服务器压力）；页面处理：noindex（不索引）、nofollow（不跟链接）；canonical：指定规范URL（防重复内容）；状态码：301重定向（旧页面转新）。
技术SEO的检查
工具：搜索资源平台的抓取测试；清单：robots正确、sitemap有效、无死链、无重复内容；日志：服务器日志看爬虫访问（异常排查）；持续：改版后重新检查。
技术SEO的价值
收录效率：爬虫顺畅=页面快速收录；资源效率：爬虫不浪费在无用页面；规避风险：正确配置防惩罚；基础：技术SEO是内容SEO的“地基”。
技术SEO的核心是“与爬虫友好沟通”：robots定规矩、sitemap指路线、canonical防重复。技术到位，搜索引擎的“访问体验”才好。