很多刚接触SEO的新手，在配置网站日志或调整抓取策略时，常常会被搜索引擎爬虫的User-Agent（用户代理）搞晕。其实只要理解了每个字段的含义，配合百度搜索资源平台的操作，几分钟就能完成基础配置。下面就把最常用的User-Agent清单和对应的应用场景整理出来。
为什么需要关注User-Agent
搜索引擎爬虫访问网站时，会在HTTP请求头中携带User-Agent字符串，告诉服务器“我是谁”。网站通过识别这个字符串，可以决定是否允许爬取、返回什么版本的内容。对于百度而言，正确识别爬虫UA是保障网站收录效率的第一步。
百度系爬虫的核心User-Agent
以下是百度的主要爬虫标识，建议优先配置：
- Baiduspider：PC端网页搜索爬虫，这是最常用的UA。网站若想获得百度收录，必须在robots.txt和服务器层面放行。
- Baiduspider-mobile：移动端网页搜索爬虫。如果你的网站有自适应或移动端版本，这个UA需要单独配置。
- Baiduspider-image：百度图片搜索爬虫。用于抓取图片资源，如果网站有大量原创图片，建议允许其访问图片目录。
- Baiduspider-video：视频搜索爬虫。适用于视频站点或内容含视频的页面。
- Baiduspider-news：新闻搜索爬虫。新闻类网站或内容聚合站需要特别关注。
- Baiduspider-favo：百度收藏爬虫。用于检测用户收藏内容，一般无需特殊处理。
- Baiduspider-cpro：百度联盟相关爬虫。如果你的站点使用了百度联盟广告，这个UA需要放行。
其他常用搜索引擎的User-Agent
虽然标题聚焦百度，但为了全面优化，通常建议同时配置以下主流引擎的UA：
| 搜索引擎 | User-Agent 示例（常见） |
|---|---|
| Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | |
| 搜狗 | Sogou web spider/4.0 |
| 360 | 360Spider |
| 必应 | Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) |
| 神马 | YisouSpider |
注意：上述UA可能会随搜索引擎版本更新而变化，建议定期从各搜索引擎官方文档获取最新列表。
新手容易忽略的3个操作细节
- robots.txt 配置要具体：不要只写一条“Disallow: /”拒绝所有爬虫。建议为不同UA单独设置路径权限。例如百度图片爬虫可以访问图片文件夹，但禁止抓取后台目录。
- 服务器端区分PC和移动端：如果网站PC和移动端使用不同域名（比如www和m），务必在服务器返回时根据UA准确跳转。百度spider会同时携带PC和移动端UA访问，错误跳转可能导致收录异常。
- 验证真实爬虫IP：网络上存在大量伪造UA的恶意爬虫。百度官方会公布爬虫IP段，建议通过反向DNS解析验证：将IP反向解析为*.baidu.com或*.baidu.jp 等域名，确认无误后再放行。不要仅凭UA字符串做权限判断。
一个简单的入门配置思路
对于刚接触优化的新手，建议按照以下顺序操作：
- 第一步：在百度搜索资源平台验证网站所有权。
- 第二步：在服务器或CDN层面开放百度所有已知UA的访问权限，并允许空Referer。
- 第三步：使用百度搜索资源平台提供的“抓取诊断”工具，手动测试爬虫能否正常抓取首页和核心页面。
- 第四步：检查网站日志，确认Baiduspider是否在活跃访问。若无访问记录，优先排查防火墙或CDN配置是否误拦截。
小提示：很多新手一上来就纠结robots.txt的写法，其实只要先保证“允许所有百度UA访问”，然后再逐步精细化调整即可。不要为了追求完美导致网站长期未被收录。
掌握了上述User-Agent清单和基础配置方法，你已经可以独立完成搜索引擎爬虫的入门部署。后续随着经验增长，再逐步学习如何通过UA分析爬虫行为、优化抓取频率，以及配合结构化数据提升展示效果。每一步都基于清晰理解UA的作用，SEO就不会那么神秘了。
周四（8月6日）亚市早盘，现货黄金高位震荡，目前交投于4260美元/盎司附近，涨幅约0.25%。
评论区
热门讨论 · 占位展示期待你的精彩发言。