蜘蛛识别与流量分流
蜘蛛识别是Agent节点的核心功能之一,通过RDNS反向DNS验证和行为分析,精准识别真实搜索引擎蜘蛛,结合流量分流技术,保护原创内容不被采集,同时不影响SEO收录。
为什么需要蜘蛛识别?
面临的问题
- 内容采集:采集器伪装成搜索引擎蜘蛛,批量抓取网站内容
- 镜像站点:内容被恶意镜像,影响原创站点排名
- 流量浪费:大量爬虫请求占用服务器资源
- 安全风险:恶意爬虫扫描网站漏洞
传统方案的问题
- UA判断:UA可以随便伪造,完全不可靠
- IP封禁:容易误封真正的蜘蛛,影响收录
- robots.txt:君子协定,恶意爬虫根本不遵守
智站CMS的方案
双层验证机制
第一层:RDNS反向DNS验证 — 获取访问者IP,反向解析IP的域名(PTR记录),再正向解析域名为IP验证是否匹配,只有匹配的才是真正的搜索引擎蜘蛛。
支持的搜索引擎:百度蜘蛛、谷歌蜘蛛、必应蜘蛛、搜狗蜘蛛、360蜘蛛、头条/字节蜘蛛等。
第二层:行为分析 — 对未通过RDNS验证的访问者,分析其行为模式:访问间隔是否均匀(机器人通常间隔固定)、是否访问robots.txt、User-Agent是否一致、点击路径是否合理。
缓存机制 — 已验证的IP加入白名单缓存(24小时),确认不是蜘蛛的IP加入黑名单缓存(1小时),避免每次请求都做DNS查询不影响正常访问速度。
关键:RDNS查询是异步执行的,不会阻塞用户访问,真蜘蛛抓取不受影响。
流量分流
什么是流量分流 — 流量分流是指根据访问者类型,展示不同的内容或执行不同的跳转策略。
分流策略
真实蜘蛛访问 — 展示完整的原创内容,确保内容被正常收录,享受正常的SEO效果。
普通用户/采集器访问 — 根据配置执行不同策略:
- 展示完整内容(默认):和蜘蛛看到的一样,适合普通企业站
- 跳转落地页:跳转到指定页面(如首页、产品页),适合做流量变现的站群
- 展示简化内容:只显示部分内容或摘要,引导用户点击跳转,防采集效果好
分流实现方式 — Agent通过Nginx层的JS注入实现分流:不影响蜘蛛抓取(蜘蛛不执行JS),用户浏览器打开时执行JS判断,秒级跳转用户几乎无感知。
配置方法
全局配置 — 进入「系统设置」→「蜘蛛与分流」,全局开关(启用蜘蛛识别、启用流量分流),设置默认分流策略,设置默认跳转目标。
站点级配置 — 每个站点可以单独配置:进入站点设置,找到「蜘蛛与分流」选项,选择分流策略(跟随全局、展示完整内容、跳转到指定URL、展示简化内容),保存设置。
白名单与黑名单
IP白名单 — 确认是搜索引擎蜘蛛的IP自动加入,有效期24小时,自动续期(每次访问刷新)。
IP黑名单 — 确认是恶意爬虫的IP加入,有效期1小时,到期后自动释放避免误封。
手动添加 — 你也可以手动添加IP到白名单或黑名单:进入「Agent管理」→「蜘蛛IP管理」,手动添加IP,设置类型(白名单/黑名单),设置有效期。
蜘蛛日志
查看蜘蛛访问 — 进入「数据统计」→「蜘蛛日志」,可以查看:蜘蛛类型(百度/谷歌/必应等)、访问时间、访问的URL、访问状态码、IP地址。
统计分析 — 各搜索引擎蜘蛛访问量趋势、抓取页面数量统计、热门抓取页面、抓取频率分析。
效果评估
收录提升 — 确保蜘蛛能顺利抓取内容,避免误封蜘蛛导致收录下降,可以通过蜘蛛日志观察抓取情况。
防采集效果 — 采集器无法获取完整内容,镜像站点内容不完整,保护原创内容价值。
注意事项
不要过度依赖 — 蜘蛛识别和分流是辅助手段,不能100%保证。重要内容还是要靠法律手段保护。
定期检查日志 — 关注蜘蛛抓取是否正常,如果发现某搜索引擎蜘蛛抓取异常及时调整,不要把蜘蛛误封了。
合规使用 — 流量分流要符合搜索引擎规则,不要用来做欺骗性跳转,避免被搜索引擎惩罚。
常见问题
RDNS查询会影响访问速度吗 — 不会。RDNS查询是异步的,不阻塞请求。第一次访问时正常返回内容,后台异步验证,验证结果缓存起来供下次使用。
如何确认蜘蛛识别是否正常工作 — 查看蜘蛛日志,如果有百度、谷歌等蜘蛛的记录说明工作正常。也可以用站长工具的抓取诊断来测试。
误杀了真正的蜘蛛怎么办 — 可以把该IP手动加入白名单。同时我们会持续优化蜘蛛IP库,减少误判。
支持哪些搜索引擎 — 目前支持主流的搜索引擎蜘蛛,包括百度、谷歌、必应、搜狗、360、头条等,持续更新中。