蜘蛛黑名单管理

功能说明

控制哪些蜘蛛可以/不可以访问站点。

默认允许

  • Googlebot
  • Baiduspider
  • Bingbot
  • 360Spider

屏蔽恶意爬虫

添加User-Agent关键词到黑名单。

robots.txt

系统自动生成robots.txt,可在SEO设置中编辑。

相关文档