内容去重机制

去重维度

  1. 标题完全匹配
  2. 标题相似度 > 80%
  3. 正文指纹比对

去重范围

  • 同站点内去重
  • 跨站点去重(可选)

处理方式

  • 跳过重复内容
  • 标记为待处理
  • 合并到原文

相关文档