EU Data

真是一片混乱。 站受到此问题的影响。在 上快速搜索和会发现索引了近 万个网页（使用此命令通常会得到不可靠的统计数据，但它可以反映出问题的规模）： 站点： 我猜想这些页面大部分都是重复内容，因为网站所有者为其网站设置了单独的 条目。 我检查的前几个网站确实如此： 与相同 与相同 与相同 与相同 与相同 对于 ， 报告称有 个页面已针对 地址编制索引。 索引中有很多重复内容。快速搜索“票房最快突破 亿美元电影”等特定内容，会显示来自两个域名的重复内容（加上一个安全子域名和其中一个服务器的 地址 哎哟！）： 最快突破 亿美元票房的电影 虽然我认为谷歌在过滤大多数关键词的重复项方面会做得很合理，但索引中存在所有这些重复内容以及浪费抓取时间还是相当糟糕的。


对于 （和其他搜索引擎）来说，这样做相当愚蠢。很容易就能发现，真实域名和 子域名解析到同一个 地址，并且页面相同。 他们可以节省大量时间，无需抓取由于 条目重复而导致的 。 解决问题的根源。 作为优秀的 ，我们知道我 波斯尼亚和黑塞哥维那数字数据 们应该尽一切努力确保只有一个域名解析一个网站。目前没有办法阻止 添加公共 条目，因此解决这个问题的一种方法是确保如果使用 子域访问 服务器，则重定向到主域。以下是使用 _ 执行此操作的示例： _ ^*$ $ = 这可以放在 文件或 文件中，基本上说如果请求的主机是 ，那么 重定向所有 到上的等效 。


此修复程序很快阻止了 抓取我们的 子域地址，从而大大减轻了我们服务器的负载，但当我发现问题时，已有数千个页面被编入索引。由于这些页面可能没有造成任何危害，我认为我只需让 找到所有 重定向并从索引中删除这些页面即可。所以我等了又等。一个月后，编入索引的页面数量（根据 命令）完全相同。没有页面从索引中删除。 清理它。 为了帮助 ，我决定使用网站管理员工具提交删除请求。 我暂时删除了 重定向，以便 查看我的网站验证文件（显然它被重定向到我主域上的验证文件），然后重新放回 重定向。我提交了完整的网站删除请求，但请求被拒绝，因为该域没有被 阻止。