1. 思齐SEO > SEO优化 > SEO培训

禁止搜索引擎抓取和收录的方法

很多站长在做新站的时候,因为不会配置本地的服务器模拟环境,所以会在服务器上直接搭建网站,但是网站没做好之前就被搜索引擎抓取收录并不太好,所以一直都有人问我,怎么样才能完全禁止搜索引擎的抓取和收录呢?今天就跟大家分享一下解决方案。

禁止搜索引擎抓取和收录的方法(图1)

一、robots.txt只能禁止抓取,无法禁止收录

很多人认为rohots.txt也已禁止百度收录,这是严重的误解,robots.txt文件可以告诉搜索引擎哪些目录和文件可以抓取,哪些不可以。经过实践发现,即使禁止搜索引擎抓取根目录,robots文件也并不能实现禁止百度等搜索引擎收录。如果一个网站的外链较多,基本上无法通过正常手段禁止百度收录,淘宝便是一个典型的案例(淘宝的robots.txt设置为禁止抓取根目录,但首页依然被收录)。

二、通过Nginx判断user_agent禁止百度等搜索引擎访问,实现禁止收录

既然不能直接禁止抓取,那就干脆禁止百度蜘蛛等搜索引擎访问,思路是:判断user_agent,如果是百度蜘蛛、谷歌机器人等搜索引擎的user_agent,就返回403或者404,这样百度等搜索引擎就会认为这个网站无法打开或者不存在,自然也就不会收录了。

Nginx的配置代码如下:


if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot")

        {

                return 403;

        }

通过curl模拟搜索引擎抓取,测试以上代码有效,实现了彻底禁止百度收录!

本文由思齐SEO发布/转载,不代表思齐SEO立场,如有侵权请联系站长删除或下架处理!

本文链接地址:http://www.seohet.com/seopx/877.html

联系我们

在线咨询:点击这里给我发消息

微信号:Seven11117_

工作日:9:30-18:30,节假日休息