大连做网站
首页 > 常见问题 > 新浪博客更新robot文件,新浪博客又可以成为外链宝地了

新浪博客更新robot文件,新浪博客又可以成为外链宝地了

2016-12-21

  前几日网上讨论多的话题就是新浪博客屏蔽了百度蜘蛛的爬行,以后我们做网站优化要如何来做

  User-agent: Baiduspider

  #限制不能搜索的目录,Disallow: 为空时开放所有目录####

  Disallow: /admin/

  Disallow: /include/

  Disallow: /html/

  Disallow: /queue/

  Disallow: /config/

  #开放.com的搜索引擎的User-Agent代码

  User-agent: msnbot

  #限制不能搜索的目录,Disallow: 为空时开放所有目录####

  Disallow: /admin/

  Disallow: /include/

  Disallow: /html/

  Disallow: /queue/

  Disallow: /config/

  User-agent: bing

  #限制不能搜索的目录,Disallow: 为空时开放所有目录####

  Disallow: /admin/

  Disallow: /include/

  Disallow: /html/

  Disallow: /queue/

  Disallow: /config/

  #限制的搜索引擎的User-Agent代码,*表示所有###########

  User-agent: *

  #临时限制对所有目录的禁止抓取

  Disallow: /

  #限制不能搜索的目录,Disallow: 为空时开放所有目录####

  ##Disallow: /admin/

  ##Disallow: /include/

  ##Disallow: /html/

  ##Disallow: /queue/

  ##Disallow: /config/

  #开放搜索的目录有####################################

  # /

  # /advice/

  # /help/

  # /lm/

  # /main/

  # /myblog/

  可以看出新修改的robots.txt文件中的写法已经完全支持各类主流搜索引擎抓取博客内容,一个开放的新浪博客又回来了!

  昨为一个站长,我们现在又可以在新浪博客上写一些自己文章,发外链了。对站长朋友也说也是一件很好的事情。