您好!欢迎进入广东华商网络科技有限公司

15年 360彩票网网络营销推广经验 专门为您提供全方位服务!

在线客服
服务热线
0769-22039555
138-2729-8991

业务咨询微信
返回顶部
首页 > 优化推广知识 > 详细内容

网络优化需要懂得的方法

2019-12-18

  robots协议书是正确引导蛛蛛抓取网站地形图,也用于保护网站信息和比较活络信息内容,确保客户私家信息和隐私保护不被危害。存有于网站根目录正,以文件格局存有,留心robots文件夹称号不可以随意改动。

  SEO高手为什么要懂robots?

  书写::表达关于某一爬虫,

  :表达阻止抓取

  :容许抓取

  .*通配符,表达全部

  .$结束符,表达以哪些结束

  /根域下就是指网站根目录

  注:灶具闪现英文情况下的,并且后边有一个空格符,首写有必要小写。

  例:

  1、User-agent:*Disallow:/关于全部爬虫阻止抓取根目录下的全部联接

      2、User-agent:BaiduspiderDisallow:/阻止百度爬虫抓取网站全部联接

     3、User-agent:*Disallow:/a/关于全部的爬虫阻止抓取网站根目录下的a目录

     4、User-agent:*Disallow:/a关于全部的爬虫阻止抓取网站根目录下为“a”初步的文档

    5、User-agent:*Disallow:/*?*(?表达动态性符)阻止抓取网站根目录下带?号的动态性联接

    6、User-agent:*Disallow:/*.js$阻止抓取网站根目录下边以.js结束的文档

   7、User-agent:*Disallow:/a/Allow:/a/b/阻止抓取网站根目录下边“a”,容许抓取“a”目录下边的“b”目录。

 8、User-agent:*Disallow:/a/Allow:/a/b阻止抓取网站根目录下边“a”目录,容许抓取“a”目录中以“b”初步的文档。


分享到:QQ空间新浪微博腾讯微博人人网微信