七宝SEO七宝SEO七宝SEO

Robots文件是什么,robots文件的作用及写法

  以前刚入行时经常听seo前辈们说起robots文件,当时很懵,robots文件到底是什么?robots文件有什么用呢?相信也有很多的小白跟我有同样的疑惑,所以七宝seo整理了一下关于robots文件的相关内容,以便大家参考。


  什么是robots文件

  Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫扫除规范”(Robots Exclusion Protocol),网站经过Robots协议通知搜索引擎哪些页面能够抓取,哪些页面不能抓取。


  Robots.txt协议文件有什么用?

  搜索引擎访问一个网站的时候,最先访问的文件就是robots.txt。她告诉搜索引擎蜘蛛,哪些网站页面可以被抓取,哪些禁止抓取。表面来看,这个功能作用有限。从搜索引擎优化的角度来看,可以通过屏蔽页面,达到集中权重的作用,这,也是优化人员最为看重的地方。

  正确使用robots文件有助于做好seo优化,robots文件的核心词汇就是allow和disallow用法。百度官网是认可这个文件的,在百度站长平台上也有robots这个栏目,点击进入,就可以看到自己网站robots文件是否编写正确了。

Robots文件是什么,robots文件的作用及写法(图1)

  网站设置robots.txt的几个原因。

  1:设置访问权限保护网站安全。

  2:禁止搜索引擎爬取无效页面,集中权值到主要页面。

  怎么用标准写法书写robots协议?

  有几个概念需掌握。

  User-agent表示定义哪个搜索引擎,如User-agent:Baiduspider,定义百度蜘蛛。

  Disallow表示禁止访问。

  Allow表示运行访问。

  通过以上三个命令,可以组合多种写法,允许哪个搜索引擎访问或禁止哪个页面。


  Robots.txt文件放在那里?

  此文件需放置在网站的根目录,且对字母大小有限制,文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。

  首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!

  针对企业站来说,本身蜘蛛资源不会很多,所以我们更要珍惜蜘蛛的每次爬取,让其都有意义,不要去爬取一些无价值的页面,浪费了蜘蛛资源,从而导致网站迟迟未收录,没排名等情况!

  下面举例列出来:

  1、模板文件(/template/)可以屏蔽;

  2、这个文件/uploads/一般放的是图片,可以屏蔽;

  3、/data/系统数据文件,可以屏蔽;

  4、/img/或/images/,如果你不是做的图片站,也可以屏蔽;

  5、/bin/系统文件可以屏蔽;

  6、/install/安装文件可以屏蔽;

  7、/member/有会员的可以屏蔽;

  8、/logreport/有统计报告的可以屏蔽;

  9、/bjk/有加密的文件,可以屏蔽;

  10、/js/,/css/可以屏蔽,留着是为了让蜘蛛更好地了解网站结构,资源少的情况下,可以屏蔽。

  11、网站地图,sitemap要记得放进去,不要屏蔽,让蜘蛛第一时间去看你的网站地图,更快了解网站链接结构!

Robots文件是什么,robots文件的作用及写法(图2)

  哪些时候需要使用robots协议

  1:无用页面,很多网站都有联系我们,用户协议等页面,这些页面相对于搜索引擎优化来讲,作用不大,此时需要使用Disallow命令禁止这些页面被搜索引擎抓取。

  2:动态页面,企业类型站点屏蔽动态页面,有利于网站安全。且多个网址访问同一页面,会造成权重分散。因此,一般情况下,屏蔽动态页面,保留静态或伪静态页面。

  3:网站后台页面,网站后台也可以归类于无用页面,禁止收录有百益而无一害。

  作为一名合格的SEO人员,我们还是要熟练掌握robots.txt的基本语法,现在站长工具也很方便,直接在线通过选项生成robots文件,再传上根目录即可。


未经允许不得转载:七宝SEO » Robots文件是什么,robots文件的作用及写法