当前位置:首页 > 网站建设

详细的robots.txt学习方法

时间:2018-02-01 17:02:00来源:网站建设作者:seo实验室小编阅读:91次「手机版」
 

robots.txt

关于这个robots.txt正确的写法,蛋疼博客-老林参考了很多作者的写法、还有百度的文献,发现有的作者解释或者写法太过简单,造成新手不易理解,当然蛋疼博客-老林也不敢保证百分百解释得让你很明白。

robots.txt是以什么形式存在?robots.txt就是一份网站搜索引擎双方签订的规则协议书。每一个搜索引擎的蜘蛛访问一个站点时,它首先爬行来检查该站点根目录下是否存在robots.txt。如果存在,蜘蛛就会按照该协议书上的规则来确定自己的访问范围;如果没有robots.txt,那么蜘蛛就会沿着链接抓取。

请牢牢记住:robots.txt必须放置在站点的根目录下,而且文件名必须全部小写。Disallow后面的冒号必须为英文状态的。

我们先来理解User-agent和Disallow的定义。

● User-agent:该项用于描述搜索引擎蜘蛛的名字。(1)规定所有蜘蛛:User-agent:*;(2)规定某一个蜘蛛:User-agent:BaiduSpider。

● Disallow:该项用于描述不希望被抓取和索引的一个URL,这个URL可以是一条完整的路径。这有几种不同定义和写法:(1)Disallow:/AAA.net,任何以域名+Disallow描述的内容开头的URL均不会被蜘蛛访问,也就是说以AAA.net目录内的文件均不会被蜘蛛访问;(2)Disallow:/AAA.net/则允许robots抓取和索引AAA.net/index.html,而不能抓取和索引AAA.net/admin.html;(3)如果Disallow记录为空,说明该网站的所有部分都允许被访问。在robots.txt文件中,至少应有Disallow记录,如果robots.txt为空文件,则对所有的搜索引擎robot来说,该网站都是开放的。

1、国内建站需要用到的常见搜索引擎robot的名称。

有时候我们觉得网站访问量(IP)不多,但是网站流量为什么耗的快?有很多的原因是垃圾(没有)蜘蛛爬行和抓取消耗的。而网站要屏蔽哪个搜索引擎或只让哪个搜索引擎收录的话,首先要知道每个搜索引擎robot的名称。

2、robots.txt文件基本常用写法:

首先,你先建一个空白文本文档(记事本),然后命名为:robots.txt。

(1)禁止所有搜索引擎访问网站的任何部分。

User-agent: *

Disallow: /

(2)允许所有的robots访问,无任何限制。

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

还可以建立一个空文件robots.txt或者不建立robots.txt。

(3)仅禁止某个搜索引擎的访问(例如:百度baiduspider

User-agent: BaiduSpider

Disallow:/

(4)允许某个搜索引擎的访问(还是百度)

User-agent: BaiduSpider

Disallow:

User-agent: *

Disallow: /

这里需要注意,如果你还需要允许谷歌bot,那么也是在“User-agent: *”前面加上,而不是在“User-agent: *”后面。

(5)禁止Spider访问特定目录和特定文件(图片、压缩文件)。

User-agent: *

Disallow: /AAA.net/

Disallow: /admin/

Disallow: .jpg$

Disallow: .rar$

这样写之后,所有搜索引擎都不会访问这2个目录。需要注意的是对每一个目录必须分开说明,而不要写出“Disallow:/AAA.net/ /admin/”。

相关阅读

详细分析网络营销的现状是怎样的

  现如今,我国网络营销得到了迅猛发展,但是与发达国家相比,我国网络营销发展的水平还是比较低的,你想知道原因是什么吗?主要还是在

广州专业的网络推广公司,可以更详细了解企业的信息

  广州专业的网络推广公司,可以更详细了解企业的信息。现如今,网络正在蓬勃发展,中小企业单纯按照线下模式变得有点困难,所以应该把

社群运营:一切不做详细规划的社群运营都是耍流氓!

这是一篇梳理你社群运营工作的大纲。最近在很多地方都能听到“社群”这一词,似乎一提到“社群”这个词似乎就逼格满满。前几天在火

详细还原:1个半月 从日销2单做到日销40W—不废话 只说

为何写这篇文章 我知道大部分人对淘宝迷茫 没思路 一直在走弯路 店铺一直做不起来 在踩坑 踩完一个坑又一个坑.关于本文 主要是思

淘猫流量 2017年福利汇总五种搜索玩法详细步骤奉上|淘

2017年圆满结束,这一年挣了,赔了,成功了,失败了。都无所谓,明年就是继续干!2017年出现了很多玩法,从年初更新到年底,黑搜,红搜,黑车等等层出

分享到:

栏目导航

推荐阅读

热门阅读