Robots文件设置

作者:鼎极网络发布日期:2019-11-13浏览次数:16

  robots.txt文件详细解说

  1. 什么是robots.txt文件?

  搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

  请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

  2. robots.txt文件放在哪里?

  robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。


网站 URL

相应的 robots.txt的 URL

http://www.esobao.cn/

http://www.esobao.cn/robots.txt

http://www.esobao.cn:80/

http://www.esobao.cn:80/robots.txt

http://www.esobao.cn:1234/

http://www.esobao.cn:1234/robots.txt

http://esobao.cn/

http://esobao.cn/robots.txt


  3. 我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?

  如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。

  4. 禁止搜索引擎跟踪网页的链接,而只对网页建索引

  如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入网页的<HEAD> 部分:

  <meta name="robots" content="nofollow">

  如果您不想百度追踪某一条特定链接,百度还支持更的控制,请将此标记直接写在某条链接上:

  <a href="signin.php" rel="nofollow">signin</a>

  要允许其他搜索引擎跟踪,但仅防止百度跟踪您网页的链接,请将此元标记置入网页的<HEAD> 部分:

  <meta name="Baiduspider" content="nofollow">

  5. 禁止搜索引擎在搜索结果中显示网页快照,而只对网页建索引

  要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的<HEAD>部分:

  <meta name="robots" content="noarchive">

  要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:

  <meta name="Baiduspider" content="noarchive">

  注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。

  6. 我想禁止百度图片搜索收录某些图片,该如何设置?

  禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现,请参考“robots.txt文件用法举例”中的例10、11、12。

  7. robots.txt文件的格式

  "robots.txt"文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

  "<field>:<optional space><value><optionalspace>"

  在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:

  User-agent:

  该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受 到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效, 在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User- agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

  Disallow:

  该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

  Allow:

  该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头 的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

  使用"*"and"$":

  Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

  "$" 匹配行结束符。

  "*" 匹配0或多个任意字符。

  注:我们会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,我们会对robots中所写的文件和您不想被抓取和收录的目录做匹配,否则robots协议无法生效。

  8. URL匹配举例

Allow或Disallow的值

URL

匹配结果

/tmp

/tmp

yes

/tmp

/tmp.html

yes

/tmp

/tmp/a.html

yes

/tmp

/tmphoho

no




/Hello*

/Hello.html

yes

/He*lo

/Hello,lolo

yes

/Heap*lo

/Hello,lolo

no

html$

/tmpa.html

yes

/a.html$

/a.html

yes

htm$

/a.html

no

  9. robots.txt文件用法举例

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")

User-agent: *
Allow: /

例3. 仅禁止Baiduspider访问您的网站

User-agent: Baiduspider
Disallow: /

例4. 仅允许Baiduspider访问您的网站

User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /

关键词:

鼎极seo是主要从事企业网站建设与网络推广服务以及移动互联网客户端,相关产品开发;
业务范围包括:企业网站策划、网页设计、网站建设、手机/微信站、APP、网络推广、企业邮箱、域名主机,及其它互联网相关产品服务。

联系我们
江苏省徐州市

元素可提供有关页面的元信息(meta-information),比如针对搜索引擎和更新频度的描述和关键词。 标签位于文档的头部,不包含任何内容。 标签的属性定义了与文档相关联的名称/值对。
  定义
  <meta> 元素可提供有关页面的元信息(meta-information),比如针对搜索引擎和更新频度的描述和关键词。
  <meta> 标签位于文档的头部,不包含任何内容。<meta> 标签的属性定义了与文档相关联的名称/值对。
  meta是html语言head区的一个辅助性标签。几乎所有的网页里,我们可以看到类似下面这段的html代码:
  <head>
  <meta http-equiv="content-Type" content="text/html; charset=gb2312" />
  </head>
  也许你认为这些代码可有可无。其实如果你能够用好meta标签,会给你带来意想不到的效果,例如加入关键字会自动被大型搜索网站自动搜集;可以设定页面格式及刷新等等。
  组成
  meta标签共有两个属性,它们分别是http-equiv属性和name属性,不同的属性又有不同的参数值,这些不同的参数值就实现了不同的网页功能。
  name属性
  name属性主要用于描述网页,与之对应的属性值为content,content中的内容主要是便于搜索引擎机器人查找信息和分类信息用的。
  meta标签的name属性语法格式是:<meta name="参数" content="具体的参数值">;。
  其中name属性主要有以下几种参数:
  A、Keywords(关键字)
  说明:keywords用来告诉搜索引擎你网页的关键字是什么。
  举例:<meta name ="keywords" content="science,education,culture,politics,ecnomics,relationships,entertainment,human">
  B、description(网站内容描述)
  说明:description用来告诉搜索引擎你的网站主要内容。
  网站内容描述(description)的设计要点:
  ①网页描述为自然语言而不是罗列关键词(与keywords设计正好相反);
  ②尽可能准确地描述网页的核心内容,通常为网页内容的摘要信息,也就是希望搜索引擎在检索结果中展示的摘要信息;
  ③网页描述中含有有效关键词;
  ④网页描述内容与网页标题内容有高度相关性;
  ⑤网页描述内容与网页主体内容有高度相关性;
  ⑥网页描述的文字不必太多,一般不超过搜索引擎检索结果摘要信息的多字数(通常在100中文字之内,不同搜索引擎略有差异)。
  举例:<meta name="description" content="This page is about the meaning of science,education,culture.">
  C、robots(机器人向导)
  说明:robots用来告诉搜索机器人哪些页面需要索引,哪些页面不需要索引。
  content的参数有all,none,index,noindex,follow,nofollow。默认是all。
  举例:<meta name="robots" content="none">
  D、author(作者)
  说明:标注网页的作者
  http-equiv属性
  http-equiv顾名思义,相当于http的文件头作用,它可以向浏览器传回一些有用的信息,以帮助正确和地显示网页内容,与之对应的属性值为content,content中的内容其实就是各个参数的变量值。
  meta标签的http-equiv属性语法格式是:<meta http-equiv="参数" content="参数变量值"> ;其中http-equiv属性主要有以下几种参数:
  A、Expires(期限)
  说明:可以用于设定网页的到期时间。一旦网页过期,必须到服务器上重新传输。
  用法:<meta http-equiv="expires" content="Fri,12 Jan 2001 18:18:18 GMT">
  注意:必须使用GMT的时间格式。
  B、Pragma(cache模式)
  说明:禁止浏览器从本地计算机的缓存中访问页面内容。
  用法:<meta http-equiv="Pragma" content="no-cache">
  注意:这样设定,访问者将无法脱机浏览。
  C、Refresh(刷新)
  说明:自动刷新并指向新页面。
  用法:<meta http-equiv="Refresh" content="2;URL">;(注意后面的引号,分别在秒数的前面和网址的后面)
  注意:其中的2是指停留2秒钟后自动刷新到URL网址。
  D、Set-Cookie(cookie设定)
  说明:如果网页过期,那么存盘的cookie将被删除。
  用法:<meta http-equiv="Set-Cookie" content="cookievalue=xxx; expires=Friday,12-Jan-2001 18:18:18 GMT; path=/">
  注意:必须使用GMT的时间格式。
  E、Window-target(显示窗口的设定)
  说明:强制页面在当前窗口以独立页面显示。
  用法:<meta http-equiv="Window-target" content="_top">
  注意:用来防止别人在框架里调用自己的页面。
  F、content-Type(显示字符集的设定)
  说明:设定页面使用的字符集。
  用法:<meta http-equiv="content-Type" content="text/html; charset=gb2312">
  G、content-Language(显示语言的设定)
  用法:<meta http-equiv="Content-Language" content="zh-cn" />
  功能
  上面我们介绍了meta标签的一些基本组成,接着我们再来一起看看meta标签的常见功能:
  帮助主页被各大搜索引擎登录
  meta标签的一个很重要的功能就是设置关键字,来帮助你的主页被各大搜索引擎登录,提高网站的访问量。在这个功能中,重要的就是对Keywords和description的设置。因为按照搜索引擎的工作原理,搜索引擎首先派出机器人自动检索页面中的keywords和description,并将其加入到自己的数据库,然后再根据关键词的密度将网站排序。因此,我们必须设置好关键字,来提高页面的搜索点击率。下面我们来举一个例子供大家参考:<meta name="keywords" content="政治,经济,科技,文化,卫生,情感,心灵,娱乐,生活,社会,企业,交通">
  <meta name="description" content="政治,经济,科技,文化,卫生,情感,心灵,娱乐,生活,社会,企业,交通">
  设置好这些关键字后,搜索引擎将会自动把这些关键字添加到数据库中,并根据这些关键字的密度来进行合适的排序。
  定义页面的使用语言
  这是meta标签常见的功能,在制作网页时,我们在纯HTML代码下都会看到它,它起的作用是定义你网页的语言,当浏览者访问你的网页时,浏览器会自动识别并设置网页中的语言,如果你网页设置的是GB码,而浏览者没有安装GB码,这时网页只会呈现浏览者所设置的浏览器默认语言。同样的,如果该网页是英语,那么charset=en。下面就是一个具有代表性的例子:
  <meta http-equiv=″content-Type″ content=″text/html; charset=gb2312″>
  该代码就表示将网页的语言设置成国标码。
  自动刷新并指向新的页面
  如果你想使您的网页在无人控制的情况下,能自动在指定的时间内去访问指定的网页,就可以使用meta标签的自动刷新网页的功能。下面我们来看一段代码:
  〈meta http-equiv=″refresh″ content=″2; URL=
  这段代码可以使当前某一个网页在2秒后自动转到页面中去,这就是meta的刷新作用,在content中,2代表设置的时间(单位为秒),而URL就是在指定的时间后自动连接的网页地址。

 

下面主要介绍(TKD)title keywords description

言归正传,什么是网站标题(Title

网站的标题在代码中是Title tag。我们在浏览一个网站的时候,经常会在浏览器顶端的蓝色显示条看到的信息就是网站标题。而在HTML代码中,网站标题位于头部文件中,在标签之间。举一个简单的例子:SEO教程。其中,“SEO教程就是这个网站的标题。

title标签的重要性

1.title标签是参与匹配排名为重要的要素;

2.title标签的写法有两个极端:

    a.只写网站名或者品牌名以及广告语——有利于树立品牌形象,但不利于关键词的优化,常见于知名网站、门户网站以及一些新站,不做SEO的网站:

    b.只写关键词,目标关键词——有利于关键词匹配,但是不利于树立品牌,一定程度损害了用户体验

c.绝大多数网站title介于两个极端之间。

(二)首页title写法原则

1.一般而言,首页title应该采用网站名称与关键词的组合方式;

2.根据网站自身的情况确定网站名称与关键词的组合方式,网站品名+关键词,关键词+网站品名;

3.title所包含的关键词热度越高越好,总指数不应太低;

4.根据团队实力,网站权重决定关键词的竞争度;

5.长不超过30个汉字,且越短越好;

6.重要关键词放在开头的靠前位置;

7.一般建议用英文“,”号,下划线“_"做分隔符,也可以用“|”。(有排名的关键词,一定在标题里)

(三)写法

1.营销网站:产品关键词及其长尾词(23个)+网站品名(或者品名关键词组合):

a.适合中小企业网站的优化;

b.前期可以全部使用长尾词;

c.随着网站权重的提高,可以做热度,竞争度的词;

d.营销站无特殊原因,一般应维持这种状态;

2.  信息类,门户类,资源共享类等流量型网站;

前期:长尾词(2-3个)+网站品名;

中期:核心关键词(高竞争度)、长尾词(2-3个)+网站品名;

后期:网站品名+核心关键词、长尾词(2-3个);

(四)其他注意事项

1.一般title是一组词组成的,而不是句子。出关键词,网站品名之外的字词都不应该出现。知名站除外。

2.网站品名为企业名或者产品名时应用简称;

3.title中的长尾词包含较短的关键词时,该较短的关键词一般不再重复:

a.尽可能缩短title长度,

b.有利于增加不同的关键词

(五)首页keyword标签

重要性在于搜索引擎,早期的搜索引擎因为自身的不完善,对mate标签给予的权重比较高,尤其是网站关键词keyword是搜索引擎快速判定网站内容的关键点,所以,早期的网站mate标签大家都比较重视,于是就出现了很多的黑帽SEO的作弊手法,比如:关键词堆砌,页面布局大量的关键词。随着搜索引擎的进一步发展,搜索引擎逐渐开始不单纯的依靠mate标签来判定网站的主题内容,削弱关键词所占的分量。于是就出现了目前的网站关键词keyword不写的局面。

1.按照标题包含的关键词在前,其他目标关键词在后的顺序填写。应将title中的关键词,包括长尾词中的短关键词,全部罗列出;

 

2.一般而言3-5个为宜,稍微多一些没什么影响;

 

3.一般建议用英文“,”号做分隔符;

 

(六)首页description标签(描述)