robots.txt文件详细解说
1. 什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
2. robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站(比如 http://www.abc.com)时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
网站 URL | 相应的 robots.txt的 URL |
http://www.esobao.cn/ | http://www.esobao.cn/robots.txt |
http://www.esobao.cn:80/ | http://www.esobao.cn:80/robots.txt |
http://www.esobao.cn:1234/ | http://www.esobao.cn:1234/robots.txt |
http://esobao.cn/ | http://esobao.cn/robots.txt |
3. 我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中?
如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。
4. 禁止搜索引擎跟踪网页的链接，而只对网页建索引
如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的<HEAD> 部分：
<meta name="robots" content="nofollow">
如果您不想百度追踪某一条特定链接，百度还支持更的控制，请将此标记直接写在某条链接上：
<a href="signin.php" rel="nofollow">signin</a>
要允许其他搜索引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标记置入网页的<HEAD> 部分：
<meta name="Baiduspider" content="nofollow">
5. 禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的<HEAD>部分：
<meta name="robots" content="noarchive">
要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：
<meta name="Baiduspider" content="noarchive">
注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。
6. 我想禁止百度图片搜索收录某些图片，该如何设置?
禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现，请参考“robots.txt文件用法举例”中的例10、11、12。
7. robots.txt文件的格式
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示：
"<field>:<optional space><value><optionalspace>"
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：
User-agent:
该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受 到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效， 在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
Disallow:
该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。
Allow:
该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头 的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。
使用"*"and"$"：
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"$" 匹配行结束符。
"*" 匹配0或多个任意字符。
注：我们会严格遵守robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，我们会对robots中所写的文件和您不想被抓取和收录的目录做匹配，否则robots协议无法生效。
8. URL匹配举例
Allow或Disallow的值 | URL | 匹配结果 |
/tmp | /tmp | yes |
/tmp | /tmp.html | yes |
/tmp | /tmp/a.html | yes |
/tmp | /tmphoho | no |
/Hello* | /Hello.html | yes |
/He*lo | /Hello,lolo | yes |
/Heap*lo | /Hello,lolo | no |
html$ | /tmpa.html | yes |
/a.html$ | /a.html | yes |
htm$ | /a.html | no |
9. robots.txt文件用法举例
例1. 禁止所有搜索引擎访问网站的任何部分 | User-agent: * |
例2. 允许所有的robot访问 | User-agent: * |
例3. 仅禁止Baiduspider访问您的网站 | User-agent: Baiduspider |
例4. 仅允许Baiduspider访问您的网站 | User-agent: Baiduspider |
| 关键词：
没有了！
没有了！
代码优化 1、HTML源代码分析教程 1、<!--页面注解-->
12、<div>
注：在<body>..</body>标签区中的罗列，都是一些基础的HTML标签，这些标签出现的次序是可以变化的。 这个标签是用来做HTML代码注解的，这种形式的注解在浏览器中是不会显示的，而搜索引擎可以读到。所以这个标签有的时候会成为作弊的一种形式，而这种原始的作弊方式、早被搜索引擎 第4行到第5行<!--meta标签--> 对于Meta标签来说他包含了很多参考、其中需了解“Content-Type”代表页面编码、“Content-Language”代表页面语言，这是一个很容易被SEO初学者忽悠的标签、一旦设置错误、可能影响搜索引擎对页面的抓取及收录。 第6行<title>页面标题</title> 重点了解 页面标题对搜索引擎排名的优化是非常大的、而在SEO优化过程中、也是重点优化对像之一、尤其是百度对页面标题的评分很高、而标题的书写也直观重要、包括：标题是否完全匹配、是否包含与被包含关键词等 第7行<meta name="keywords" content="关键词"> 关键词标签对于现在的搜索引擎或SEO优化者来说价值越来越低了、以前搜索引擎对关键词标签是很看重了、由于黑帽的手法慢慢体现、一些SEO人员以堆积关键词标签来提升网站排名为目的，导致现在搜索引擎对关键词标签、可以说是忽悠判断，但是个人认为、虽然是被忽悠、但是首页的关键词还是可以手工处理下、至于内页可以忽悠。 第8行<meta name="description" content="网站描述"> 主要在搜索引擎结果中体现，与关键词标签一样、目前不太受搜索引擎看中、但描述标签与关键词标签是有区别的、关键词标签浏览器用户正面是无法看到，但是描述标签一旦被搜索引擎索引、是会体现在搜索引擎结果中、而这个结果是可以直接响影用户点击率、可以说一个好的描述可以为你网站增加很多点击及转化、提示：由于搜索引擎时刻在更新、算法及索引方法也不段在进步、或者说很人性化、所以搜索引擎会根据用户搜索“关键词”去抓取网站描述。所以个人建议、还需要注意首页描述及着陆页描述的书写、其它部分可以使用程序调用、 第13行<h1>页面内容标题</h1> H1标题、一个代码优化中重点标签，也是搜索引擎定位这个页面主题的依据，如果你的<h1>标签里没有出现你的页面关键字，那么这是一种很大的损失，这里的权重相对于其它的在<body>区的标签来说更加重要。在代码优化中、它的重要性仅次于<title>。所以，必需认真对待你的页面<h1>标签的优化，一般使用在文章页面来的文章标题优化。（H1+TITLE 可以说是SEO优化中的致命组合）
对比<h1>标签来说、H2标签重要程度相对来说就降底了，一般使用在长尾关键词及相关内容方面，而<h3>~<h6>这些标签，重要性是依次递减的，在一个页面的权重越来越低。 我们知道搜索引擎是不可以抓取图片内容的、那么如何合理的告诉搜索引擎某张图片代表什么了，ALT标签就是告诉搜索引擎图片含义、让搜索引擎的理解图片内容。
锚文本、我们称为关键词链接，关键词链接在SEO优化当中是一个非常重要优化对象之一，而锚文本链接又可以扩展，外部链接形式的锚文本及内部链接形式的锚文本。具体对SEO的作用是需要判断链接的形式不同而不同。 第21行<strong>重点关键词强调</strong> <strong>标签基实重要性仅次于<h1>，也是强调一类、包括：<b>、<u>、<i>等标签。而对于搜索引擎来说<strong>标签的影响要高说<b>、<u>、<i>等 第26行版权部分优化 随着搜索引擎越来越强大、网页底部、版权部分也是SEO优化者需要优化的地方、一般来说底部文件对于程序来说都是全部调用、所以如果能在底部加上一个关键词链接指向网站首页、那么这种内部式全部投票也是一种对首页页面权重的提高。 网站代码优化目的 1、去掉网站多余的代码，以减少网站的大小，提高网站的加载速度和用户体验。 2、网站代码优化是站长必须要掌握的基本技能，这关系到搜索引擎蜘蛛是否会对你的网站感兴趣，冗长无用的代码会让蜘蛛很难理解，增加蜘蛛抓取网站的难度。 3、同时，网页的精简还关系到网站的加载速度，对用户体验至关重要。 网页代码优化的原因： (1) 可以减少网页的体积，加快网页的下载速度; (2) 提高蜘蛛对信息的抓取的速度和准确性 (3) 有利于减少错误的代码，提高页面的对蜘蛛的友好性 (4) 便于管理人员维护，提高工作效率 (5) 减少网页的噪音，突出页面的主题 我们可以从以下几个方面来进行精简代码： 一、清除页面中多余的代码：空格代码、style和font重复定义的代码 有的网站以为制作者的代码书写习惯问题，页面会有很多空格代码。不要小看这些体积很小的代码，积攒多了，也会使我们的网站异常的臃肿。 很多网站都是采用的DIV+CSS，在CSS中定义了文字的字体，颜色，以及页面的排版，但是在网站的其他地方还用了以style以及font来再次定义字体字体，这些代码完全没有必要重复定义，属于可以精简的代码。 二：使用DIV+CSS布局网页 虽然现在div+css已经很成熟了，但是很多网页设计者可能考虑到网页的兼容性以及布局的简易性还是使用老式的table布局，如上图所示。虽然table布局很方便，但是其弊端也是显而易见的，那就是会大大增加网页的大小，尤其是多层表格的嵌套。这种布局不仅会提升体积，同时如果嵌套数太多的话就会影响到搜索引擎的爬行，影响到站点的收录。 另外，一些网站会使用外部文件，将css和js放在外部文件中，页面html中只要放一样代码调用就可以了。有时候我们去查看的一些源文件代码，会看到很多css代码以及javasript代码，将javascript放置在网站页面的html文件中的前面，而真正能用到得一些文字部分这被推倒了html的后面。企赢001认为一般页面代码中的这种代码都需要精简。 三、代码注释 很多程序人员在编写代码是都习惯在别人看不懂的地方给出一段注释，这些代码往往是为了几个程序员之间的协同工作，对于外人以及搜索引擎来说没有任何用处，相反还会给搜索引擎蜘蛛带来一定的困扰。 四、 减少页面表格。 现在的网站用什么做?很多程序员想法就是采用CSS去做，采用CSS去排版，这种做法呢，就使页面中的表格大大的降低了，但是网站也不能没有表格，有些事必须使用到得，使用表格本身没什么，但是有很多网站都采用嵌套表格，一般这样的表格形式会给网站产生大量的垃圾代码，并且这些垃圾代码都是没有任何用处的代码，这一类代码也是我们网站需要精简的代码之一。 五、降低页面对于JS的依赖性 现在来说，JS对于搜索引擎并不不友好，虽然有消息称搜索引擎不会对JS有厌恶的情绪，但是多一事不如少一事。虽然JS可以制作出很多的效果，但是网页中大量的JS将影响蜘蛛对页面的抓取和增加网页体积。尤其是页面的关键位置如导航栏，尽量采用DIV+CSS的设计方法。 六、尽量不要使用内嵌式CSS 内嵌式CSS分为两种，一是在head区域的普通内嵌式，二是在标签内出现的行内内嵌式css，无论是何种内嵌CSS方式结果都会提升页面的体积。对此我们可以尽量使用外调式的CSS来为站点页面的体积瘦身。 七、将html控制方式转换为CSS控制 很多网页设计者习惯在标签内对内容进行控制。比如img标签里通过width和height来控制图片的大小。尽量将这些代码转换成外调式的CSS，使网页代码更加的瘦身。 八：对网页进行GZIP压缩 这一点可能大家都很熟悉。这个功能需要你的服务器的支持。GZIP压缩一般能对网页进行30%-80%的压缩，是重要的一种优化效果。
标签优化 (一)、常用标签 包括html、body、head、foot、p、b、i、em、strong、font、div、/br、span、image、title、keywords、description、tag、a、nofollow、canonical、h。 (二)、标签的一般写法： (特殊标签除外，比如</br>) (三 |
