网址规范化之301重定向

作者:鼎极网络发布日期:2019-11-13浏览次数:10

  网址规范化 之 301转向:

  ①:什么是301转向?

  301转向又称301重定向、301跳转,是用户或蜘蛛向网站服务器发出访问请求时,服务器返回的HTTP数据流中头信息部分状态码的一种,表示本网址性转移到另一个地址。

  另外,还有其他的网址转向方法,例如:302转向、javascript转向、PHP/ASP/CGI程序转向等。这里有个重点:除了301转向外,其他的方法都是常用的作弊手法,虽然方法本身没有对错之分,但被作弊者用多了,搜索引擎对可疑的转向都是非常敏感等。所以,其他的方法还是少用为妙。

  ②:301转向传递权重

  例如:网页A用301重定向转到网页B,搜索引擎可以肯定网页A性改变地址,或者说实际上不存在了,搜索引擎就会把网页B当作的有效目标。而且,更重要的是:网页A积累的页面权重将被传递到网页B。

  举个例子:http://www.esobao.cn/是选定的规范化网址,下面的几个网址都做301转向到选定的规范化网址上,这样搜索引擎就知道它是规范化网址,而且会把这三个网址的权重都传递集中到规范化网址上。

  http://maxseo.cn

  http://maxseo.cn/index.html

  http://www.maxseo.cn/index.html

  可能有站长会问:301转向多久可以生效?一般来说的话,在百度站长工具的改版工具上做下规则提交,大概一周左右就会生效。

  ③:怎么样做301转向?

  关于怎么做301转向,这里建议参考这篇文章:(http://www.chinaz.com/web/2013/1212/330808.shtml)本篇文章,有详细的301转向操作方法,完全适合个人站长和企业站长。由于文字太长,这里就不写了。

  网址规范化 之 canonical标签(参考下百度站长平台给出的标准):

  ①:canonical标签有什么作用?

  对一组内容完全相同或高度相似的网页,通过使用Canonical标签可以告诉搜索引擎哪个页面为规范的网页,能够规范网址并避免搜索结果中出现多个内容相同或相似的页面,帮助解决重复内容的收录问题,避免网站相同内容网页的重复展示及权重的分散,提升规范网页的权重,优化规范网页的排名。

  ②:如何用canonical标签指定规范网址?

  可通过在每个非规范版本的 HTML 网页的 部分中,添加一个 rel="canonical" 链接来进行指定规范网址。

  例如,要指定指向网页 http://www.admin5.cn/product.php?id=15786 的规范链接,需要按以下形式创建 元素:

  <link rel=”canonical” href=”http://www.admin5.cn/product.php?id=15786”/>

  然后将上述链接复制到某网页所有非规范网页版本的 部分中(例如 http://www.admin5.cn/product.php?id=15786&active=1),即可完成设置。

  ③:可设置规范网页的几种情况举例:

  举例一、社区帖子可能由于置顶、突出颜色等行为导致内容完全相同的一个网页产生不同的链接,搜索引擎只会选择其中一个链接建立索引,如以下两个链接不同,内容完全相同的页面:

  http://www.a5.net/forum.php?mod=viewthread&tid=17868770&page=1#pid115642474

  http://www.a5.net/thread-17868770-1-1.html

  举例二、对商品的列表页面,按照价格或者优惠等顺序进行排序,但网页内容高度相似:

  http://mall.leho.com/pr-list?locid=75fb2a357d38397c5e1e75fa&cid=5e1e02f950a4101fb27571ee&order=discount

  http://mall.leho.com/pr-list?order=price_asc&locid=75fb2a357d38397c5e1e75fa&cid=5e1e02f950a4101fb27571ee

  举例三、网站有多个网页展示的为相同型号的商品,只是每个网页商品图的颜色不同,其他内容几乎完全相似,此时也可设置rel="canonical",将当下流行色彩的商品网页设置规范网页,百度有优先将其显示在搜索结果中。

  ④:百度会完全遵守rel="canonical"标签吗?

  网页中添加该标签后,就代表站长向百度某个网页作为规范的网页版本,百度会同时根据标签的及系统算法选择出合适的网页将其显示在搜索结果中。百度会根据网页内容实际情况考虑Canonical标签中的网页,但不完全遵守该标签。为了标签的效果,请一个页面中仅有一个Canonical标签。

  ⑤:此链接是相对的还是的?

  rel="canonical" 可与相对链接或链接一起使用,但建议您使用链接,以大程度地减少可能出现的混乱或问题。

  ⑥:rel="canonical"标签可用于在不同的域名中建议规范网址吗?

  如果网站需要更换域名,且使用的服务器不能创建服务器端重定向网址的情况下,就可以使用rel="canonical" 链接元素指定希望百度收录域的网址。

  301 404案例;

  页面301处理

  if Request.ServerVariables("Http_Host") ="xxxx.com" then

  Response.Status="301 Moved Permanently"

  Response.AddHeader "Location","http://www.xxxx.com/"

  Response.End

  end if

  多域名处理

  if Request.ServerVariables("Http_Host") ="xxxx.com" or Request.ServerVariables("Http_Host") ="xxxx.com" then

  Response.Status="301 Moved Permanently"

  Response.AddHeader "Location","http://www.xxxx.com/"

  Response.End

  end if



下面的情况基本上都是虚拟主机常用配置

  新一代数据中心http://gzidc.com/

  301设置

  

1.png

  .htaccess

  单域名301

  RewriteEngine On

  RewriteBase /

  RewriteCond %{HTTP_HOST} ^lszygw.com$ [NC]

  RewriteRule ^(.*)$ http://www.lszygw.com/$1 [L,R=301]

  多域名处理

  RewriteEngine On

  RewriteBase /

  RewriteCond %{HTTP_HOST} ^lszygw.com$ [OR]

  RewriteCond %{HTTP_HOST} ^linxigang.com$ [OR]

  RewriteCond %{HTTP_HOST} ^www.linxigang.com$ [NC]

  RewriteRule ^(.*)$ http://www.lszygw.com/$1 [L,R=301]

  404设置

  404.Asp

  2.png


  恒爱网络http://www.zzhidc.com/

  301设置

  httpd.ini 文件的代码如下 :

  [ISAPI_Rewrite]

  CacheClockRate 3600

  RepeatLimit 32

  RewriteCond Host: ^abc.com$

  RewriteRule (.*) http://www.abc.com$1 [I,RP]

  如

  [ISAPI_Rewrite]

  CacheClockRate 3600

  RepeatLimit 32

  RewriteCond Host: ^jnzhipin.net$

  RewriteRule (.*) http://www.jnzhipin.net$1 [I,RP]

  RewriteCond Host: ^jnzhipin.com$

  RewriteRule (.*) http://www.jnzhipin.net$1 [I,RP]

  RewriteCond Host: ^www.jnzhipin.com$

  RewriteRule (.*) http://www.jnzhipin.net$1 [I,RP]

  把以上内容修改成你自己的之后,把 httpd.ini 上传到你空间网站根目录 wwwroot下 。

  用FTP连接到空间,在wwwroot 同级目录建立一个名为 others 的新文件夹,如下图

  

3.png

  接下来去 http://pan.baidu.com/s/1gd42ZQj 下载ISAP组件,解压之后得到 rewrite2.dll

  把 rewrite2.dll 上传到 others 目录里。

  然后 登陆到你空间管理后台的 “独立面板”里,找到 “ISAP映射”,点击之后进入添加映射,筛选器名称 随便写个,路径如图所示写路径,然后点击后面的“设置”

  

4.png

  404设置(用404.htm)

  

5.png

  益息网络http://www.idc1.net/

  301设置()

  在根目录下有个index.asp文件

  

6.png

  if Request.ServerVariables("Http_Host") ="xxxx.com" then

  Response.Status="301 Moved Permanently"

  Response.AddHeader "Location","http://www.xxxx.com/"

  Response.End

  end if

  

7.png

  404设置(根据根目录下的文件设置)

  

8.png

  骑士互联http://www.74dns.com

  301设置(在根目录下放文件httpd.ini)

  文件代码代码

  [ISAPI_Rewrite]

  CacheClockRate 3600

  RepeatLimit 32

  RewriteCond Host: ^xxxx.net$

  RewriteRule (.*) http://www.xxxx.net$1 [I,RP]

  404设置(根据网站目录下文件情况)

  

9.png

  广深互联http://www.99idc.cn/

  301设置

  web.config文件的代码如下 :

  <?xml version="1.0" encoding="UTF-8"?>

  <configuration>

  <system.webServer>

  <rewrite>

  <rules>

  <rule name="CanonicalHostNameRule1">

  <match url="(.*)"/>

  <conditions>

  <add input="{HTTP_HOST}" pattern="^www.sanyoushun.com$"

  negate="true"/>

  </conditions>

  <action type="Redirect" url="http://www.sanyoushun.com/{R:1}"/>

  </rule>

  </rules>

  </rewrite>

  </system.webServer>

  </configuration>

  404设置(与骑士一样)


关键词:

日志分析

 

1.什么是网站日志,从网站日志里面外面能得到什么?

 网站日志:服务器记录了用户在网站上面的一些行为信息

 内容包括:访客的IP地址 访问的时间  访问的方式  访问的协议  访问的状态码  访问的页面  访问了页面的大小  访客的操作系统以及使用的浏览器版本及内核

2.如何获取网站日志

  登陆FTP     Weblog文件夹  下载

3.常见返回状态码:

    200  返回成功 可以正常访问

301  重定向   集中权重     

302  临时重定向

    304状态码 如果客户端发送了一个带条件的GET 请求且该请求已被允许,而文档的内容(自上次访问以来或者根据请求的条件)并没有改变,则服务器应当返回这个304状态码。简单的表达就是:客户端已经执行了GET,但文件未变化。

    403  forbidden 服务器拒绝访问  权限问题    服务器不支持这个脚本运行

404  访问的页面不存在 not found (404错误页面)

500  并发数超了()在某个时段内所允许的大访问数量(15s

    503  服务器宕机(由于超载或进行停机维护)

 

4.IIS日志各字段讲解#Fields: date time s-sitename s-computername s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs-version cs(User-Agent) cs(Referer) cs-host sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-takendate:发出请求时候的日期。
time:发出请求时候的时间。注意:默认情况下这个时间是格林威治时间,比我们的北京时间晚8个小时,下面有说明。

s-sitename:服务名,记录当记录事件运行于客户端上的Internet服务的名称和实例的编号。
s-computername:服务器的名称。

s-ip:服务器的IP地址。

cs-method:请求中使用的HTTP方法,GET/POST

cs-uri-stemURI资源,记录做为操作目标的统一资源标识符(URI),即访问的页面文件。

cs-uri-queryURI查询,记录客户尝试执行的查询,只有动态页面需要URI查询,如果有则记录,没有则以连接符-表示。即访问网址的附带参数。

s-port:为服务配置的服务器端口号。
cs-username:用户名,访问服务器的已经过验证用户的名称,匿名用户用连接符-表示。
c-ip:客户端IP地址。

cs-version:记录客户端使用的协议版本,HTTP或者FTP

cs(User-Agent):用户代理,客户端浏览器、操作系统等情况。

cs(Referer):引用站点,即访问来源。
cs-host:记录主机头名称,没有的话以连接符-表示。注意:为网站配置的主机名可能会以不同的方式出现在日志文件中,原因是HTTP.sys使用Punycode编码格式来记录主机名。

sc-status:协议状态,记录HTTP状态代码,200表示成功,403表示没有权限,404示找不到该页面,具体说明在下面。
sc-substatus:协议子状态,记录HTTP子状态代码。
sc-win32-statusWin32状态,记录Windows状态代码。
sc-bytes:服务器发送的字节数。
cs-bytes:服务器接受的字节数。
time-taken:记录操作所花费的时间,单位是毫秒。

 

5.分析工具

 5.1 光年日志分析工具

 5.2 excel表格

 5.3爱站工具包日志分析

  日志的简单分析

  1)注意那些被频繁访问的资源

  2)注意那些你网站上不存在资源的请求。常见的扫描式攻击还包括传递恶意参数等:

3)观察搜索引擎蜘蛛的来访情况(看网站的抓取情况)

问题

  1、新站刚上线,看看搜索引擎有没有来你网站抓取了;

  2、网站收录异常,或者被k,通过日志可以了解搜索引擎是否还有来光顾你的网站;

3、对于网站的问题进行解决,必须要读懂日志;

  、基础信息

  我们从日志中能够获取哪里基础信息呢?总抓取量、停留时间(h)及访问次数这三个基础信息,可以从光年日志分析工具中统计出来。然后,通过这三个基础信息算出:平均每次抓取页数、单页抓取停留时间。然后用我们的MSSQL提取蜘蛛抓取量,根据以上的数据算出爬虫重复抓取率。

  查看搜索引擎蜘蛛爬行总次数

  一个网站的收录首先要搜索引擎蜘蛛来到网站爬去才能够实现。通过查看日志能够清楚的看到每天蜘蛛访问网站的总次数有多少,从而大致的判断网站的权重如何。一个高权重的网站,蜘蛛来访的次数相对是较多的,相反,一个低权重的网站,即使有非常庞大规模的内容,蜘蛛来访的次数依旧有限。爬行次数有限,分配的时间和深度也就有限,所以收录也就受到了限制。所以我们的重点就是多提供百度来访我们网站的入口,只有入口多了,访问次数才能得到提升。

  平均每次抓取页数=总抓取量/访问次数 单页抓取停留时间=停留时间*3600/总抓取量 爬虫重复抓取率=100%—抓取量/总抓取量

  查看爬行榜前十名的页面情况

  除了查看蜘蛛总访问次数以及爬行目录的整体情况,剩下一个非常重要的就是查看爬行总页面的情况。我平时分析网站的时候,时常会看到,被蜘蛛爬行前几名的页面都是一些无关紧要的页面,比如B2C购物车链接页面、比如联系我们页面、一些主题中CSS文件,这些页面和文件对排名和收录本来没有实际的帮助,但现实情况是蜘蛛爬行的多,所以就会造成浪费,毕竟蜘蛛来访一个网站的总时间和总爬行次数是一定的,总抓取深度也是一定的,如果时间都浪费在了这些页面上,那么对于重点的内页收录就会受到影响。因此通过日志发现之后,就需要在robots.txt中屏蔽掉,或者在页面meta中屏蔽掉。

  查看平均爬行一次的抓取深度

  通过日志查看平均一次的抓取深度能有效的了解到网站内部结构的不足。比如百度蜘蛛在某天访问网站总共818次,抓取量是978,那么平均每次抓取的页面数就为1.2页。其实这个数据也是普遍存在的现象,很多网站都存在这样的现象。这充分说明了网站的内部链接做的不足,或者网站结构存在问题,或者是内容出现了高度重复现象,导致蜘蛛来到网站,要么没有什么新发现,要么被结构所阻止,爬行不到新的页面。毕竟,蜘蛛平均在我们网站存在的整体时间是有限的,在这个有限的时间内,如果我们自己设置了障碍,那么蜘蛛就会走掉,是非常可惜的事情。

  目录抓取情况

  用MSSQL提取出爬虫抓取的目录,分析每日目录抓取量。可以很清晰的看到每个目录的抓取情况

  通过日志查看所有被爬行目录的整体情况,能让我们知道搜索引擎爬行多的目录是哪些,是否是我们想要提供给用户的目录。一般可以非常清楚的看到排名前十位的目录,如果这些目录并不是我们重点提供给用户内容的目录,那么就需要做出调整,说明当前的一些目录被多度爬行了,而真正有价值的目录没有被搜索引擎过度重视,要及时发现并找到原因。

  第二、时间段抓取

  重在分析每日的抓取情况,找到相应的抓取量较为密集的时间段,可以针对性的进行更新内容。同时,还可以看出,抓取不正常情况。服务器是否稳定,是否被攻击

  第三,IP段的抓取

  每日每个IP的抓取量,同样我们需要看整体,如果IP段没有明显的变化的话,网站升降权是没有多大问题的。因为在网站升权或者降权的时候,爬虫的IP段会更换的。

  第四,状态码的统计

  在这个之前你需要了解下,HTTP状态码返回值代表是什么。

  如果你的网站出现太多的304,那么一定会降低搜索引擎的抓取频率以及次数

  4)观察访客行为应敌之策:

  1、封杀某个IP

  2、封杀某个浏览器类型(Agent)

  3、封杀某个来源(Referer)4、防盗链

  5)文件重命名作用:

  1.对访问时间进行统计,可以得到服务器在某些时间段的访问情况。

  2.IP进行统计,可以得到用户的分布情况。

  3.对请求URL的统计,可以得到网站页面关注情况。

4.对错误请求的统计,可以更正有问题的页面。


6.日志分析思路

图片.png 

 

  代码 说明

  100 (继续) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的部分,正在等待其余部分。

  101 (切换协议) 请求者已要求服务器切换协议,服务器已确认并准备切换。

  2xx (成功)

  表示成功处理了请求的状态代码。

  代码 说明

  200 (成功