如何解决重复页面的问题

一、处理方案:

1、用Nofollow标签屏蔽,这种方法很实用,但是有点麻烦。
2、用Robots.txt屏蔽无用链接,但是这有个缺点,就是这些页面虽然不被搜索引擎索引,但是权重还会从其他网页上传递进来,但是不会传递出去。于是就形成了一个权重黑洞,只进不出,不过这种方法被很多站长们利用。
3、Meta Noindex和 Follow。搜索引擎不会收录这些页面,但是会爬取这些页面上的链接,还是会降低蜘蛛的爬去效率。
4、利用canonical标签:利用cannonical标签可以告诉搜索引擎重复页面中,哪个才是规范的网页,避免搜索结果中出现多个内容相同或相似的页面。
5、URL中?换成#
6、301重定向
7、URL重新+重定向

二、解决案例:

我们在很多案例中都能发现重复页面的问题。网站重复页面产生的原因分几种,但不管是哪一种,对于网站本身都是不利的。重复页面会造成站内竞争,既浪费搜索引擎资源,又不利于页面排名。所以,对于重复页面的处理,是我们优化网站过程中必须要首页解决和考虑到的问题。

一般的,两个或两个以上页面内容完全一致,但URL不同,我们可以说它们是纯粹的重复网页。重复页面的产生,大概可以分为以下几种情况:

1.页面Nofollow:<a>+<meta>

假设:B页面不让收录,A页面有入口;

这个时候,需要在A页面指向B页面的<a>标签加上rel=”nofollow”;同时B标签的<meta name=”robots”/>设置为<meta name=”robots” content=”noindex,nofollow” />。

2、robots.txt文件

不能解决“首页”被收录的问题,常见淘宝;需和<meta name=”robots” content=”noindex,nofollow” />连用。

3、属性筛选顺序引起的重复页面:

这种情况多见于电商网站,英文站中尤为常见。用户在选购产品进行属性筛选的时候,由于前后选择属性的顺序不同,会导致页面内容重复。

例如:

选择条件顺序1:男鞋 >跑步鞋 > 李宁 URL:/m-paobu-lining.html

选择条件顺序2:男鞋 > 李宁 > 跑步鞋 URL:/m-lining-paobu.html

这样就会产生由于选择的顺序不同而引起重复页面的问题。

一般的,这类问题需要我们重写url规则。将所有属性的属性都固定好位置,这样,就算选择的顺序不一样,也不会造成url的差异。

4. 多个url引起的重复;

很多网站由于在规划的时候没有标准化,会导致同一个url会产生多种形式,例如:

www.example.com

example.com

www.example.com/

www.example.com/index.php

这种重复页面的处理,可以用301重定向,在服务器端对标准url进行定义。将不标准的url都301重定向至标准的url即可。

5.跟踪代码等引起的重复

很多网站会在url上做跟踪代码,以便于统计。这类带跟踪代码的url也会造成重复的页面,对主页面产生竞争危机。例如:

http://www.pandahallstock.com/special-offer.html?home=BN01_20120515

http://www.pandahallstock.com/b-12-bracelet-bangle-p1-s1843.html?showMode=2&sortIndex=4&home=BN03_20120515

针对类似这种情况,我们不能做301跳转,要不就没办法实现跟踪统计的功能了。一般的,我们可以采取以下几种方式来解决这个问题:

URL中跟踪代码开头的?用#代替。搜索引擎在识别url的时候,遇到#就不往后读取了,所以带#的跟踪代码对于搜索引擎来说,就是一个正常的url. 但同时需要注意的是,#的出现也可能给统计带来障碍。所以,针对不同的网站,这个需要不同对待。

4、针对google,我们可以在非标准的页面(即重复页面)的meta head之间增加canonical属性,执行标准的url。
http://www.example.com/products

http://www.example.com/products?sessionid=123456

http://www.example.com/products?trackingid=feed

可以在head meta部分加入如下代码:

<link rel=”canonical” href=”http://www.example.com/products” />

后两个页面的内容会被搜索引擎认为是重复内容,就是告知搜索引擎把相关的搜索信号都传递到第一个网址。

可以在robots文件中定义不让搜索引擎抓取这些带跟踪代码的链接。

不完善的地方,欢迎大家留言区吐槽。



发表评论