影响索引量的因素有哪些及解决方案

 

百度追查索引量变化流程
百度追查索引量变化流程

提醒:为百度索引量工具添加规则分类。

便于可监控每个分类的索引量数据;一旦收录出现问题,结合索引量减少的因素,能很快的找到原因并快速解决。

声明:

以下整理内容,大部分来自百度资源平台(百度站长平台)——搜索学院或站长社区,小部分来自小蜜蜂网站站长SEO工作积累。

下文用到的部分工具:

1、索引量检查工具:https://ziyuan.baidu.com/indexs/index?site=http://www.vikiblog.com/(换成自己的域名),检查自己的网站索引量和特定URL。
2、Robots检查工具:https://ziyuan.baidu.com/robots/index,检查网站的robots.txt文件,页面robots检查需要查看页面源代码。
3、抓取频次工具:https://ziyuan.baidu.com/pressure/index?site=http://www.vikiblog.com/(换成自己的域名),检查是否因为频次受限导致索引量下降。
4、抓取异常工具:https://ziyuan.baidu.com/crawl/index?site=http://www.vikiblog.com/(换成自己的域名),检查服务器/DNS是否稳定、404页面等
5、外链分析工具:https://ziyuan.baidu.com/inbound/index?site=http://www.vikiblog.com/,检查低质量外链的概况,需要迪比同网站跨域名外链数据,排查索引量是否和外链质量有关。

索引量是流量的基础,索引量数据的每一个变动都拨动着站长敏感的神经,“索引量下降之后该如何着手分析”一直是各位讨论的热门话题。下面我们来看看史上最全的百度索引量下降原因分析及解决方案吧

索引量(收录)降低的原因
索引量(收录)降低的原因-点击看大图

一、导致百度索引量下降的常见原因——百度方因素

1、配额再分配

同类数据量接近索引分配总额,配额量再分配,有升的就会有降的

解决:超过竞品,争取高额分配。

如何诊断?先通过百度搜索资源平台的索引量工具,判定数据是否暴跌。再通过第三方工具(https://lishi.aizhan.com/www.vikiblog.com/pcrecordabacklink/),对比竞品进行索引量分析,通过索引量看配额变化情况。

2、数据异常错误

A、错误惩罚

应对某类作恶行为而新算法上线,但由于蝴蝶效应,导致部分站点被错误惩罚而清除大量索引。

解决:反馈百度方,请求解除惩罚。

如何诊断?先通过百度搜索资源平台的索引量工具,判定数据是否暴跌,再核对网站是否涉及新算法。没有,反馈百度(利用百度站长数据说明,做到有理有据)。

B、地区性数据异常

部分地区数据抓取或查询异常,导致误判站点情况而清除相应索引数据或输出错误索引量,如百度dns系统升级事件。

解决:反馈百度方,由百度检查各地蜘蛛执行情况。

如何诊断?利用统计工具中搜索引擎的区域分类。查看各地区流量变化情况趋势,对比百度资源平台索引量趋势是否类似。如趋势图类似,且个别地区出现暴跌现象,反馈百度方(最好百度统计)。

C、接口调用数据错误、数据丢失、数据备份衍生异常

解决:反馈百度方,由百度检查相关数据情况。

如何诊断?排除法,如果没有本文中的其他问题,反馈百度方。

3、交互平台设置有误——站长平台

A、下调百度抓取频次上限值过低

解决:合理优化页面、反馈百度方。

如何诊断?先通过百度搜索资源平台的索引量工具,判定数据是否暴跌。再结合抓取频次工具,判定数据趋势是否类似。如是,反馈百度方。

B、处于闭站保护状态

解决:解除闭站保护

如何诊断?查看闭站保护工具状态。如果处于保护状态,解除保护状态。

二、导致百度索引量下降的常见原因——网站自身因素

1、内容数据及所在的网址url不唯一

A、自己站点url规范统一

多域名都可以200状态正常访问网页内容;一域名下出现多种url形式可以访问相同内容,如大小写url、url规则变更等。

解决:选择主域名(或主url),其他域名下的所有url都301重定向到主域名(或主url),并站长工具提交域名改版(或目录url改版——网站改版工具提交规则),

如何诊断?查看统计工具中的“入口页面”(不同统计工具命名不同)和线上页面,判定是否唯一、多域名,且记录其时间点。如索引量暴跌出现在多域名后,按上述方案解决。

B、外部平台使用己站数据

a、市场合作,站点数据调用到其他平台上。

内容主动外发,推广人员完整转发自有内容到高质量平台——这两个原因都有可能导致搜索引擎收录了外部平台的内容而拒绝了原网站内容

解决:使用站长平台链接提交工具的主动推送功能,及时提交网站新出现的链接,延迟将内容调用到其他平台的时间;

如何诊断?看合作市场推送文章和网站自身文章的占比情况,再结合收录时间和排名情况。如出占比高、自己网站收录时间迟、排名差的情况,按上述方法解决。

b、被镜像,用户通过其他举办主体的域名或url直接可访问己方内容。

解决:关注域名解析安全和服务器安全;绑定唯一可解析的域名或唯一可访问的url;页面内容中链接使用绝对地址

如何诊断?查看统计工具中的“入口页面”(不同统计工具命名不同)、外链和线上页面,判定是否唯一、多域名,且记录其时间点。如索引量暴跌出现在多域名后,按上述方案解决。

2、站点受青睐度下降

A、网页内容相关

a、内容质量度下降

解决:提高内容质量度,详见百度站长学院相关内容;杜绝简单拷贝,多做整合信息。

如何诊断?记录内容采集时间和索引量暴跌时间。如果暴跌时间出现在采集时间后,按上述解决方案。

b、更新量及频率下降

解决:稳定的更新频率,视内容发展情况,扩充编辑团队,生产更多新内容,让网站索引避免下降,持续增加。

如何诊断:当更新量及频率下降明显,那么配额就会下降,首先表现抓取频次下降,导致索引量下降。

c、时效性信息消失

解决:时效性的信息,大部分一般在数据库不会长期保留,所以需要持续挖掘新的时效信息点,整合相关内容。

d、部分区域(频道、二级域)出现不良信息

解决:杜绝大量外链软文、恶劣弹窗广告、非法敏感类信息、专门针对搜索引擎作弊的内容等。

如何诊断?细分“索引量工具”的数据,做到按域名、频道、分类……查询当日、前一日、本周、历史索引量数据。索引量一旦暴跌,很容易判定是哪类特型URL的问题。并按上述方案和“特型URL不被信任”解决方案,进行处理。

B、触犯惩罚算法

解决:关注站长工具消息和百度网页搜索动态。按官方公告说明来整改站点,并进行反馈,然后等待算法更新。

如何诊断?结合网站SEO优化文档和官方公告数据排查。如有问题,按上述方案解决。

C、特型URL不被信任

解决:定制各类url的索引查询规则;定位索引量下降的特型url;排查该类url当日、前一日、本周、历史索引情况;找出未被入库的数据可能存在的问题;处理完后,增强该类url与百度数据沟通(途径有sitemap、批量提交url、数据推送等)。

如何诊断?细分“索引量工具”的数据,做到按域名、频道、分类……查询当日、前一日、本周、历史索引量数据。索引量一旦暴跌,很容易判定是哪类特型URL的问题。并按上述方案和“部分区域(频道、二级域)出现不良信息”解决方案进行处理。

D、站点被搜索引擎信任度下降

a、非法投票嫌疑(链接工厂等)

解决:珍惜自己页面的投票权,对于劣质网页坚决不投票,尽量减少站点的导出链接。

如何诊断?检查友情链接等导出外链网站的内容。出现劣质内容或导出链接过多,按上述方案处理。

b、主题变动(如从教育领域跨入医疗领域)

解决:将旧领域的网页进行死链处理后向百度进行提交,封禁相关旧url的被访问权,然后再上线新主题相关内容,加强对百度的数据提交。

如何诊断?自查,或网站历史工具(http://archive.org/web/),判定网站是否做主题变动。

c、受牵连

相同ip下非法站点偏多,同一域名所有人举办的网站大都被惩罚且情况恶劣等

解决:离开恶邻,获取搜索引擎的各产品的相关反馈方式,请求给予解禁,等待恢复正常索引。

如何诊断?使用站长之家的综合工具(http://tool.chinaz.com/),检查相同IP下网站情况。

d、政策性原因

如香港主机、国外主机站点由于各种你懂的原因,稳定性可能较差

解决:国内主机备案,合法符合政策经营

如何诊断?使用站长之家的综合工具(http://tool.chinaz.com/),查看网站是否备案、网站ip位置……。

3、网页模板相关

A、主体内容区域对蜘蛛的限制

主题内容只有登录或指定特定的用户才能查看。

解决:取消登陆查看信息等限制,让蜘蛛便捷畅快的“采集”到己站数据

如何诊断?登录、非登录;本地区、其他地区;国内、国外……等方式自行检查。

B、启用了对蜘蛛不友好的技术

如VUE显示重要主题内容。

解决:对需要蜘蛛识别的内容,不要启用对蜘蛛不友好的技术来调用。

如何诊断?例如抓取诊断工具(https://ziyuan.baidu.com/crawltools/index?site=http://www.vikiblog.com/),检查是否能被抓取。否,请改用蜘蛛嫩识别的技术。

C、响应式模板干扰蜘蛛识别页面类型(pc、移动)

解决:提交特定的url对应关系(尽量parrten级);meta标记移动版本url及适合浏览的设备;自主适配;增强pc、移动不同模板源码标签的区分度,帮助百度识别页面类型。

如何诊断?查看“快照(百度快照)”内容。通过PC端快照判断页面是否展示M端样式,如果是,按上述方法解决。

4、源码相关

源码错误较严重,如编码错误、标签使用(如使用js、iframe、flash)错误等;源码改动严重,蜘蛛“采集”数据后重新观察分析;某类url下的TD(网页title、description)变化,如变化比例大、变化页面量大,页面进行更改后会重走建索引库流程,如果页面质量达不到建索引库标准会从线上消失

解决:校验源码,准确的源码是蜘蛛“采集”数据进行分析的基础;link内链结构、url地址形式、页面主题、页面各区域html标记等尽量维持改动前的情况;逐步、分期更换TD(网页title、description),结合页面主题、用户实际需求来制定合理的TD,不欺骗不误导用户。

如何诊断?查看“网页源码”html标签。

5、已入库的url对蜘蛛状态有变化

A、robots声明,禁止蜘蛛抓取

robots包含txt文件和页面级别(<meta name=”robots” content=”Noindex,Nofollow”>)

解决:查看百度站长工具robots及抓取情况。

如何诊断?robots工具(https://ziyuan.baidu.com/robots/index?site=http://www.vikiblog.com/)和查看“网页源码”html meta标签robots属性。

B、url规则变化,原有url无法访问

解决:特别是linux和win服务器之间的数据迁移,可能会出现大小写url支持变化,确保各类url规则不变化。url必须重构的时候,做好旧新url301重定向,站长工具提交改版需求。

如何诊断?site语法或者旧URL直接访问。

C、提示错误页面

解决:由于误删,则可以数据恢复,并维持url对应网页内容的更新变化,提高抓取频次。如果确定要删除,那么提交死链(例如https://ziyuan.baidu.com/badlink/index?site=http://www.vikiblog.com/),删除死链后,再robots禁止,这种情况的索引下降无需担忧。

如何诊断?站长工具检查(例如https://ziyuan.baidu.com/crawltools/detail?site=http://www.vikiblog.com/ 或http://tool.chinaz.com/tools/httptest.aspx),反馈以百度工具为准。

D、被入侵

解决:防止url对蜘蛛进行非法跳转操作;防止url对应的网页内容对蜘蛛出现内容大变化,特别是一些违法乱纪的内容;网站被黑客攻击后增加了大量垃圾网页。

如何诊断?非法跳转的检查,每个页面检查,使用浏览器隐身模式或清除缓存后进行检查。其他问题自行检查。

6、DNS、服务器问题

A、DNS问题

dns不稳定;dns不安全

解决:选择可靠的dns服务;沟通强调对蜘蛛的稳定性;防止dns解析到非正常ip;防止解析的网站ip频繁变动。防止dns管理漏洞,导致被恶意解析;防止dns解析挂靠在小代理等技术能力、管理规范、道德法律约束都欠缺的平台上。

如何诊断?第三方DNS检查工具(例如http://tool.chinaz.com/dns)

B、服务器问题

a、可访问性差

解决:尽量让目标地区所有运营商来路的用户都能在3秒内打开网站,最佳1秒内;监控网站运行状态,合理设置目标地区的所有运营商监控节点及监控项目、监控频率

如何诊断?第三方测速工具(例如http://tool.chinaz.com/sitespeed/)或先排除自己的互联网环境,再进行网站流量,出现打不慢或是打不开服务器可访问性差。

b、屏蔽百度ua或ip

解决:多利用百度站长工具,查看百度抓取网页的情况。

如何诊断?检查服务器访问日志,是否包含baiduspider。包含正常,不包含自己检查问题。

c、防刷压力值设定

解决:将蜘蛛解析到专用空间;如出现访问陡增的ip,查看是否为蜘蛛再确定是否禁止访问。

如何诊断?服务器有压力监控系统,如出现访问陡增的ip,查看是否为蜘蛛再确定是否禁止访问。

7、大幅增加URL

短时间内,大幅增加的url会占用有限的抓取配额,导致重要优质内容未被抓取。

解决:合理使用抓取配额,减少非重点页面的抓取;循序渐进的增加页面,避免增加垃圾页面。

如何诊断?1、网站访问日志分析2、索引量工具(https://ziyuan.baidu.com/indexs/index?site=http://www.vikiblog.com/),需要人工细分分类, 再进行数据查看。

三、站外因素

找出垃圾外链(黄赌毒类网站外链),主动去封堵垃圾外链可能对网站造成的恶劣影响。

解决:识别出哪些是正常外链,哪些是垃圾外链,并根据垃圾外链的相关数据,进行一些处理,保护好网站;并且需要使被垃圾链接指向的页面,不被搜索引擎抓取(浪费抓取资源配额)以及被收录/索引(保证网站词库不受污染,不为网站带来形象与关键词方面的负面影响)。

如何诊断?参考:http://bbs.zhanzhang.baidu.com/thread-75492-1-1.html

参考文献:

1、索引量下降常见原因及解决方案https://ziyuan.baidu.com/college/articleinfo?id=1171
2、利用百度站长工具链接分析提高蜘蛛抓取效率http://bbs.zhanzhang.baidu.com/thread-75492-1-1.html
3、百度索引量变化追查投诉方法https://ziyuan.baidu.com/college/articleinfo?id=1166
4、学会链接分析,快速定位网站问题https://ziyuan.baidu.com/college/articleinfo?id=838

EXCEL表格下载:

https://pan.baidu.com/s/1WGiGhU61v5KzjBa6itTRmA



发表评论