在做SEO的过程中，我们总是会遇到各种莫名其妙的问题，比如:某一天你的网站突然出现收录缓慢的问题，而平时都是秒收录。 

最开始我们在做审查的时候，总是思考: 

①是否搜索引擎算法在调整。 

②是否自己的内容质量不高。 

③是否是普遍大众的情况。 

但很少有SEO从业者，尝试去查看网站日志的相关情况。 

那么，SEO排名优化，为什么要常看日志? 

根据以往SEO网站诊断的经验，斌网网络网爷，将通过如下内容阐述: 

1、垃圾爬虫 

如果你的网站运营一段时间，在谷歌和百度的收录情况还比较好，并且具备一定的流量与权重，这个时候就可能存在“垃圾爬虫”广泛爬取的情况。 

通常这类爬虫主要分为如下几种类型: 

①国外的一批SEO推广软件的搜索爬虫，主要用于提取网站的链接状态。 

②网站镜像的代理爬虫，通常都会进行伪装。 

③极个别的数据分析爬虫。（网站比较优秀，SEO研究者对你的分析） 

这些爬虫除了镜像，实际上并没有从SEO的角度给我们带来诸多问题，但是它却非常容易占用大量的服务器资源，特别是如果你还是一个非知名主机商的虚拟主机。 

如果你想要快速检索你的站点爬虫数量，我们可以通过一个小策略，查看robots.txt文件的访问情况，这只是一个小技巧。 

2、站内搜索 

我相信从目前来看，基本上除了单页组合页面之外，都会存在站内搜索框这个功能，毕竟大量的CMS系统都会配置这个功能，特别是一些模板建站的企业网站。 

在很长一段时间里，我们早前给大家解读过一个偏灰帽的策略，虽然是老套路，而不经常被提及，但还是仍然有人沿用至今，简要流程如下: 

①寻找具备搜索框的高权重网站。 

②在高权重网站搜索框中，输入一段超链接代码。 

③基于一些搜索框的设计策略，部分的搜索结果页面会直接反馈出具有锚文本链接的外链。 

这样一些习惯性利用系统漏洞的灰帽，就会这样无形之中建立一个高权重的外链。 

而之后，便有了多个类似于该策略的变体版本，比如:在搜索框中输入第三方网址等等。 

实际上，这个问题，如果你不去查看日志，是很难发现的，但由于对方操作的策略，都是利用软件自动检索，这会直接影响网站加载速度。 

因此，从SEO角度来讲，我们第一时间就应该在robots.txt中屏蔽搜索结果页面。 

而后，从网站运营来讲，不是特别必须，我们可以采用第三方搜索框，比如:百度站内搜索。 

3、漏洞扫描 

网站安全漏洞扫描，这个是对于任何一个网站都可能会遇到的事情，比如:我们经常可以在自己的站点数据中，看到大量的404页面的访问情况。 

它可能会出现各种CMS系统后台的登录地址，以及一些容易出现漏洞的文件，通常这些情况都是基础性的漏洞扫描。 

如果出现长期这样的问题，并且IP地址固定的话，我们可以进行有效的拦截，同时，基于SEO的角度，我们还是建议大家建立404页面。 

4、恶意采集 

对于恶意采集而言，如果我们不去刻意的分析，我们是很难发现这个问题，除非你在百度搜索结果中看到大量的整站内容和你一样的站点。 

一般来讲，我们在查看日志的时候，总是会调用一下IP访问的排行榜，你会发现某些特定的IP长时间的停留在你的网站，并且大量的访问你的页面。 

这个时候我们需要排除它是不是CDN节点，是不是正规的搜索引擎爬虫，如果都不是，它很可能就是恶意采集或者镜像的IP。 

5、基础状态 

审查日志相关性的数据判断网站日常运营的基础状态，这已经是一个常态的操作策略，但对于新手站长而言，经常会忽略这个问题，比如: 

①HTTPS和HTTP不进行301重定向，二者反馈都是200状态。 

②大量的站内404页面访问，没有进行死链接提交等。 

③我们是否需要针对一些304状态的反馈，进行改变。 

④当你遭遇一些服务器500错误的时候，该如何处理的问题。 

6、站内情况 

有的时候我们在做SEO的过程中，偶尔需要进行网站改版，也偶尔会遇到服务器升级的情况，如果自己的相关性配置不到位经常会遭遇一些非常隐晦的问题，比如:页面重复性的问题。 

有的时候，我们在配置网站伪静态的时候，一些伪静态规则，经常会给出多个版本的策略，而只是让我们在系统后台筛选。 

但并没有在选定之后，而对其他的链接展现形式进行301重定向到目标选定的URL形态上，这无形之中就会增加同内容，多个伪静态规则不同URL地址收录的情况。 

一般日常运营的过程中，我们是很难发现这个问题的，除非你在site的时候，或者检索标题的时候，出现多个结果的时候才会注意。 

这里给大家的建议就是:当你遇到这个情况的时候，一定在配置文件中删除没有选定的伪静态规则，以免造成不必要的麻烦。