如何通过网站日志数据分析获得百度收录效果?

作为一名专业的SEOER，一般每周都会查看网站的日志数据，通过网站后台的日志，我们可以及时的看到当天，或者这一周网站的搜索引擎蜘蛛造访情况：都有哪些蜘蛛访问过我们的网站？哪些蜘蛛在我们更新文章后，及时抓取了网站的内容，哪些内容蜘蛛提升内容重复，没有再次抓取？等等，这些看似无用的日志数据，经过我们认真分析之后，都知道我们开展网站内容更新，以及查看网站内容为啥不收录，收录的不及时，以及有些内容为啥不收录都有一定的指导价值。一般情况下琪琪SEO在做好网站的SEO优化工作之后，就会进行网站日志数据分析。下面由琪琪SEO为大家详细介绍一下如何具体开展网站后台日志数据分析：

如何通过网站日志数据分析获得百度收录效果?的图片 - 1

1、网站刚上线，看搜索引擎蜘蛛的抓取情况;

2、网站收录异常，对比日志中蜘蛛的行为情况;

3、解决网站被封问题时，观察日志情况；

网站日志是网站管理员和搜索引擎对话沟通的途径。通过日志，了解搜索引擎蜘蛛的访问情况。

下载日志：

通过 FTP访问网站的根目录。可以看到一个包含 log的文件夹，这是存放日志的地方。

下载、解压、打开日志文件。

日志文件内容如：

61.135.168.22 – - [11/Jan/2009:04:02:45 +0800] “GET /bbs/thread-7303-1-1.html HTTP/1.1″ 200

8450 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”

(注：百度蜘蛛，这部分为本文添加)

203.208.60.43 – - [11/Jan/2009:04:02:43 +0800] “GET /sns/space-13563-do-friend-view-me.html

HTTP/1.1″

200

5162

“-”

“Mozilla/5.0

(compatible;

Googlebot/2.1;

+http://www.google.com/bot.html)”

(注：Google蜘蛛)

202.160.178.21 – - [11/Jan/2009:04:02:44 +0800] “GET /sns/space.php?uid=323 HTTP/1.0″ 200

7535 “-” “Mozilla/5.0 (compatible; Yahoo! Slurp China;

(注：雅虎蜘蛛)

65.55.220.217

[11/Jan/2009:04:02:57

+0800]

“GET

/ucenter/avatar.php?uid=12373size=small&type=virtual HTTP/1.1″ 301 – “-” “msnbot-media/1.1

(+http://search.msn.com/msnbot.htm)”

(注：MSN蜘蛛)

分析日志：

蜘蛛名称：百度 ->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao

->YoudaoBot、sogou ->Sogou+get+spider

在日志文件里，搜索以上蜘蛛名称。就可以看到蜘蛛抓取的痕迹。

我们分析的主要点是，HTTP状态码，如以上的 200和 301。

” 200 5162 “代表正常抓取，这次抓取了 5162个字节。

不同的服务器或虚拟主机设置的日志记录内容不同。

有的如：200 0 33834 237 953我们通过多看几条记录，观察规律，可以判断第三个数字代表字节数。

有的如：200 0 0或 200 0 64这是没有记录抓取字节数。注意：200 0 0和 200 0 64没代表什

么问题。所谓 200 0 64代表要被 K的言论没有根据，一般的网站都有 64代码。

在日志里，发现比较多的 HTTP状态码是，200(正常)、304(没变化)、404(错误链接)。

304代表，自从上次抓取后，该内容没有更新。一般情况下，网站的图片经常会返回该值。

404代表，访问的这个链接是错误链接。这个错误链接，一方面来自原本存在后来删除了网

页，另一方面可能来自本来就不存在，但其他人外链了这么个死链接。

返回开篇常见问题解答：

　　1、网站刚上线，看搜索引擎蜘蛛的抓取情况;

如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回 200，则说明已经可以正常收录。

只是 Google展示的时间比较快，而百度则需要 20天左右(经验平均值)展示出来。

　　2、网站收录异常，对比日志中蜘蛛的行为情况;

收录正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。

如果蜘蛛爬取量明显减少，观察是否外链突然减少很多。

如果日志依然，则认为是搜索引擎的展示问题。

解决网站被封问题时，观察日志情况。

网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问 robots.txt文件和首页经过这里的建议修改后，再提交给百度，之后的2天观察日志情况。

如果一直这样的情况维持 1个月，可以考虑放弃该域名。

如果蜘蛛明显增加，而且返回 200居多，则收录的希望很大，时间问题。

FTP的工具下载和使用指南：

日志文件有时非常大，用记事本打不开，可以使用这个工具：

HTTP状态码更多知识：

几大搜索引擎登陆入口：

相关疑问：

1、提供的样板日志文件里的 http://bsalsa.com/是什么?

这是一个浏览器插件开发商，日志里有这个代表，采用该插件的用户访问过你的网站。这个不用理会。

2、我的网站怎么没有日志文件?

这个需要主机服务商开通。

我的日志里怎么都没有蜘蛛?

很大的可能是，主机没有记录蜘蛛的功能。请看下同主机下其他站点的收录情况是否正常。

4、好像日志里收录了，但不一定展示出来?

是的。我们可以看到百度蜘蛛和 google机器人访问很频繁，但不一定他们都展示出来。

这个目前没有解决办法。但只要它们频繁访问和正常抓取，一切就会很正常。

5、是否有专门分析蜘蛛爬取的工具?

暂时还没有发现，如果你发现了，请告知。

6、发现日志里蜘蛛情况和之前都一样，但最近收录或排名发生变化，是怎么回事?

这应该属于搜索引擎数据库变更，可以说没有具体对网站进行如何改进来挽救的明显有效措施。

琪琪SEO在网站数据分析中，经常会利用网站日志数据分析工具，来分析网站内容的收录、各大搜索引擎蜘蛛的来访记录、查看了哪些页面，收录了哪些内容，以及蜘蛛的爱好与特点，这些数据单纯了分析一天没有多少效果，但是这样一周、一个月、一年这样的分析下去，您就会发现很多蜘蛛的特点与喜好，甚至一些特殊的规律，发现了这些对于以后做好网站内容收录，以及SEO关键词排名都有很大的指导意义。

本文链接：如何通过网站日志数据分析获得百度收录效果?

转载声明：本站文章若无特别说明，皆为原创，转载请注明来源：seo学堂-seo新手学习交流的最佳平台。，谢谢！^^

Smilie Vote is loading.