网站日志是做SEO时网站管理员和搜索引擎对话沟通的途径。通过日志,了解搜索引擎蜘蛛的访问情况。在很多时间,我们需要查看网站日志。以获得了解搜索引擎如何爬取咱们的网站。
如何下载日志
通过FTP访问网站的根目录。可以看到一个包含log的文件夹,这是存放日志的地方。
如何查看日志
下载、解压、打开日志文件,日志文件内容如:
61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" (注:百度,这部分为本文添加)
203.208.60.43 - - [11/Jan/2009:04:02:43 +0800] "GET /sns/space-13563-do-friend-view-me.html HTTP/1.1" 200 5162 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" (注:Google)
202.160.178.21 - - [11/Jan/2009:04:02:44 +0800] "GET /sns/space.phpuid=323 HTTP/1.0" 200 7535 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)" (注:雅虎)
65.55.220.217 - - [11/Jan/2009:04:02:57 +0800] "GET /ucenter/avatar.phpuid=12373&size=small&type=virtual HTTP/1.1" 301 - "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)" (注:MSN)
日志文件样板全文下载:
http://edu.seowhy.com/ziliao/wwwlog20090112.log
如何分析日志
蜘蛛名称:百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider。在日志文件里,搜索以上蜘蛛名称。就可以看到蜘蛛抓取的痕迹。
我们分析的主要点是,HTTP状态码,如以上的200和301。
" 200 5162 " 代表正常抓取,这次抓取了5162个字节。
不同的服务器或虚拟主机设置的日志记录内容不同。
有的如:200 0 33834 237 953 我们通过多看几条记录,观察规律,可以判断第三个数字代表字节数。
有的如:200 0 0或200 0 64 这是没有记录抓取字节数。注意:200 0 0和200 0 64 没代表什么问题。所谓200 0 64代表要被K的言论没有根据,一般的网站都有64代码。
在日志里,发现比较多的HTTP状态码是,200(正常)、304(没变化)、404(错误链接)。
304代表,自从上次抓取后,该内容没有更新。一般情况下,网站的图片经常会返回该值。
404代表,访问的这个链接是错误链接。这个错误链接,一方面来自原本存在后来删除了网页,另一方面可能来自本来就不存在,但其他人外链了这么个死链接。
阅读本文的人还阅读了:
首选域是什么意思
外链资源是什么
夫唯讲群站SEO系列1:群站是什么?企业做群站效果为什么这么好?
本文地址:http://seo.youqingshuyuan.com/13023.html
版权声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系我们。