分析日志-日志名词解析
2009年07月17日 9:50 上午 | 分类：长沙SEO
蜘蛛名称：百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider
在日志里，发现比较多的HTTP状态码是，200（正常）、304（没变化）、404（错误链接）。
304代表，自从上次抓取后，该内容没有更新。一般情况下，网站的图片经常会返回该值。
404代表，访问的这个链接是错误链接。这个错误链接，一方面来自原本存在后来删除了网页，另一方面可能来自本来就不存在，但其他人外链了这么个死链接。
1、网站刚上线，看搜索引擎蜘蛛的抓取情况；
如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常收录。
只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。
2、网站收录异常，对比日志中蜘蛛的行为情况；
收录正常增加时和现在异常时的日志，进行对比分析。
如果没有异常，则应该是搜索引擎展示数据库出问题所致。
如果蜘蛛爬取量明显减少，观察是否外链突然减少很多。
如果日志依然，则认为是搜索引擎的展示问题。
