您现在的位置是:安心SEO > seo城市导航分站 > 宁德seo > 宁德seo

宁德seo如何查看网站被百度抓取的情况?

安心seo 2020-10-25 05:20:55 网站优化 人已围观

简介我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

 

查看日志的方式:通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

 

日志内容如下:61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /admin/news/news_edit/n_id/218.html HTTP/1.1" 200 8450 "-" "Baiduspider +(+http://www.websoft88.com/search/spider.htm)"

 

分析:GET  /admin/news/news_edit/n_id/218.html   代表,抓取 /admin/news/news_edit/n_id/218.html 这个页面。200  代表成功抓取。8450  代表抓取了8450个字节。如果你的日志里格式不是如此,则代表日志格式设置不同。很多日志里可以看到 200 0 0和200 0  64 则都代表正常抓取。

 

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常。


如何查看网站被百度抓取的情况?的相关文章

网站日志中的HTTP状态码详解
作SEO时,我们经常会在日志上看到类似这样的代码:61.135.166.232 - - [31/Dec/2007:02:30:11 +0800] "GET /category21.html HTTP/1.1" 200 10968 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"66.249.70.172 - - [31/Dec/2007:03:36:10 +0800] "GET /32_10_zh.html HTTP/1.1" 200 18395 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"这里面需要知道的,就是那个奇怪的数字&...

什么是网站日志分析需要分析哪些内容
什么是网站日志分析需要分析哪些内容   优化网站日志分析就是针对用户访问和搜索引擎蜘蛛到访我们的具体情况的分析。网站日志分析一般包括:搜索引擎的抓取量、蜘蛛来访次数、来的时间、来访页面、总抓取量、状态码分析。   具体的如下:   1.网站日志分析中最为重要的一个环节是查看不同浏览器蜘蛛的针对不同页面的抓取量以及用户的访...

很赞哦! ()

根据您查看的如何查看网站被百度抓取的情况?猜你喜欢

站点信息

  • 建站时间:2019年05月06日
  • 网站名称:安心SEO
  • 服务内容:网站优化、店铺运营
  • 文章统计:1258 篇
  • 工具分享:5 篇
  • 您是本站第:2392687位客人!