您现在的位置是:安心SEO > seo城市导航分站 > 咸阳seo > 咸阳seo

咸阳seo解析网站robots的重要性

安心seo 2020-10-30 05:32:30 网站优化 人已围观

简介网站robots的重要性:必须小写,后缀必须是.txt.、必须放在网站的根目录、内容语法要正确、robots文件中必须要存在Disallow函数。

 robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。此文件究竟还有没有其他作用呢?我们一起来学习一下。

    这个文件是搜索引擎与网站之间的沟通桥梁,是两者之间约定好的语法文件,搜索引擎每抓取一个网站,就会先检查这个文件,就好像开门的钥匙一样。如果这个文件不存在,那么就代表不限制搜索引擎的抓取。如果这个文件存在,它就会按照文件中的规定要求进行抓取。有些站长会问了,我们建立网站,肯定是需要搜索引擎收录的,为什么还要限制其抓取呢?搜索引擎在抓取过程中会搜索全站,你的网站中可能存在一些你采集的东西,或者是类似一些没有实质性东西的页面,那么搜索引擎抓取后会对你的网站的评价大打折扣,起不到SEO的效果,但是robots文件就可以告诉蜘蛛,哪些页面不希望它去看,也间接的减少了服务器的负荷量。

    这个文件有几个需要注意的地方:

    1。文件名称不能写错,而且必须小写,后缀必须是.txt.

    2。文件必须放在网站的根目录,比如:http://www.anxinseo.cnrobots.txt,要可以访问。

    3。文件内容语法要正确,一般情况下,常用的就是User-agent和Disallow:

    User-agent:*就表示允许所有搜索引擎蜘蛛抓取和收录,如果不想让百度收录你的网站,就把*换成"baiduspider",那么后面Disallow限制的内容就不会被百度蜘蛛抓取和收录了。如果你要限制抓取全站,那么Disallow文件就要写成“Disallow:/”,如果你要限制某个文件夹下的文件不被抓取,那么就写成“Disallow:/admin/",如果你要限制抓取以admin开头的文件,那么就写成”Disallow:/admin",以此类推,你要限制某个文件夹下的文件比如,你要限制抓取admin文件夹下的index.htm文件,那么Disallow语法就写成“Disallow:/admin/index.htm"。如果Disallow后不带”/",就代表允许抓取和收录网站所有页面。

    一般网站的后台管理文件,程序函数,数据库文件,样式表文件,模板文件,网站一些图片等等,没有必要让蜘蛛抓取。

    4。robots文件中必须要存在Disallow函数,这是这个文件成立的一个关键因素。

    robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。

    那么robot一般怎么写:

    User-agent:*

    Disallow:/

    Sitemap:http://www.anxinseo.cn/sitemap.xml

    对于一般企业可以这样的去写,在Disallow掉不想被搜索引擎抓取的文件即可,比如我们的网站数据,图片等等。具体禁止搜索引擎收录的方法可以参考百度搜索帮助中心的进行详细的了解。

    关于robots文件的一些重要性和方法大概就这些了,希望能给大家带来一点用处。

 


解析网站robots的重要性的相关文章

robots.txt是什么?
robots.txt是什么?有没有想过,如果我们某个站点不让百度和google收录,那怎么办?   搜索引擎已经和我们达成一个约定,如果我们按约定那样做了,它们就不要收录。这个写约定的的文件命名为:robots.txt。robots.txt是一个最简单的.txt文件,用以告诉搜索引擎哪些网页可以收录,哪些不允许收录。   关于robots.txt一般站长需要注意以下几点:如果你的站点对所有...

百度蜘蛛爬行与抓取的原理
有朋友一直在对网站的收录方面有着很大的疑问,甚至有三年老站不收录的,对于这一现象,我个人倒是认为,想要搜索引擎良好的收录你的网站和文章,就必须要了解百度蜘蛛的爬行原理和百度蜘蛛的抓取原理。我们能够从根本的原因分析出蜘蛛如何爬取如何抓取,那做好收录是指日可待的。 蜘蛛是先爬行还是先抓取? 当然可以肯定的回答,蜘蛛是先爬行然后抓取,...

站长总结百度蜘蛛爬行规律
 百度蜘蛛爬行规则详解:百度蜘蛛,英文名是“Baiduspider”是百度搜寻引擎的一个主动顺序。它的作用是走访互联网上的网页、图片、视频等外容,树立索引数据库,运用户能在百度搜寻引擎搜寻到您网站的网页、图片、视频等外容。Baiduspider是一套人本人编制的顺序,百度蜘蛛的爬行有肯定的法则可寻,以下来看看百度蜘蛛究竟是如何爬行的呢? 一、暴发式爬行...

很赞哦! ()

根据您查看的解析网站robots的重要性猜你喜欢

站点信息

  • 建站时间:2019年05月06日
  • 网站名称:安心SEO
  • 服务内容:网站优化、店铺运营
  • 文章统计:1267 篇
  • 工具分享:5 篇
  • 您是本站第:2410368位客人!