深圳网站设计建设-电商代运运营公司-网站排名SEO优化-实战营网络

如何正确书写robots协议?

石厦SEO 来源:www.shizhanying.net

  robots协定怎样来写烦忙实在很简朴,然则正在进修怎样写robots协定前,重庆SEO将先为人人讲一下,robots协定的标记明白!如许能力有用的应用好robots协定!

  1、robots协定是甚么

  robots协定便是指定搜寻引擎蜘蛛依据所写的robots协定爬觅,而且关联到所写的下令来实行。

  两、robots协定里的标记引见取写法

  1.User-agent: 给差别的蜘蛛界说响应的划定规矩

  2.Disallow: 没有需求接见的某一条途径

  3.Allow: 许可某一条途径抓与

  举例申明;

  User-agent: * (以下内容实用一切搜寻引擎)

  Disallow: / (制止搜寻引擎抓与网站内任何内容)

  Disallow: /*烦忙* (制止搜寻引擎抓与静态页)

  Disallow: /admin/(制止搜寻引擎抓与治理员的内容)

  Allow: /page/ (许可搜寻引擎抓与的某条衔接)

  Sitemap: http://www.chengdu搜索引擎优化.cn/sitemap.html(愿望百度抓与的网站舆图)

  Sitemap: http://www.chengdu搜索引擎优化.cn/sitemap.xml(愿望谷歌抓与的网站舆图)

  链接:正在网站中涌现逝世链的时刻,咱们就能够用robots.txt去屏障一下,示知搜寻引擎,那些链接没有要被抓与。

  舆图:愿望搜寻引擎抓与网站舆图时,咱们就能够把网站舆图放到robots.txt文件内。

  总结:robots协定写法有许多,若是没有是很懂万万没有要来整,否则您的网站会有纷歧样的结果涌现的(哈哈),写的时刻也要注重肯定卖力看清晰,否则被屏障了也找没有到甚么缘由!以是正在此提示人人写robots协定肯定要注重!

更多相关推荐