淘宝VIP优惠券

网站robots文件写法教程

命名规则及存放路径:robots文件必须存放在网站根目录,命名为:robots.txt

怎么写robots?这个是重点!首先搞清楚书写robots用到的3个符号:

  1. * 代替0或者任意多的字符
  2. $ 结束符号,圈定以xxx结尾的文件
  3. ? 动态页面专用

接下来robots的书写格式:

每行的首字母都大写

必须使用英文输入法书写

(注意)User-agent , Disallow , allow后面跟英文的冒号再加空格然后才能继续书写。

  • Robots示例:

User-agent: * robots规则对所有搜索引擎蜘蛛生效

Disallow: 禁止搜索引擎收录

Allow: 允许搜索引擎收录

Disallow: /   整个网站禁止搜索引擎收录

Disallow: /admin/ 这里是禁止爬行admin目录下面的目录

Allow: /tmp      这里是允许爬寻tmp的整个目录

Disallow: /a/*.htm 禁止访问a目录下的所有以".htm"为后缀的文件(包含子目录)。

Allow: .htm$  允许访问以".htm"为后缀的文件

Disallow: /*?*   禁止访问网站中所有的动态页面

Disallow: /.jpg$  禁止抓取网页所有的.jpg格式的图片

最后,做完必须去百度站长平台测试robots.txt是否有效。

网站robots写法

本博客所有文章如无特别注明均为原创。作者:随心网复制或转载请以超链接形式注明转自 随心网
原文地址《网站robots文件写法教程

相关推荐

易发游戏

发表评论

路人甲 表情
Ctrl+Enter快速提交

网友评论(0)